🤖 AI

Discrete Diffusion Language Models for Interactive Radiology Report Drafting

Este artigo apresenta um modelo de linguagem de difusão discreta adaptado para a redação de laudos radiológicos que não apenas iguala ou excede o desempenho de modelos autorregressivos em benchmarks médicos com uma decodificação mais rápida, mas também possibilita de forma única o preenchimento de texto em qualquer ordem, permitindo que clínicos editem e completem fragmentos de laudos de maneira bidirecional e fluida.

Autores originais: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando escrever um relatório médico baseado em um raio-X. Normalmente, os computadores fazem isso como uma pessoa escrevendo uma história da esquerda para a direita: eles escrevem a primeira palavra, depois a segunda, depois a terceira, sem nunca olhar para trás ou mudar o que já escreveram. Isso é chamado de geração Autorregressiva (AR). É como um trem em um trilho único; uma vez que as rodas passam por um ponto, elas não podem voltar.

Este artigo apresenta uma nova maneira de computadores escreverem relatórios usando Difusão Discreta. Em vez de escrever palavra por palavra, imagine o computador começando com uma página em branco cheia de "ruído" (palavras aleatórias sem sentido). Ele então olha para a página inteira de uma só vez, limpa o ruído e gradualmente refina o texto até que ele faça sentido. Ele pode olhar para o início, o meio e o fim da frase simultaneamente para determinar o que melhor se encaixa.

Aqui está um detalhamento do que os pesquisadores descobriram, usando analogias simples:

1. A Corrida: Dois Irmãos, Um Objetivo

Os pesquisadores pegaram dois "irmãos" da mesma família de modelos de IA (ambos baseados em um modelo chamado Gemma).

Irmão A (AR): O escritor tradicional que escreve da esquerda para a direita.
Irmão B (Difusão): O novo escritor que limpa uma página inteira de uma só vez.

Eles deram a ambos os irmãos exatamente os mesmos dados de treinamento (imagens médicas e perguntas) e o mesmo "plano de estudo" (usando uma técnica chamada LoRA para ensiná-los). Eles queriam ver se o novo método de Difusão conseguiria acompanhar o antigo método AR no campo médico.

O Resultado: O irmão de Difusão não apenas acompanhou o irmão AR; ele frequentemente teve um desempenho melhor ou igual ao AR em questionários médicos. Mais impressionante ainda, ele foi 3,5 a 4,4 vezes mais rápido.

Analogia: Se o modelo AR é um pintor que adiciona cuidadosamente um pincelada de cada vez, o modelo de Difusão é como um escultor que começa com um bloco de pedra e remove o excesso de uma só vez para revelar a forma. O escultor terminou o trabalho muito mais rápido.

2. O Superpoder: "Preenchimento de Qualquer Ordem" (Any-Order Infill)

Esta é a maior reivindicação do artigo. O modelo de Difusão tem uma habilidade especial que o modelo AR não possui: Preenchimento de Qualquer Ordem.

O Limite do AR: Imagine que você está escrevendo um relatório e para no meio para corrigir uma frase. Se você usar o modelo AR, ele só poderá escrever o que vem depois da sua correção. Ele não consegue olhar para o que você escreveu depois da lacuna para ajudar a corrigir o que vem antes da lacuna. É como tentar resolver um quebra-cabeça vendo apenas as peças à esquerda da sua mão.
O Superpoder da Difusção: Como o modelo de Difusão olha para a página inteira de uma só vez, um radiologista pode deixar um espaço em branco no meio de um rascunho, digitar algumas palavras antes dele e algumas palavras depois dele. O modelo pode então preencher o espaço em branco, usando o contexto de ambos os lados para acertar.
Analogia: Se você está editando um parágrafo e deleta uma frase no meio, o modelo AR é como um escritor que lê apenas o texto antes do cursor e adivinha o que deve vir a seguir. O modelo de Difusão é como um escritor que lê a frase antes da lacuna e a frase depois da lacuna para reconstruir perfeitamente o meio que falta.

Os pesquisadores testaram isso escondendo uma frase em um relatório médico real e pedindo aos modelos para preenchê-la novamente.

O modelo de Difusão usou as pistas de ambos os lados da lacuna e acertou a frase.
O modelo AR, mesmo quando lhe foi "dito" o que estava no lado direito, ainda teve dificuldades para usar essa informação para corrigir o lado esquerdo. Ele simplesmente não conseguia "olhar para trás" de forma eficaz.

3. Por que isso importa para os médicos

O artigo sugere que os relatórios médicos são frequentemente desordenados. Diferentes médicos podem escrever coisas diferentes, ou deixar seções em branco para preencher mais tarde.

O modelo AR é rígido; ele espera uma ordem estrita.
O modelo de Difusão é flexível. Ele permite que um médico elabore um relatório de uma forma "não linear" — digitando a conclusão primeiro, depois os achados, e preenchendo o meio mais tarde. O modelo pode preencher as lacunas com base no contexto ao redor delas, fazendo com que o processo de elaboração pareça mais uma conversa e menos um exercício rígido de preenchimento de formulário.

Resumo das Reivindicações

Precisão: O novo modelo de Difusão é tão bom (ou melhor) que o modelo tradicional em responder a perguntas médicas.
Velocidade: É significativamente mais rápido (até 4x).
Flexibilidade: É o primeiro modelo do gênero a conseguir com sucesso "preencher as lacunas" no meio de um relatório usando o contexto dos lados esquerdo e direito, uma tarefa na qual o modelo tradicional falha.
Disponibilidade: Os pesquisadores liberaram seu código e os modelos treinados para que outros possam usar.

O artigo não afirma que isso esteja sendo usado atualmente em hospitais para diagnosticar pacientes, mas sim que é uma nova ferramenta poderosa para elaborar relatórios que é mais rápida e flexível do que o padrão atual.

Resumo Técnico: Modelos de Linguagem de Difusão Discreta para Elaboração Interativa de Laudos Radiológicos

Declaração do Problema

A geração autorregressiva (AR), que produz texto token por token da esquerda para a direita, sustenta atualmente quase todos os modelos de linguagem de grande escala (LLMs) e modelos de visão-linguagem (VLMs) no domínio médico, incluindo a geração de laudos radiológicos (RRG). Embora os modelos AR sejam eficazes para a geração sequencial, eles carecem de capacidades inerentes de preenchimento de qualquer ordem (any-order infill) — a habilidade de gerar texto no meio de uma sequência condicionada a conteúdos fixos tanto no lado esquerdo quanto no direito. Essa limitação prejudica fluxos de trabalho de elaboração interativa, onde radiologistas podem fixar fragmentos específicos de laudos e exigir que o modelo preencha as lacunas entre eles. Além disso, os modelos de fundação médica existentes são quase exclusivamente AR, deixando a viabilidade dos modelos de difusão discreta em ambientes clínicos amplamente não testada.

Metodologia

Os autores realizam uma comparação controlada entre os paradigmas de difusão discreta e autorregressivo usando backbones correspondentes para isolar o paradigma generativo como a única variável.

1. Backbones Correspondentes e Adaptação

Modelos: O estudo compara o DiffusionGemma-26B (um modelo de linguagem de difusão discreta) contra seu irmão autorregressivo, o Gemma-4-26B. Ambos são modelos de 25,2 bilhões de parâmetros com 3,8 bilhões de parâmetros ativos (Mixture-of-Experts) e compartilham um codificador de visão da linhagem SigLIP.
Adaptação: Ambos os modelos são ajustados finamente (fine-tuned) usando uma receita idêntica de Adaptação de Baixo Posto (LoRA). A adaptação visa a atenção e as projeções MLP compartilhadas (rank-64, $\alpha=128$ ) enquanto congela os especialistas (experts), o roteador e a torre de visão.
Otimização: A única diferença deliberada é o objetivo generativo e as configurações do otimizador:
- Difusão: Utiliza o objetivo dLLM de estado uniforme, onde uma fração aleatória de tokens alvo é substituída por amostras do vocabulário uniforme, e o modelo aprende a recuperá-los.
- Autorregressivo: Utiliza a entropia cruzada padrão de próximo token.
- Os otimizadores diferem (AdamW com diferentes valores de $\beta$ ) para se alinharem às configurações estabelecidas para cada objetivo.

2. Tarefas de Treinamento e Avaliação

Pergunta de Visão Médica (VQA): Os modelos são avaliados em três conjuntos de dados (VQA-RAD, SLAKE, VQA-Med-2019) usando um juiz LLM robusto à verbosidade (Claude Sonnet 4.6) para pontuar a equivalência semântica em vez da correspondência exata.
Velocidade de Inferência: Latência e throughput são medidos em uma única GPU H100 para gerações de $\sim$ 256 tokens.
Preenchimento de Qualquer Ordem (Any-Order Infill): Os autores definem o preenchimento como a amostragem da distribuição condicional $p_\theta(x_{\bar{F}} | x_F = a, c)$ $p_{θ} (x_{\overset{ˉ}{F}} ∣ x_{F} = a, c)$ , onde $F$ $F$ representa posições fixas e $\bar{F}$ $\overset{ˉ}{F}$ representa posições livres.
- Difusão: Suporta isso naturalmente ao realizar a denoização bidirecional de toda a tela (canvas). Os tokens fixos são reimpostos a cada etapa de denoização.
- Autorregressivo: Não consegue amostrar isso nativamente. Para simular o contexto bidirecional, o texto do lado direito é fornecido no prompt, mas o modelo ainda gera da esquerda para a direita.

Principais Contribuições

Modelo de Fundação Médica Competitivo: O estudo demonstra que um modelo de difusão discreta (DiffusionGemma-26B) iguala ou supera seu irmão autorregressivo em benchmarks de VQA médica e rivaliza com VLMs de fronteira, enquanto decodifica 3,5–4,4 $\times$ mais rápido.
Capacidade de Preenchimento de Qualquer Ordem: O artigo estabelece que a difusão oferece uma capacidade de condicionamento única, ausente na AR: preencher lacunas usando contexto de ambos os lados simultaneamente. Isso é inerente ao processo de denoização bidirecional.
Lançamento Aberto: Os autores liberam o código e os checkpoints ajustados para os modelos de difusão e AR.

Resultados

Desempenho de VQA Médica

Precisão: A difusão ajustada iguala ou supera a AR ajustada em todos os três conjuntos de dados. No conjunto de dados SLAKE, a difusão ajustada alcançou 0,863 de precisão comparado a 0,817 para a AR.
Significância: A diferença foi estatisticamente significativa no SLAKE (ajustado) e VQA-RAD (base). A difusão teve um desempenho particularmente bom em perguntas de respostas fechadas (sim/não).
Comparação com a Fronteira: O modelo de 26B ajustado (3,8B ativos) é competitivo com VLMs de fronteira não de raciocínio (Gemini-3.5-Flash, GPT-4.1-mini, Claude-Sonnet-4.6), superando o GPT-4.1-mini em todos os conjuntos de dados.

Velocidade de Inferência

O DiffusionGemma elabora laudos 3,5–4,4 $\times$ mais rápido que seu irmão AR (Gemma-4) em uma GPU H100.
O throughput para difusão varia de 139,4 a 175,3 tokens/segundo, comparado a 24,6 tokens/segundo para a AR.
Essa vantagem de velocidade surge porque o custo da difusão é determinado pelo orçamento de etapas de denoização sobre um tamanho de tela fixo, enquanto a latência da AR escala linearmente com o comprimento do laudo.

Desempenho de Preenchimento de Qualquer Ordem

Exploração de Contexto: Em laudos MIMIC-CXR com sentenças mascaradas, o modelo de difusão melhorou significativamente quando recebeu contexto de ambos os lados da lacuna:
- Token-F1: Aumentou em +0,109 ( $p < 10^{-10}$ ).
- Precisão do Juiz LLM: Aumentou em +0,129 ( $p = 2 \times 10^{-5}$ ).
Limitação da AR: O modelo autorregressivo não mostrou melhoria significativa (+0,031 Token-F1, não significativo) mesmo quando o contexto do lado direito era fornecido no prompt. A interação entre o tipo de modelo e a direção do contexto foi significativa, indicando que a difusão se beneficia aproximadamente 3,5 $\times$ mais do contexto bidirecional.

Significância e Alegações

O artigo afirma que a difusão discreta é um substrato viável para modelos de fundação médica, oferecendo precisão comparável aos modelos autorregressivos com os benefícios adicionais de inferência significativamente mais rápida e capacidades únicas de elaboração interativa.

Especificamente, os autores argumentam que a capacidade de preenchimento de qualquer ordem é um diferencial crítico para fluxos de trabalho clínicos. Laudos radiológicos do mundo real são frequentemente concisos, inconsistentes ou elaborados em fragmentos. Uma ferramenta baseada em difusão permite que um radiologista fixe seções específicas do laudo e tenha o modelo preenchendo as lacunas entre elas, aproveitando o contexto de ambas as direções. Essa capacidade é descrita como "inerente à difusão, mas não à autorregressão", posicionando a difusão como um paradigma superior para a elaboração de laudos interativa e colaborativa, em vez de apenas geração sequencial.

O estudo conclui que, embora a AR permaneça dominante, os modelos de difusão oferecem uma alternativa competitiva que não é apenas precisa, mas também mais eficiente e melhor adaptada para tarefas de edição interativa e não sequencial em radiologia.