🤖 AI

Discrete Diffusion Language Models for Interactive Radiology Report Drafting

Questo articolo presenta un modello linguistico di diffusione discreta adattato per la stesura di referti radiologici che non solo eguaglia o supera le prestazioni dei modelli autoregressivi nei benchmark medici con una decodifica più veloce, ma consente anche in modo unico l'infilling di testo in qualsiasi ordine, permettendo ai clinici di modificare e completare agevolmente frammenti di referto in modo bidirezionale.

Autori originali: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Pubblicato 2026-07-03

📖 20 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover scrivere un referto medico basato su una radiografia. Di solito, i computer lo fanno come una persona che scrive una storia da sinistra verso destra: scrivono la prima parola, poi la seconda, poi la terza, senza mai guardare indietro o cambiare ciò che hanno già scritto. Questo è chiamato generazione Autoregressiva (AR). È come un treno su un binario singolo; una volta che le ruote sono passate in un punto, non possono tornare indietro.

Questo articolo presenta un nuovo modo per far scrivere i referti ai computer usando la Diffusione Discreta (Discrete Diffusion). Invece di scrivere parola per parola, immagina il computer che inizia con una pagina bianca piena di "rumore" (frasi senza senso casuali). Poi guarda l'intera pagina contemporaneamente, pulisce il rumore e affina gradualmente il testo finché non ha senso. Può guardare l'inizio, il centro e la fine della frase simultaneamente per capire cosa si adatti meglio.

Ecco una ripartizione di ciò che i ricercatori hanno scoperto, utilizzando analogie semplici:

1. La gara: Due fratelli, un unico obiettivo

I ricercatori hanno preso due "fratelli" dalla stessa famiglia di modelli AI (entrambi basati su un modello chiamato Gemma).

Fratello A (AR): Lo scrittore tradizionale che scrive da sinistra a destra.
Fratello B (Diffusione): Il nuovo scrittore che pulisce un'intera pagina in una volta sola.

Hanno dato a entrambi i fratelli esattamente gli stessi dati di addestramento (immagini mediche e domande) e lo stesso "piano di studio" (usando una tecnica chiamata LoRA per insegnare loro). Volevano vedere se il nuovo metodo di Diffusione potesse stare al passo con il vecchio metodo AR nel campo medico.

Il Risultato: Il fratello Diffusion non solo è riuscito a stare al passo, ma spesso ha ottenuto prestazioni migliori o uguali al fratello AR nei quiz medici. Ancora più impressionante, è stato da 3,5 a 4,4 volte più veloce.

Analogia: Se il modello AR è un pittore che aggiunge meticolosamente un colpo di pennello alla volta, il modello Diffusion è come uno scultore che parte da un blocco di pietra e via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via

Sintesi Tecnica: Modelli di Linguaggio a Diffusione Discreta per la Redazione Interattiva di Referti Radiologici

Definizione del Problema

La generazione autoregressiva (AR), che produce testo token per token da sinistra verso destra, è attualmente alla base di quasi tutti i modelli linguistici di grandi dimensioni (LLM) e dei modelli vision-language (VLM) nel dominio medico, inclusa la generazione di referti radiologici (RRG). Sebbene i modelli AR siano efficaci per la generazione sequenziale, mancano di capacità intrinseche di infill di qualsiasi ordine (any-order infill)—ovvero la capacità di generare testo nel mezzo di una sequenza condizionata da contenuti fissi sia sul lato sinistro che su quello destro. Questo limite ostacola i flussi di lavoro di redazione interattiva in cui i radiologi possono fissare specifici frammenti di referto e richiedere al modello di colmare le lacune tra di essi. Inoltre, gli attuali modelli fondazionali medici sono quasi esclusivamente AR, lasciando in gran parte non testata la validità dei modelli di diffusione discreta in contesti clinici.

Metodologia

Gli autori conducono un confronto controllato tra i paradigmi della diffusione discreta e dell'autoregressione utilizzando backbone corrispondenti per isolare il paradigma generativo come l'unica variabile.

1. Backbone Corrispondenti e Adattamento

Modelli: Lo studio confronta DiffusionGemma-26B (un modello di linguaggio a diffusione discreta) con il suo gemello autoregressivo, Gemma-4-26B. Entrambi sono modelli da 25,2 miliardi di parametri con 3,8 miliardi di parametri attivi (Mixture-of-Experts) e condividono un encoder visivo della linea SigLIP.
Adattamento: Entrambi i modelli sono sottoposti a fine-tuning utilizzando una ricetta di Low-Rank Adaptation (LoRA) identica. L'adattamento prende di mira le proiezioni dell'attenzione e dei MLP condivisi (rank-64, $\alpha=128$ ), congelando gli esperti, il router e la vision tower.
Ottimizzazione: L'unica differenza deliberata è l'obiettivo generativo e le impostazioni dell'ottimizzatore:
- Diffusione: Utilizza l'obiettivo dLLM a stato uniforme, dove una frazione casuale di token target viene sostituita con campionamenti dal vocabolario uniforme, e il modello apprende a recuperarli.
- Autoregressivo: Utilizza la classica cross-entropy del prossimo token.
- Gli ottimizzatori differiscono (AdamW con diversi valori $\beta$ ) per allinearsi alle impostazioni consolidate per ciascun obiettivo.

2. Compiti di Addestramento e Valutazione

Domande Visive Mediche (VQA): I modelli sono valutati su tre dataset (VQA-RAD, SLAKE, VQA-Med-2019) utilizzando un giudice LLM robusto alla verbosità (Claude Sonnet 4.6) per valutare l'equivalenza semantica piuttosto che l'uguaglianza esatta.
Velocità di Inferenza: Latenza e throughput sono misurati su una singola GPU H100 per generazioni di circa 256 token.
Infill di Qualsiasi Ordine: Gli autori definiscono l'infill come il campionamento della distribuzione condizionale $p_\theta(x_{\bar{F}} | x_F = a, c)$ $p_{θ} (x_{\overset{ˉ}{F}} ∣ x_{F} = a, c)$ , dove $F$ $F$ rappresenta le posizioni fisse e $\bar{F}$ $\overset{ˉ}{F}$ le posizioni libere.
- Diffusione: Supporta naturalmente questo processo tramite la denoising bidirezionale dell'intero canvas. I token fissi vengono reimposti ad ogni step di denoising.
- Autoregressivo: Non può campionare nativamente questo condizionale. Per simulare il contesto bidirezionale, il testo sul lato destro viene fornito nel prompt, ma il modello genera comunque da sinistra verso destra.

Contributi Chiave

Modello Fondazionale Medico Competitivo: Lo studio dimostra che un modello di diffusione discreta (DiffusionGemma-26B) eguaglia o supera il suo gemello autoregressivo nei benchmark VQA medici e compete con i VLM all'avanguardia, decodificando da 3,5 a 4,4 volte più velocemente.
Capacità di Infill di Qualsiasi Ordine: Il documento stabilisce che la diffusione offre una capacità di condizionamento unica assente nell'AR: riempire le lacune utilizzando il contesto da entrambi i lati simultaneamente. Ciò è inerente al processo di denoising bidirezionale.
Rilascio Open: Gli autori rilasciano il codice e i checkpoint fine-tuned per i modelli di diffusione e AR.

Risultati

Prestazioni VQA Mediche

Accuratezza: Il modello di diffusione fine-tuned eguaglia o supera l'AR fine-tuned in tutti e tre i dataset. Sul dataset SLAKE, la diffusione fine-tuned ha raggiunto un'accuratezza di 0,863 rispetto allo 0,817 dell'AR.
Significatività: La differenza è statisticamente significativa su SLAKE (fine-tuned) e VQA-RAD (base). La diffusione si è comportata particolarmente bene nelle domande chiuse (sì/no).
Confronto con i Modelli Frontier: Il modello fine-tuned da 26B (3,8B attivi) è competitivo con i VLM non-reasoning all'avanguardia (Gemini-3.5-Flash, GPT-4.1-mini, Claude-Sonnet-4.6), superando GPT-4.1-mini in tutti i dataset.

Velocità di Inferenza

DiffusionGemma redige i referti da 3,5 a 4,4 volte più velocemente del suo gemello AR (Gemma-4) su una GPU H100.
Il throughput per la diffusione varia da 139,4 a 175,3 token/secondo, rispetto ai 24,6 token/secondo dell'AR.
Questo vantaggio di velocità deriva dal fatto che il costo della diffusione è determinato dal budget di denoising-step su un canvas di dimensione fissa, mentre la latenza AR scala linearmente con la lunghezza del referto.

Prestazioni Infill di Qualsiasi Ordine

Sfruttamento del Contesto: Sui report MIMIC-CXR con frasi mascherate, il modello di diffusione ha mostrato un miglioramento significativo quando riceveva il contesto da entrambi i lati della lacuna:
- Token-F1: Aumentato di +0,109 ( $p < 10^{-10}$ ).
- Accuratezza LLM-Judge: Aumentata di +0,129 ( $p = 2 \times 10^{-5}$ ).
Limite AR: Il modello autoregressivo non ha mostrato miglioramenti significativi (+0,031 Token-F1, non significativo) anche quando il contesto sul lato destro veniva fornito nel prompt. L'interazione tra il tipo di modello e la direzione del contesto era significativa, indicando che la diffusione beneficia del contesto bidirezionale circa 3,5 volte di più.

Significato e Rivendicazioni

Il documento sostiene che la diffusione discreta è un substrato vitale per i modelli fondazionali medici, offrendo un'accuratezza paragonabile ai modelli autoregressivi con i vantaggi aggiuntivi di un'inferenza significativamente più veloce e di uniche capacità di redazione interattiva.

Nello specifico, gli autori sostengono che la capacità di infill di qualsiasi ordine sia un elemento differenziante critico per i flussi di lavoro clinici. I referti radiologici reali sono spesso scarni, inconsistenti o redatti in frammenti. Uno strumento basato sulla diffusione permette a un radiologo di fissare sezioni specifiche del referto e far colmare le lacune tra di esse, sfruttando il contesto da entrambe le direzioni. Questa capacità è descritta come "inerente alla diffusione ma non all'autoregressione", posizionando la diffusione come un paradigma superiore per la redazione di referti collaborativa e interattiva piuttosto che per la semplice generazione sequenziale.

Lo studio conclude che, sebbene l'AR rimanga dominante, i modelli di diffusione offrono un'alternativa competitiva che non è solo accurata, ma anche più efficiente e meglio adatta a compiti di editing interattivi e non sequenziali in radiologia.