🤖 AI

Discrete Diffusion Language Models for Interactive Radiology Report Drafting

Dit artikel introduceert een discreet diffusie taalmodel aangepast voor het opstellen van radiologische rapporten dat niet alleen de prestaties van autoregressieve modellen op medische benchmarks evenaart of overtreft met snellere decodering, maar ook uniek in staat is tot tekstinfilling in elke volgorde, waardoor clinici naadloos fragmenten van rapporten in een bidirectionele manier kunnen bewerken en aanvullen.

Oorspronkelijke auteurs: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een medisch rapport probeert te schrijven op basis van een röntgenfoto. Meestal schrijven computers dit soort rapporten zoals een persoon een verhaal schrijft, van links naar rechts: ze schrijven het eerste woord, dan het tweede, dan het derde, zonder ooit terug te kijken of wat ze al hebben geschreven te veranderen. Dit wordt Autoregressieve (AR) generatie genoemd. Het is als een trein op een enkel spoor; zodra de wielen een punt zijn gepasseerd, kunnen ze niet meer terug.

Dit artikel introduceert een nieuwe manier waarop computers rapporten kunnen schrijven met behulp van Discrete Diffusie. In plaats van woord voor woord te schrijven, stel je voor dat de computer begint met een blanco pagina vol "ruis" (willekeurige onzin). Vervolgens kijkt de computer naar de hele pagina tegelijk, ruimt de ruis op en verfijnt de tekst geleidelijk totdat deze zinvol wordt. De computer kan het begin, het midden en het einde van de zin tegelijkertijd bekijken om te bepalen wat het beste past.

Hier is een overzicht van wat de onderzoekers hebben ontdekt, met behulp van eenvoudige analogieën:

1. De race: Twee broers/zussen, één doel

De onderzoekers namen twee "broers/zussen" uit dezelfde familie van AI-modellen (beide gebaseerd op een model genaamd Gemma).

Broer/Zus A (AR): De traditionele schrijver die van links naar rechts schrijft.
Broer/Zus B (Diffusie): De nieuwe schrijver die een hele pagina tegelijk opschoont.

Ze gaven beide broers/zussen exact dezelfde trainingsdata (medische afbeeldingen en vragen) en exact hetzelfde "studieplan" (het gebruik van een techniek genaamd LoRA om hen te onderwijzen). Ze wilden zien of de nieuwe Diffusie-methode het tempo van de oude AR-methode kon bijhouden in het medische veld.

De resultaten: De Diffusie-broer/zus hield niet alleen het tempo bij, maar presteerde vaak beter of gelijk aan de AR-broer/zus tijdens medische quizzen. Nog indrukwekkender was dat het 3,5 tot 4,4 keer sneller was.

Analogie: Als het AR-model een schilder is die zorgvuldig elke penseelstreek één voor één toevoegt, dan is het Diffusie-model als een beeldhouwer die begint met een blok steen en de overtollige delen in één keer weghakt om de vorm te onthullen. De beeldhouwer voltooide de klus veel sneller.

2. De superkracht: "Any-Order Infill"

Dit is de grootste claim van het artikel. Het Diffusie-model heeft een speciale vaardigheid die de AR-methode mist: Any-Order Infill (invullen in elke volgorde).

De AR-beperking: Stel je voor dat je een rapport schrijft en halverwege een zin stopt om deze aan te passen. Als je de AR-methode gebruikt, kan deze alleen schrijven wat na jouw aanpassing komt. Het kan niet kijken naar wat je na de opening hebt geschreven om te helpen bepalen wat er voor de opening moet staan. Het is alsof je een puzzel probeert op te lossen terwijl je alleen de stukjes ziet die zich links van je hand bevinden.
De Diffusie-superkracht: Omdat het Diffusie-model naar de hele pagina tegelijk kijkt, kan een radioloog een lege ruimte in het midden van een concept laten, een paar woorden ervoor typen, en een paar woorden erna. Het model kan vervolgens de lege ruimte invullen, waarbij het de context van beide kanten gebruikt om het goed te doen.
Analogie: Als je een paragraaf bewerkt en je verwijdert een zin in het midden, dan is de AR-methode als een schrijver die alleen de tekst vóór de cursor leest en raadt wat er daarna komt. De Diffusie-methode is als een schrijver die de zin vóór de opening én de zin na de opening leest om de ontbrekende middensectie perfect te reconstrueren.

De onderzoekers testten dit door een zin in een echt medisch rapport te verbergen en de modellen te vragen deze weer in te vullen.

Het Diffusie-model gebruikte de aanwijzingen van beide kanten van de opening en kreeg de zin correct.
De AR-methode, zelfs wanneer deze werd "verteld" wat er aan de rechterkant stond, had nog steeds moeite om die informatie te gebruiken om de linkerkant te corrigeren. Het kon simpelweg niet effectief "terugkijken".

3. Waarom dit belangrijk is voor artsen

Het artikel suggereert dat medische rapporten vaak rommelig zijn. Verschillende artsen kunnen verschillende dingen schrijven, of secties leeg laten om later in te vullen.

Het AR-model is rigide; het verwacht een strikte volgorde.
Het Diffusie-model is flexibel. Het stelt een arts in staat om een rapport op een "niet-lineaire" manier op te stellen — eerst de conclusie typen, dan de bevindingen, en later het midden invullen. Het model kan de gaten invullen op basis van de context die eromheen staat, waardoor het opstellen van het rapport meer voelt als een gesprek en minder als een rigide invulproces.

Samenvatting van de claims

Nauwkeurigheid: Het nieuwe Diffusie-model is net zo goed (of zelfs beter) in het beantwoorden van medische vragen dan het traditionele model.
Snelheid: Het is aanzienlijk sneller (tot wel 4x).
Flexibiliteit: Het is het eerste model van zijn soort dat er succesvol in slaagt om "gaten in te vullen" in het midden van een rapport met behulp van context van zowel de linker- als de rechterkant, een taak waar het traditionele model voor faalt.
Beschikbaarheid: De onderzoekers hebben hun code en de getrainde modellen vrijgegeven zodat anderen ze kunnen gebruiken.

Het artikel beweert niet dat dit momenteel in ziekenhuizen wordt gebruikt om patiënten te diagnosticeren, maar dat het een krachtig nieuw hulpmiddel is voor het opstellen van rapporten dat sneller en flexibeler is dan de huidige standaard.

Technische Samenvatting: Discrete Diffusie Taalmodellen voor Interactief Ontwerpen van Radiologische Rapporten

Probleemstelling

Autoregressieve (AR) generatie, die tekst token voor token van links naar rechts produceert, vormt momenteel de basis voor bijna alle grote taalmodellen (LLM's) en visie-taalmodellen (VLM's) in het medische domein, inclusief de generatie van radiologische rapporten (RRG). Hoewel AR-modellen effectief zijn voor sequentiële generatie, missen ze inherente capaciteiten voor any-order infill—het vermogen om tekst in het midden van een sequentie te genereren, geconditioneerd op vaste inhoud aan zowel de linker- als de rechterzijde. Deze beperking belemmert interactieve conceptworkflows waarbij radiologen specifieke fragmenten van rapporten willen vastleggen en de model de gaten tussen deze fragmenten moet invullen. Bovendien zijn bestaande medische fundamentmodellen bijna uitsluitend autoregressief, waardoor de levensvatbaarheid van discrete diffusiemodellen in klinische settings grotendeendeels ongetest blijft.

Methodologie

De auteurs voeren een gecontroleerde vergelijking uit tussen discrete diffusie- en autoregressieve paradigma's met gebruik van identieke backbones om het generatieve paradigma als de enige variabele te isoleren.

1. Gelijkwaardige Backbones en Adaptatie

Modellen: De studie vergelijkt DiffusionGemma-26B (een discreet diffusie taalmodel) met zijn autoregressieve tegenhanger, Gemma-4-26B. Beide zijn modellen met 25,2 miljard parameters en 3,8 miljard actieve parameters (Mixture-of-Experts) en delen een SigLIP-afstammige visuele encoder.
Adaptatie: Beide modellen worden gefinetuned met een identiek Low-Rank Adaptation (LoRA) recept. De adaptatie richt zich op de aandacht (attention) en gedeelde MLP-projecties (rank-64, $\alpha=128$ ), terwijl de experts, de router en de visuele tower bevroren blijven.
Optimalisatie: Het enige bewuste verschil is het generatieve doel en de optimizer-instellingen:
- Diffusie: Gebruikt het uniform-state dLLM-doel, waarbij een willekeurig deel van de doel-tokens wordt vervangen door uniforme vocabulaire-trekken, en het model leert deze te herstellen.
- Autoregressief: Gebruikt standaard next-token cross-entropy.
- De optimizers verschillen (AdamW met verschillende $\beta$ -waarden) om af te stemmen op de gevestigde instellingen voor elk doel.

2. Training en Evaluatietaken

Medische Visuele Vraagbeantwoording (VQA): De modellen worden geëvalueerd op drie datasets (VQA-RAD, SLAKE, VQA-Med-2019) met behulp van een op verbositeit robuuste LLM-judge (Claude Sonnet 4.6) om semantische equivalentie te scoren in plaats van exacte overeenkomst.
Infersiesnelheid: Latentie en doorvoer worden gemeten op een enkele H100 GPU voor generaties van $\sim$ 256 tokens.
Any-Order Infill: De auteurs definiëren infill als het samplen van de conditionele distributie $p_\theta(x_{\bar{F}} | x_F = a, c)$ $p_{θ} (x_{\overset{ˉ}{F}} ∣ x_{F} = a, c)$ , waarbij $F$ $F$ vaste posities vertegenwoordigt en $\bar{F}$ $\overset{ˉ}{F}$ vrije posities vertegenwoordigt.
- Diffusie: Ondersteunt dit van nature door het canvas bidirectioneel te denoisen. Vaste tokens worden bij elke denoising-stap opnieuw opgelegd.
- Autoregressief: Kan dit niet van nature samplen. Om een bidirectionele context te simuleren, wordt de tekst aan de rechterkant in de prompt meegegeven, maar het model genereert nog steeds van links naar rechts.

Belangrijkste Bijdragen

Competitief Medisch Fundamentmodel: De studie toont aan dat een discreet diffusiemodel (DiffusionGemma-26B) zijn autoregressieve tegenhanger evenaart of overtreft op medische VQA-benchmarks en concurreert met state-of-the-art VLM's, terwijl het 3,5–4,4 $\times$ sneller decodeert.
Any-Order Infill Capaciteit: Het artikel stelt dat diffusie een unieke conditionele capaciteit biedt die afwezig is bij AR: het invullen van gaten met context van beide zijden tegelijkertijd. Dit is inherent aan het bidirectionele denoising-proces.
Open Release: De auteurs publiceren de code en de gefinetunede checkpoints voor zowel de diffusie- als de AR-modellen.

Resultaten

Medische VQA Prestaties

Nauwkeurigheid: Gefinetuned diffusie komt overeen met of overtreft gefinetuned AR over alle drie de datasets. Op de SLAKE-dataset behaalde gefinetuned diffusie een nauwkeurigheid van 0,863 vergeleken met 0,817 voor AR.
Significantie: Het verschil was statistisch significant op SLAKE (gefinetuned) en VQA-RAD (base). Diffusie presteerde bijzonder goed op gesloten vragen (ja/nee).
Vergelijking met Frontier Modellen: Het gefinetunde 26B model (3,8B actief) is competitief met frontier non-reasoning VLM's (Gemini-3.5-Flash, GPT-4.1-mini, Claude-Sonnet-4.6) en presteert beter dan GPT-4.1-mini op alle datasets.

Infertiesnelheid

DiffusionGemma ontwerpt rapporten 3,5–4,4 $\times$ sneller dan de AR-tegenhanger (Gemma-4) op een H100 GPU.
De doorvoer voor diffusie varieert van 139,4 tot 175,3 tokens/seconde, vergeleken met 24,6 tokens/seconde voor AR.
Dit snelheidsvoordeel komt voort uit het feit dat de kosten van diffusie worden bepaald door het aantal denoising-stappen over een vast canvasformaat, terwijl de AR-latentie lineair schaalt met de rapportlengte.

Any-Order Infill Prestaties

Contextbenutting: Op MIMIC-CXR rapporten met gemaskeerde zinnen, verbeterde het diffusiemodel significant wanneer het context kreeg van beide zijden van de opening:
- Token-F1: Nam toe met +0,109 ( $p < 10^{-10}$ ).
- LLM-Judge Nauwkeurigheid: Nam toe met +0,129 ( $p = 2 \times 10^{-5}$ ).
AR Beperking: Het autoregressieve model vertoonde geen significante verbetering (+0,031 Token-F1, niet-significant), zelfs niet wanneer de context aan de rechterkant in de prompt werd meegegeven. De interactie tussen modeltype en de richting van de context was significant, wat aangeeft dat diffusie ongeveer 3,5 $\times$ meer profiteert van bidirectionele context.

Betekenis en Claims

Het artikel claimt dat discrete diffusie een levensvatbaar substraat is voor medische fundamentmodellen, waarbij het een nauwkeurigheid biedt die vergelijkbaar is met autoregressieve modellen, met de toegevoegde voordelen van aanzienlijk snellere inferentie en unieke interactieve ontwerpcapaciteiten.

Specifiek betogen de auteurs dat de any-order infill capaciteit een cruciaal onderscheidend kenmerk is voor klinische workflows. Werkelijke radiologische rapporten zijn vaak beknopt, inconsistent of worden in fragmenten opgesteld. Een op diffusie gebaseerde tool stelt een radioloog in staat om specifieke secties van een rapport vast te leggen en het model de gaten tussen deze secties te laten invullen, waarbij gebruik wordt gemaakt van de context vanuit beide richtingen. Deze capaciteit wordt beschreven als "inherent aan diffusie maar niet aan autoregressie", wat diffusie positioneert als een superieur paradigma voor interactief, collaboratief rapportontwerp in plaats van enkel sequentiële generatie.

De studie concludeert dat hoewel AR dominant blijft, diffusiemodellen een competitief alternatief bieden dat niet alleen accuraat is, maar ook efficiënter en beter geschikt voor niet-sequentiële, interactieve bewerkingstaken in de radiologie.