🤖 AI

Discrete Diffusion Language Models for Interactive Radiology Report Drafting

Cet article présente un modèle de langage à diffusion discrète adapté à la rédaction de comptes rendus radiologiques qui, non seulement égale ou dépasse les performances des modèles autorégressifs sur les benchmarks médicaux avec un décodage plus rapide, mais permet également de manière unique le remplissage de texte dans n'importe quel ordre, permettant aux cliniciens d'éditer et de compléter de manière fluide des fragments de comptes rendus de façon bidirectionnelle.

Auteurs originaux : Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de rédiger un rapport médical à partir d'une radiographie. Habituellement, les ordinateurs font cela comme une personne écrivant une histoire de gauche à droite : ils écrivent le premier mot, puis le deuxième, puis le troisième, sans jamais revenir en arrière ni modifier ce qu'ils ont déjà écrit. C'est ce qu'on appelle la génération autorégressive (AR). C'est comme un train sur une voie unique ; une fois que les roues ont passé un point, elles ne peuvent plus revenir en arrière.

Ce document présente une nouvelle façon pour les ordinateurs de rédiger des rapports en utilisant la diffusion discrète. Au lieu d'écrire mot par mot, imaginez que l'ordinateur commence avec une page blanche remplie de « bruit » (du charabia aléatoire). Il regarde ensuite la page entière d'un seul coup, nettoie le bruit et affine progressivement le texte jusqu'à ce qu'il ait du sens. Il peut regarder le début, le milieu et la fin de la phrase simultanément pour déterminer ce qui convient le mieux.

Voici une décomposition de ce que les chercheurs ont découvert, en utilisant des analogies simples :

1. La course : Deux frères et sœurs, un seul objectif

Les chercheurs ont pris deux « frères et sœurs » issus de la même famille de modèles d'IA (tous deux basés sur un modèle appelé Gemma).

Frère A (AR) : L'écrivain traditionnel qui écrit de gauche à droite.
Frère B (Diffusion) : Le nouvel écrivain qui nettoie une page entière d'un seul coup.

Ils ont donné aux deux frères et sœurs exactement les mêmes données d'entraînement (images médicales et questions) et le même « plan d'étude » (en utilisant une technique appelée LoRA pour les enseigner). Ils voulaient voir si la nouvelle méthode de Diffusion pouvait tenir tête à l'ancienne méthode AR dans le domaine médical.

Le résultat : Le frère de la Diffusion n'a pas seulement tenu le rythme ; il a souvent obtenu de meilleurs résultats ou des résultats égaux au frère AR lors de quiz médicaux. Plus impressionnant encore, il était 3,5 à 4,4 fois plus rapide.

Analogie : Si le modèle AR est un peintre qui ajoute soigneusement un coup de pinceau à la fois, le modèle de Diffusion est comme un sculpteur qui part d'un bloc de pierre et dégage l'excédent d'un seul coup pour révéler la forme. Le sculpteur a terminé le travail beaucoup plus vite.

2. Le super-pouvoir : « Remplissage de tout ordre » (Any-Order Infill)

C'est la plus grande affirmation de ce document. Le modèle de Diffusion possède une capacité spéciale que le modèle AR n'a pas : le « Remplissage de tout ordre ».

La limite de l'AR : Imaginez que vous rédigez un rapport et que vous vous arrêtez au milieu pour corriger une phrase. Si vous utilisez le modèle AR, il ne peut écrire que ce qui vient après votre correction. Il ne peut pas regarder ce que vous avez écrit après l'espace vide pour l'aider à corriger ce qui se trouve avant l'espace. C'est comme essayer de résoudre un puzzle en ne voyant que les pièces situées à gauche de votre main.
Le super-pouvoir de la Diffusion : Parce que le modèle de Diffusion regarde la page entière d'un seul coup, un radiologue peut laisser un espace vide au milieu d'un brouillon, taper quelques mots avant et quelques mots après. Le modèle peut alors remplir l'espace vide, en utilisant le contexte des deux côtés pour réussir.
Analogie : Si vous éditez un paragraphe et que vous supprimez une phrase au milieu, le modèle AR est comme un écrivain qui lit seulement le texte avant le curseur et devine ce qui devrait suivre. Le modèle de Diffusion est comme un écrivain qui lit la phrase avant l'espace et la phrase après l'espace pour reconstruire parfaitement le milieu manquant.

Les chercheurs ont testé cela en cachant une phrase dans un véritable rapport médical et en demandant aux modèles de la réintégrer.

Le modèle de Diffusion a utilisé les indices des deux côtés de l'espace et a réussi la phrase.
Le modèle AR, même lorsqu'on lui « disait » ce qui se trouvait à droite, avait toujours du mal à utiliser cette information pour corriger la partie gauche. Il ne pouvait tout simplement pas « regarder en arrière » efficacement.

3. Pourquoi cela importe pour les médecins

Le document suggère que les rapports médicaux sont souvent désordonnés. Différents médecins peuvent écrire des choses différentes, ou laisser des sections vides pour les remplir plus tard.

Le modèle AR est rigide ; il attend un ordre strict.
Le modèle de Diffusion est flexible. Il permet à un médecin de rédiger un rapport de manière « non linéaire » — en tapant d'abord la conclusion, puis les observations, puis en remplissant le milieu plus tard. Le modèle peut combler les lacunes en fonction du contexte environnant, rendant le processus de rédaction plus proche d'une conversation que d'un exercice rigide de remplissage de formulaire.

Résumé des affirmations

Précision : Le nouveau modèle de Diffusion est aussi bon (voire meilleur) que le modèle traditionnel pour répondre à des questions médicales.
Vitesse : Il est nettement plus rapide (jusqu'à 4 fois).
Flexibilité : Il est le premier modèle de son genre à réussir à « remplir les blancs » au milieu d'un rapport en utilisant le contexte des côtés gauche et droit, une tâche où le modèle traditionnel échoue.
Disponibilité : Les chercheurs ont publié leur code et les modèles entraînés pour que d'autres puissent les utiliser.

Le document ne prétend pas que cela est actuellement utilisé dans les hôpitaux pour diagnostiquer des patients, mais plutôt que c'est un nouvel outil puissant pour la rédaction de rapports, plus rapide et plus flexible que la norme actuelle.

Résumé technique : Modèles de langage à diffusion discrète pour la rédaction interactive de rapports radiologiques

Énoncé du problème

La génération autorégressive (AR), qui produit du texte jeton par jeton de gauche à droite, sous-tend actuellement la quasi-totalité des grands modèles de langage (LLM) et des modèles vision-langage (VLM) dans le domaine médical, y compris la génération de rapports radiologiques (RRG). Bien que les modèles AR soient efficaces pour la génération séquentielle, ils manquent de capacités intrinsèques d'infill de n'importe quel ordre (any-order infill) — la capacité de générer du texte au milieu d'une séquence conditionné par un contenu fixe sur les côtés gauche et droit. Cette limitation entrave les flux de travail de rédaction interactive où les radiologues peuvent fixer des fragments spécifiques de rapports et exiger que le modèle comble les lacunes entre eux. De plus, les modèles de fondation médicale existants sont presque exclusivement AR, laissant la viabilité des modèles de diffusion discrète en milieu clinique largement non testée.

Méthodologie

Les auteurs mènent une comparaison contrôlée entre les paradigmes de diffusion discrète et autorégressif en utilisant des architectures de base identiques afin d'isoler le paradigme génératif comme seule variable.

1. Architectures de base identiques et adaptation

Modèles : L'étude compare DiffusionGemma-26B (un modèle de langage à diffusion discrète) à son jumeau autorégressif, Gemma-4-26B. Les deux sont des modèles de 25,2 milliards de paramètres avec 3,8 milliards de paramètres actifs (Mixture-of-Experts) et partagent un encodeur de vision de la lignée SigLIP.
Adaptation : Les deux modèles sont affinés (fine-tuned) en utilisant une recette d'adaptation de bas rang (LoRA) identique. L'adaptation cible les couches d'attention et les projections MLP partagées (rang-64, $\alpha=128$ ) tout en gelant les experts, le routeur et la tour de vision.
Optimisation : La seule différence délibérée réside dans l'objectif de génération et les paramètres de l'optimiseur :
- Diffusion : Utilise l'objectif dLLM à état uniforme, où une fraction aléatoire des jetons cibles est remplacée par des tirages uniformes du vocabulaire, et le modèle apprend à les récupérer.
- Autorégressif : Utilise l'entropie croisée standard du jeton suivant (next-token cross-entropy).
- Les optimiseurs diffèrent (AdamW avec des valeurs $\beta$ différentes) pour s'aligner sur les réglages établis pour chaque objectif.

2. Tâches d'entraînement et d'évaluation

Questions-Réponses Visuelles Médicales (VQA) : Les modèles sont évalués sur trois ensembles de données (VQA-RAD, SLAKE, VQA-Med-2019) à l'aide d'un juge LLM robuste à la verbosité (Claude Sonnet 4.6) pour noter l'équivalence sémantique plutôt que la correspondance exacte.
Vitesse d'inférence : La latence et le débit sont mesurés sur un seul GPU H100 pour des générations d'environ 256 jetons.
Infill de n'importe quel ordre : Les auteurs définissent l'infill comme l'échantillonnage de la distribution conditionnelle $p_\theta(x_{\bar{F}} | x_F = a, c)$ $p_{θ} (x_{\overset{ˉ}{F}} ∣ x_{F} = a, c)$ , où $F$ $F$ représente les positions fixes et $\bar{F}$ $\overset{ˉ}{F}$ les positions libres.
- Diffusion : Supporte naturellement cela en débruitant de manière bidirectionnelle l'ensemble de la toile (canvas). Les jetons fixes sont réimposés à chaque étape de débruitage.
- Autorégressif : Ne peut pas échantillonner nativement cette distribution conditionnelle. Pour simuler un contexte bidirectionnel, le texte du côté droit est fourni dans le prompt, mais le modèle génère toujours de gauche à droite.

Contributions clés

Modèle de fondation médicale compétitif : L'étude démontre qu'un modèle de diffusion discrète (DiffusionGemma-26B) égale ou dépasse son jumeau autorégressif sur les benchmarks VQA médicaux et rivalise avec les VLM de pointe, tout en décodant 3,5 à 4,4 $\times$ plus vite.
Capacité d'infill de n'importe quel ordre : L'article établit que la diffusion offre une capacité de conditionnement unique absente de l'AR : remplir des lacunes en utilisant le contexte des deux côtés simultanément. Cela est inhérent au processus de débruitage bidirectionnel.
Publication en Open Source : Les auteurs publient le code et les points de contrôle (checkpoints) affinés pour les modèles de diffusion et AR.

Résultats

Performance VQA Médicale

Précision : La diffusion affinée égale ou dépasse l'AR affiné sur les trois ensembles de données. Sur l'ensemble de données SLAKE, la diffusion affinée a atteint une précision de 0,863 contre 0,817 pour l'AR.
Significativité : La différence est statistiquement significative sur SLAKE (affiné) et VQA-RAD (base). La diffusion a particulièrement bien performé sur les questions fermées (oui/non).
Comparaison avec la frontière : Le modèle 26B affiné (3,8B actifs) est compétitif avec les VLM de pointe non-raisonnants (Gemini-3.5-Flash, GPT-4.1-mini, Claude-Sonnet-4.6), surpassant GPT-4.1-mini sur tous les ensembles de données.

Vitesse d'inférence

DiffusionGemma rédige des rapports 3,5 à 4,4 $\times$ plus vite que son jumeau AR (Gemma-4) sur un GPU H100.
Le débit pour la diffusion varie de 139,4 à 175,3 jetons/seconde, contre 24,6 jetons/seconde pour l'AR.
Cet avantage de vitesse provient du fait que le coût de la diffusion est déterminé par le budget d'étapes de débruitage sur une taille de toile fixe, tandis que la latence de l'AR augmente linéairement avec la longueur du rapport.

Performance de l'infill de n'importe quel ordre

Exploitation du contexte : Sur les rapports MIMIC-CXR avec des phrases masquées, le modèle de diffusion s'est considérablement amélioré lorsqu'il recevait du contexte des deux côtés de la lacune :
- Token-F1 : Augmentation de +0,109 ( $p < 10^{-10}$ ).
- Précision du juge LLM : Augmentation de +0,129 ( $p = 2 \times 10^{-5}$ ).
Limitation de l'AR : Le modèle autorégressif n'a montré aucune amélioration significative (+0,031 Token-F1, non significatif) même lorsque le contexte du côté droit était fourni dans le prompt. L'interaction entre le type de modèle et la direction du contexte était significative, indiquant que la diffusion bénéficie environ 3,5 $\times$ plus du contexte bidirectionnel.

Signification et affirmations

L'article affirme que la diffusion discrète est un substrat viable pour les modèles de fondation médicale, offrant une précision comparable aux modèles autorégressifs avec les avantages supplémentaires d'une inférence nettement plus rapide et de capacités de rédaction interactive uniques.

Plus précisément, les auteurs soutiennent que la capacité d'infill de n'importe quel ordre est un différenciateur critique pour les flux de travail cliniques. Les rapports radiologiques réels sont souvent concis, incohérents ou rédigés par fragments. Un outil basé sur la diffusion permet à un radiologue de fixer des sections spécifiques du rapport et de laisser le modèle combler les lacunes entre elles, en exploitant le contexte des deux directions. Cette capacité est décrite comme « inhérente à la diffusion mais pas à l'autorégression », positionnant la diffusion comme un paradigme supérieur pour la rédaction collaborative et interactive de rapports plutôt que pour la simple génération séquentielle.

L'étude conclut que bien que l'AR reste dominante, les modèles de diffusion offrent une alternative compétitive qui est non seulement précise, mais aussi plus efficace et mieux adaptée aux tâches d'édition interactive et non séquentielle en radiologie.