🤖 AI

Discrete Diffusion Language Models for Interactive Radiology Report Drafting

Este artículo presenta un modelo de lenguaje de difusión discreta adaptado para la redacción de informes radiológicos que no solo iguala o supera el rendimiento de los modelos autorregresivos en evaluaciones médicas con una decodificación más rápida, sino que también permite de manera única el relleno de texto en cualquier orden, permitiendo a los clínicos editar y completar fragmentos de informes de forma fluida y bidireccional.

Autores originales: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando escribir un informe médico basado en una radiografía. Normalmente, las computadoras hacen esto como una persona escribiendo una historia de izquierda a derecha: escriben la primera palabra, luego la segunda, luego la tercera, sin mirar atrás ni cambiar lo que ya han escrito. Esto se llama generación Autorregresiva (AR). Es como un tren en una vía única; una vez que las ruedas pasan por un punto, no pueden volver atrás.

Este artículo presenta una nueva forma para que las computadoras escriban informes utilizando Difusión Discreta. En lugar de escribir palabra por palabra, imagina que la computadora comienza con una página en blanco llena de "ruido" (jerga aleatoria). Luego, mira la página completa a la vez, limpia el ruido y refina gradualmente el texto hasta que tenga sentido. Puede observar el principio, el medio y el final de la oración simultáneamente para determinar qué encaja mejor.

Aquí tienes un desglose de lo que los investigadores descubrieron, utilizando analogías simples:

1. La carrera: Dos hermanos, un mismo objetivo

Los investigadores tomaron dos "hermanos" de la misma familia de modelos de IA (ambos basados en un modelo llamado Gemma).

Hermano A (AR): El escritor tradicional que escribe de izquierda a derecha.
Hermano B (Difusión): El nuevo escritor que limpia una página completa a la vez.

Les dieron a ambos hermanos exactamente los mismos datos de entrenamiento (imágenes médicas y preguntas) y el mismo "plan de estudio" (usando una técnica llamada LoRA para enseñarlos). Querían ver si el nuevo método de Difusión podía mantenerse al nivel del antiguo método AR en el campo médico.

El Resultado: El hermano de Difusión no solo pudo mantener el ritmo, sino que a menudo tuvo un rendimiento mejor o igual al hermano AR en cuestionarios médicos. Incluso más impresionante, fue de 3.5 a 4.4 veces más rápido.

Analogía: Si el modelo AR es un pintor que añade cuidadosamente un trazo a la vez, el modelo de Difusión es como un escultor que comienza con un bloque de piedra y va quitando el exceso de golpe para revelar la forma. El escultor terminó el trabajo mucho más rápido.

2. El superpoder: "Relleno de cualquier orden" (Any-Order Infill)

Esta es la mayor afirmación del artículo. El modelo de Difusión tiene una capacidad especial de la que carece el modelo AR: Relleno de cualquier orden.

El límite del AR: Imagina que estás escribiendo un informe y te detienes en medio para corregir una oración. Si usas el modelo AR, este solo puede escribir lo que viene después de tu corrección. No puede mirar lo que escribiste después del hueco para ayudarle a corregir lo que vino antes del hueco. Es como intentar resolver un rompecabezas viendo solo las piezas a la izquierda de tu mano.
El superpoder de la Difusión: Debido a que el modelo de Difusión mira la página completa a la vez, un radiólogo puede dejar un espacio en blanco en medio de un borrador, escribir algunas palabras antes de él y algunas palabras después. El modelo puede entonces llenar el espacio en blanco, utilizando el contexto de ambos lados para hacerlo correctamente.
Analogía: Si estás editando un párrafo y eliminas una oración en medio, el modelo AR es como un escritor que solo lee el texto antes del cursor y adivina qué debería venir después. El modelo de Difusión es como un escritor que lee la oración antes del hueco y la oración después del hueco para reconstruir perfectamente el medio faltante.

Los investigadores probaron esto ocultando una oración en un informe médico real y pidiéndoles a los modelos que la rellenaran.

El modelo de Difusión utilizó las pistas de ambos lados del hueco y acertó la oración.
El modelo AR, incluso cuando se le "dijo" lo que había en el lado derecho, todavía tuvo dificultades para usar esa información para arreglar el lado izquierdo. Simplemente no podía "mirar hacia atrás" de manera efectiva.

3. Por qué esto es importante para los médicos

El artículo sugiere que los informes médicos suelen ser desordenados. Diferentes médicos pueden escribir cosas diferentes, o dejar secciones en blanco para llenarlas más tarde.

El modelo AR es rígido; espera un orden estricto.
El modelo de Difusión es flexible. Permite a un médico redactar un informe de una manera "no lineal": escribiendo primero la conclusión, luego los hallazgos, y luego completando el medio más tarde. El modelo puede llenar los huecos basándose en el contexto que los rodea, haciendo que el proceso de redacción se sienta más como una conversación y menos como un ejercicio rígido de completar formularios.

Resumen de afirmaciones

Precisión: El nuevo modelo de Difusión es tan bueno (o mejor) que el modelo tradicional para responder preguntas médicas.
Velocidad: Es significativamente más rápido (hasta 4 veces más).
Flexibilidad: Es el primero de su tipo en lograr con éxito "rellenar los espacios en blanco" en medio de un informe utilizando el contexto de los lados izquierdo y derecho, una tarea en la que el modelo tradicional falla.
Disponibilidad: Los investigadores han publicado su código y los modelos entrenados para que otros puedan utilizarlos.

El artículo no afirma que esto se esté utilizando actualmente en los hospitales para diagnosticar pacientes, sino que es una nueva herramienta poderosa para redactar informes que es más rápida y flexible que el estándar actual.

Resumen Técnico: Modelos de Lenguaje de Difusión Discreta para la Redacción Interactiva de Informes Radiológicos

Planteamiento del Problema

La generación autorregresiva (AR), que produce texto token por token de izquierda a derecha, sustenta actualmente casi todos los modelos de lenguaje de gran tamaño (LLM) y modelos de lenguaje y visión (VLM) en el dominio médico, incluyendo la generación de informes radiológicos (RRG). Aunque los modelos AR son efectivos para la generación secuencial, carecen de capacidades inherentes de infill de cualquier orden (any-order infill)—la capacidad de generar texto en medio de una secuencia condicionada por contenido fijo tanto a la izquierda como a la derecha. Esta limitación obstaculiza los flujos de trabajo de redacción interactiva donde los radiólogos pueden fijar fragmentos específicos del informe y requieren que el modelo rellene los huecos entre ellos. Además, los modelos fundacionales médicos existentes son casi exclusivamente AR, lo que deja la viabilidad de los modelos de difusión discreta en entornos clínicos prácticamente sin probar.

Metodología

Los autores llevan a cabo una comparación controlada entre los paradigmas de difusión discreta y autorregresivo utilizando backbones emparejados para aislar el paradigma generativo como la única variable.

1. Backbones Emparejados y Adaptación

Modelos: El estudio compara DiffusionGemma-26B (un modelo de lenguaje de difusión discreta) contra su hermano autorregresivo, Gemma-4-26B. Ambos son modelos de 25.2B de parámetros con 3.8B de parámetros activos (Mixture-of-Experts) y comparten un codificador de visión de la línea SigLIP.
Adaptación: Ambos modelos son ajustados finamente utilizando una receta de Adaptación de Bajo Rango (LoRA) idéntica. La adaptación se dirige a la atención y a las proyecciones compartidas de MLP (rango-64, $\alpha=128$ ) mientras se congelan los expertos, el router y la torre de visión.
Optimización: La única diferencia deliberada es el objetivo generativo y la configuración del optimizador:
- Difusión: Utiliza el objetivo de dLLM de estado uniforme, donde una fracción aleatoria de los tokens objetivo es reemplazada por extracciones del vocabulario uniforme, y el modelo aprende a recuperarlos.
- Autorregresivo: Utiliza la entropía cruzada estándar de siguiente token.
- Los optimizadores difieren (AdamW con diferentes valores de $\beta$ ) para alinearse con las configuraciones establecidas para cada objetivo.

2. Tareas de Entrenamiento y Evaluación

Preguntas Visuales Médicas (VQA): Los modelos se evalúan en tres conjuntos de datos (VQA-RAD, SLAKE, VQA-Med-2019) utilizando un juez de LLM robusto a la verbosidad (Claude Sonnet 4.6) para puntuar la equivalencia semántica en lugar de la coincidencia exacta.
Velocidad de Inferencia: La latencia y el rendimiento se miden en una sola GPU H100 para generaciones de $\sim$ 256 tokens.
Infill de Cualquier Orden: Los autores definen el infill como el muestreo de la distribución condicional $p_\theta(x_{\bar{F}} | x_F = a, c)$ $p_{θ} (x_{\overset{ˉ}{F}} ∣ x_{F} = a, c)$ , donde $F$ $F$ representa las posiciones fijas y $\bar{F}$ $\overset{ˉ}{F}$ representa las posiciones libres.
- Difusión: Soporta esto de forma natural mediante la eliminación de ruido bidireccional en todo el lienzo. Los tokens fijos se reimponen en cada paso de eliminación de ruido.
- Autorregresivo: No puede muestrear esto de forma condicional nativa. Para simular el contexto bidireccional, el texto del lado derecho se proporciona en el prompt, pero el modelo sigue generando de izquierda a derecha.

Contribuciones Clave

Modelo Fundacional Médico Competitivo: El estudio demuestra que un modelo de difusión discreta (DiffusionGemma-26B) iguala o supera a su hermano autorregresivo en benchmarks de VQA médica y rivaliza con VLMs de vanguardia, mientras que decodifica 3.5–4.4 $\times$ más rápido.
Capacidad de Infill de Cualquier Orden: El artículo establece que la difusión ofrece una capacidad de condicionamiento única ausente en AR: rellenar huecos utilizando el contexto de ambos lados simultáneamente. Esto es inherente al proceso de eliminación de ruido bidireccional.
Lanzamiento Abierto: Los autores liberan el código y los checkpoints ajustados para los modelos de difusión y AR.

Resultados

Rendimiento de VQA Médica

Precisión: La difusión ajustada iguala o supera a la AR ajustada en los tres conjuntos de datos. En el conjunto de datos SLAKE, la difusión ajustada logró una precisión de 0.863 frente al 0.817 de la AR.
Significancia: La diferencia fue estadísticamente significativa en SLAKE (ajustado) y VQA-RAD (base). La difusión funcionó particularmente bien en preguntas cerradas (sí/no).
Comparación con la Vanguardia: El modelo de 26B ajustado (3.8B activos) es competitivo con los VLMs de vanguardia que no son de razonamiento (Gemini-3.5-Flash, GPT-4.1-mini, Claude-Sonnet-4.6), superando a GPT-4.1-mini en todos los conjuntos de datos.

Velocidad de Inferencia

DiffusionGemma redacta informes 3.5–4.4 $\times$ más rápido que su hermano AR (Gemma-4) en una GPU H100.
El rendimiento para la difusión oscila entre 139.4 y 175.3 tokens/segundo, comparado con 24.6 tokens/segundo para la AR.
Esta ventaja de velocidad surge porque el costo de la difusión está determinado por el presupuesto de pasos de eliminación de ruido sobre un tamaño de lienzo fijo, mientras que la latencia de la AR escala linealmente con la longitud del informe.

Rendimiento de Infill de Cualquier Orden

Explotación de Contexto: En los informes de MIMIC-CXR con oraciones enmascaradas, el modelo de difusión mejoró significativamente cuando se le dio contexto de ambos lados del hueco:
- Token-F1: Aumentó en +0.109 ( $p < 10^{-10}$ ).
- Precisión del Juez de LLM: Aumentó en +0.129 ( $p = 2 \times 10^{-5}$ ).
Limitación de la AR: El modelo autorregresivo no mostró una mejora significativa (+0.031 Token-F1, no significativo) incluso cuando se proporcionó el contexto del lado derecho en el prompt. La interacción entre el tipo de modelo y la dirección del contexto fue significativa, indicando que la difusión se beneficia aproximadamente 3.5 $\times$ más del contexto bidireccional.

Significancia y Reivindicaciones

El artículo afirma que la difusión discreta es un sustrato viable para modelos fundacionales médicos, ofreciendo una precisión comparable a los modelos autorregresivos con las ventajas adicionales de una inferencia significativamente más rápida y capacidades únicas de redacción interactiva.

Específicamente, los autores argumentan que la capacidad de infill de cualquier orden es un diferenciador crítico para los flujos de trabajo clínicos. Los informes radiológicos del mundo real suelen ser escuetos, inconsistentes o redactados en fragmentos. Una herramienta basada en difusión permite a un radiólogo fijar secciones específicas del informe y que el modelo rellene los huecos entre ellas, aprovechando el contexto de ambas direcciones. Esta capacidad se describe como "inherente a la difusión pero no a la autorregresión", posicionando a la difusión como un paradigma superior para la redacción de informes interactiva y colaborativa en lugar de la generación puramente secuencial.

El estudio concluye que, si bien la AR sigue siendo dominante, los modelos de difusión ofrecen una alternativa competitiva que no solo es precisa, sino también más eficiente y mejor adaptada para tareas de edición interactiva y no secuencial en radiología.