Enhancing Fine-Grained Spatial Grounding in 3D CT Report Generation via Discriminative Guidance

1. Problema y Motivación

El artículo aborda las limitaciones actuales de los Modelos de Lenguaje y Visión (VLM) en la generación automática de informes radiológicos a partir de tomografías computarizadas (CT) de tórax. Se identifican dos brechas críticas:

1. Supervisión de Entrenamiento Coarsa: Los métodos existentes suelen alinear todo el volumen 3D de la CT con un informe de texto libre completo. Carecen de una alineación explícita para atributos finos (como la severidad) o, más importante, para la localización espacial precisa de las patologías (ej. lóbulo específico, lateralidad).
2. Evaluación Insuficiente: Las métricas de evaluación actuales se basan en superposición léxica (BLEU, METEOR) o en la coincidencia de entidades generales. Estas métricas son holísticas y no diagnostican si el modelo ha logrado una anclaje espacial (spatial grounding) correcto (es decir, si el modelo sabe dónde está la lesión, no solo que existe).
3. Acoplamiento Rígido: Los enfoques anteriores que intentan mejorar la alineación (mediante segmentación o clasificadores auxiliares) suelen acoplar el VLM a una arquitectura específica. Si se actualiza el modelo discriminativo auxiliar, se requiere un costoso reentrenamiento de todo el VLM.

2. Metodología Propuesta: DCP-PD

Los autores proponen DCP-PD (Discriminative Cue-Prompting with Prompt Dropout), un marco modular y "plug-and-play" diseñado para guiar la generación de informes mediante señales discriminativas sin reentrenar el modelo de lenguaje base.

Componentes Clave del Pipeline:

1. Estructuración de Informes y Extracción de Etiquetas (Data Pre-processing):

   • Se utilizan LLMs (como Gemini) para convertir informes radiológicos libres en informes estructurados por secciones anatómicas.
   • Se define un conjunto de preguntas clínicas binarias jerárquicas para extraer etiquetas de supervisión fina:
     • QAS1: Presencia/Ausencia de hallazgos.
     • QAS2: Lateralidad (Izquierda/Derecha).
     • QAS3: Lóbulo específico (ej. Lóbulo Superior Derecho).
   • Esto transforma el texto libre en etiquetas binarias precisas para el entrenamiento.

2. Entrenamiento de Modelos Discriminativos:

   • Se entrena un clasificador ligero de múltiples etiquetas sobre las incrustaciones (embeddings) de la CT (extraídas de un backbone visual congelado, Pillar-0/Atlas).
   • Este modelo predice las respuestas a las preguntas clínicas (QAS) basándose únicamente en la imagen.

3. Interfaz de Prompting Basada en Lenguaje:

   • Durante el entrenamiento, las etiquetas extraídas de los informes reales (Ground Truth) se convierten en prompts de texto (ej. "¿Hay nódulo pulmonar? Sí").
   • Estos prompts se inyectan en el VLM como tokens de entrada junto con los tokens de la imagen.

4. Dropout de Prompt (Prompt Dropout):

   • Problema: Si el modelo ve siempre las respuestas correctas en el prompt, puede aprender un "atajo" (shortcut), copiando el texto del prompt sin analizar la imagen.
   • Solución: Durante el entrenamiento, se aplica un dropout aleatorio a las entidades en los prompts de supervisión. Esto fuerza al modelo a verificar las características visuales cuando la pista textual falta, asegurando un anclaje robusto a la imagen.

5. Inferencia Modular:

   • En la fase de inferencia, el prompt se llena dinámicamente con las predicciones de un modelo discriminativo pre-entrenado (que puede ser diferente al usado en entrenamiento).
   • Ventaja: El VLM no necesita ser reentrenado si se reemplaza el clasificador por uno mejor; solo cambia la fuente de los prompts.

3. Contribuciones Clave

• Marco DCP-PD: Un enfoque modular que permite guiar la generación de informes con señales discriminativas de cualquier modelo, desacoplando el generador del discriminador.
• Mecanismo de Dropout de Prompt: Una técnica innovadora para mitigar el aprendizaje de atajos, obligando al modelo a confiar en la evidencia visual incluso cuando se le proporcionan pistas textuales.
• Escalabilidad a Cues Finos: El sistema escala naturalmente desde la detección de presencia/ausencia hasta atributos espaciales complejos (lateralidad y lóbulos) simplemente añadiendo nuevas preguntas al conjunto de entrenamiento.
• Protocolo de Evaluación Jerárquica: Introducción de un protocolo de preguntas (Presencia → Lateralidad → Lóbulo) para evaluar específicamente la capacidad de anclaje espacial, demostrando que incluso los modelos de alto rendimiento fallan en la localización fina.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos CT-RATE (in-distribution) y Rad-ChestCT (out-of-distribution).

• Rendimiento General (SOTA):
  • En CT-RATE, DCP-PD logró un F1 macro de 0.603 (mejora del ~20% relativo respecto al VLM base de 0.501), superando a todos los métodos anteriores (CT-CHAT, Merlin, etc.).
  • En Rad-ChestCT (generalización), el F1 mejoró drásticamente de 0.266 a 0.503 (~89% de mejora relativa), demostrando una robustez superior fuera de la distribución.
• Mitigación de Atajos:
  • Sin el dropout, el modelo colapsa cuando se eliminan los prompts en la inferencia (F1 cae a 0.094). Con DCP-PD, el modelo mantiene un F1 de 0.366 en ausencia de prompts, demostrando que aprendió a anclarse a la imagen.
  • El análisis de atención muestra una reducción en la dependencia de los tokens de texto (cues) y un aumento en la atención a los tokens de imagen.
• Localización Fina:
  • DCP-PD mejora consistentemente la precisión en la detección de lateralidad y lóbulos específicos en comparación con el VLM base, acercándose al rendimiento de los clasificadores discriminativos puros.
• Análisis de Componentes:
  • Se demostró que los prompts de cues por sí solos pueden lograr buen rendimiento en métricas estándar, pero fallan en la localización espacial. La combinación de cues + tokens visuales es esencial para la precisión clínica completa.

5. Significado e Impacto

Este trabajo es significativo porque:

1. Mejora la Precisión Clínica: Al abordar la localización espacial (no solo la presencia), los informes generados son más útiles para la toma de decisiones clínicas.
2. Flexibilidad Operativa: La arquitectura modular permite a los hospitales actualizar sus modelos de detección de patologías sin tener que reentrenar costosos modelos generativos de lenguaje, facilitando la adopción de tecnologías más nuevas.
3. Nueva Métrica de Evaluación: Cuestiona la suficiencia de las métricas léxicas actuales y propone un protocolo de evaluación basado en preguntas que revela deficiencias críticas en la localización espacial que antes pasaban desapercibidas.
4. Validación de "Atajos": Ilustra cómo el uso de pistas de supervisión fuerte puede llevar a modelos que "memorizan" en lugar de "ver", y ofrece una solución práctica (dropout) para este problema en el dominio médico.

En resumen, DCP-PD representa un avance hacia informes radiológicos generados por IA que son no solo lingüísticamente fluidos, sino clínicamente precisos y espacialmente fundamentados.