Vision-language models for chest radiography do not always need the image

Planteamiento del Problema
Los modelos de visión-lenguaje (VLM) médicos han demostrado una fuerte precisión en los bancos de pruebas de radiografías de tórax, lo que conduce a la suposición implícita de que estos sistemas integran la evidencia visual con el razonamiento textual para producir respuestas clínicamente válidas. Sin embargo, las métricas de precisión por sí solas no pueden distinguir entre un modelo que realmente "lee" la radiografía y uno que infiere respuestas a partir de sesgos lingüísticos, coocurrencias epidemiológicas o estadísticas de nombres de hallazgos presentes en su corpus de entrenamiento. Este "aprendizaje de atajos" (shortcut learning) es un modo de falla conocido en los clasificadores unimodales, pero plantea un riesgo más agudo para los VLM, que pueden generar respuestas médicas creíbles utilizando únicamente el lenguaje. Los métodos de evaluación existentes, como los mapas de prominencia (saliency maps) post-hoc o la degradación adversarial del rendimiento, no logran aislar causalmente si una respuesta correcta específica depende de la entrada de la imagen para preguntas clínicas estándar.

Metodología
Los autores introducen un marco de auditoría causal diseñado para intervenir directamente en la entrada de la imagen para probar la dependencia causal de la salida del modelo. El estudio evalúa nueve sistemas, incluyendo modelos fundacionales multimodales de propósito general, VLM médicos especialistas, sistemas de frontera de código cerrado, modelos de lenguaje de gran tamaño (LLM) de solo texto y una sonda lineal de solo visión.

La auditoría utiliza un conjunto de prueba de 2,575 preguntas binarias (sí/no) sobre la presencia de hallazgos derivadas de MS-CXR (regiones marcadas por radiólogos), MIMIC-CXR (etiquetas globales) y ReXErr (errores de informes). Cada modelo es sometido a cuatro condiciones de imagen:

1. Original: La radiografía sin modificar.
2. Intercambio (Swap): Una radiografía de un paciente diferente que porta exactamente la misma etiqueta de hallazgo.
3. Máscara de Objetivo (Target Mask): La imagen original con la región marcada por el radiólogo para el hallazgo consultado ocluida.
4. Máscara Irrelevante (Irrelevant Mask): La imagen original con una región del mismo tamaño ocluida lejos del hallazgo.

De estas intervenciones se derivan tres métricas de comportamiento:

• Tasa de Anclaje Causal (CGR - Causal Grounding Rate): La fracción de respuestas correctas que cambian cuando se enmascara la región objetivo.
• Tasa de Respuesta de Imagen No Relacionada (UAR - Unrelated-Image Answer Rate): La fracción de respuestas correctas que se preservan cuando la imagen se intercambia por la de un paciente diferente con la misma etiqueta.
• Estabilidad de Máscara Irrelevante (IS - Irrelevant-Mask Stability): La fracción de respuestas preservadas cuando se ocluye una región irrelevante.

Estas métricas se utilizan para categorizar los sistemas en tres grupos de comportamiento: Usa la Imagen (CGR alto, UAR bajo, IS alto), Ignora la Imagen (CGR=0, UAR=100, IS=100) e Inestable (IS bajo, indicando sensibilidad a ediciones no diagnósticas). El marco se valida a través de un segundo conjunto de datos (CheXpert), variando las resoluciones de imagen y las formulaciones de los prompts, y se compara con la calificación independiente de radiólogos certificados por la junta.

Resultados Clave

• Desacoplamiento de la Precisión y el Uso de la Imagen: La precisión en los bancos de pruebas no se correlaciona con si un modelo usa la imagen. Un modelo de solo texto (MedGemma-27B-text) alcanzó una precisión del 60.1%, estadísticamente indistinguible del mejor sistema multimodal (Gemma-4-26B al 66.2%) y significativamente superior a dos modelos multimodales médicos especialistas. Un modelo multimodal de 119 mil millones de parámetros fue estadísticamente indistinguible de una línea base de solo texto de 7 mil millones.
• Categorización de Comportamiento:
  • Ignora la Imagen: Tres sistemas (LLaVA-Med-7B, MedGemma-27B-text, DeepSeek-R1-7B) mostraron cero anclaje causal; sus respuestas permanecieron inalteradas independientemente de las ediciones de la imagen.
  • Inestable: Un modelo grande (Mistral-Small-4-119B) exhibió inestabilidad, cambiando sus respuestas bajo oclusiones irrelevantes con la misma frecuencia que bajo la máscara de objetivo.
  • Usa la Imagen (Selectivamente): Cinco sistemas usaron la imagen, pero el anclaje fue parcial. La tasa de anclaje causal para estos modelos osciló entre el 6.4% y el 33.5%. El uso de la imagen fue altamente específico según el hallazgo (por ejemplo, alto para neumonía y edema, cercano a cero para atelectasia y opacidad pulmonar) y dependiente de la vista (significativamente menor en vistas anteroposteriores/portátiles en comparación con las posteroanteriores).
• Comparación Humana: Frente a radiólogos certificados por la junta, el modelo de solo texto fue estadísticamente indistinguible en precisión, pero su anclaje fue de cero. Por el contrario, los modelos que usaron la imagen presentaron tasas de anclaje comparables a las de los radiólogos.
• Calibración de Confianza: La confianza reportada solo identificó de manera confiable las respuestas no ancladas en los modelos que realmente usaban la imagen. Los modelos de solo texto y los modelos inestables mostraron una pobre calibración, reportando frecuentemente alta confianza en respuestas incorrectas o no ancladas.

Significancia y Reivindicaciones
El artículo argumenta que la precisión reportada es un proxy insuficiente para la fiabilidad clínica en los VLM médicos porque no verifica la procedencia de la respuesta. Los autores afirman que:

1. La precisión no es evidencia de radiología: Se pueden alcanzar puntuaciones altas en los bancos de pruebas mediante modelos que ignoran la imagen por completo, apoyándose en su lugar en sesgos específicos del conjunto de datos.
2. El anclaje es una propiedad medible: Si un modelo usa la imagen es una característica de comportamiento distinta y medible que varía según el modelo, el hallazgo y la vista, y no está garantizada por el tamaño o la especialización del modelo.
3. Las auditorías intervencionales son necesarias: Los autores proponen que las auditorías de anclaje, específicamente las intervenciones causales sobre la entrada, deben acompañar a los bancos de pruebas de precisión y actuar como filtros para las afirmaciones de despliegue clínico.
4. Riesgos de despliegue actuales: Los hallazgos sugieren que confiar únicamente en la precisión y en las puntuaciones de confianza es inseguro, ya que la confianza no distingue entre respuestas ancladas y no ancladas en los modelos que ignoran la imagen.

El estudio concluye que, si bien los VLM médicos no son necesariamente no aptos para el uso clínico, el campo debe pasar de reportar únicamente la precisión a medir y reportar el anclaje causal para asegurar que las respuestas correctas se deriven de la radiografía y no sean simplemente recitadas de los sesgos previos.