Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models

Resumen Técnico: Replanteamiento de la Atribución Visual para el Razonamiento en Radiografías de Tórax en Modelos de Lenguaje Visuales Grandes

Enunciado del Problema
Los Modelos de Lenguaje Visuales Grandes (LVLM) se despliegan cada vez más en escenarios médicos de alto riesgo, como la generación de informes radiológicos y la asistencia diagnóstica. Sin embargo, una barrera crítica para la confiabilidad clínica es la incapacidad de atribuir fielmente las salidas del modelo a la evidencia visual específica en la entrada. Aunque existen diversos métodos de atribución visual (basados en gradientes, en atención, en perturbación y basados en prompts), su fiabilidad en entornos médicos sigue sin verificarse. El desafío central es la ausencia de una verdad fundamental objetiva para el razonamiento interno del modelo; las anotaciones humanas a menudo reflejan la relevancia clínica en lugar de las señales visuales específicas que un modelo de caja negra utilizó realmente para tomar una decisión. En consecuencia, los métodos de atribución existentes pueden resaltar regiones que son clínicamente plausibles pero causalmente irrelevantes para la predicción del modelo, o, por el contrario, omitir por completo la evidencia real.

Metodología
Los autores proponen un enfoque de dos frentes: un marco de evaluación causal riguroso y un nuevo método de atribución, MedFocus.

1. Marco de Evaluación Causal (MedGround-Bench):
   Para evaluar objetivamente la fidelidad de la atribución, los autores construyeron MedGround-Bench, una referencia derivada de tres conjuntos de datos de radiografías de tórax (CXR) (ImaGenome, VinDR-CXR, PadChest-GR) que contienen regiones espaciales anotadas por expertos. El marco emplea un proceso de filtrado causal de tres pasos para retener únicamente las muestras donde la región anotada por el experto se verifica que es causalmente responsable de la predicción del modelo:

   • Filtrado de Corrección: Se retienen solo las muestras donde el LVLM responde correctamente a la pregunta binaria de VQA ("¿Hay evidencia de [atributo]?").
   • Edición Contrafactual del Primer Plano: Utilizando el modelo RadEdit, la región anotada se rellena (inpainting) para eliminar el atributo objetivo. Las muestras se retienen solo si la respuesta del modelo cambia (por ejemplo, de "Sí" a "No"), confirmando la necesidad causal de la región.
   • Edición Contrafactual del Fondo: Se edita el fondo (fuera de la región anotada). Las muestras se retienen solo si la respuesta del modelo permanece sin cambios, asegurando que el cambio de decisión en el paso del primer plano no fue un artefacto de la sensibilidad general de la imagen.
     Este proceso produce un conjunto curado de 3.940 muestras en seis LVLM (incluyendo Qwen2.5-VL, Gemma3 y MedGemma) y dos modos de salida (respuesta directa y razonamiento paso a paso).

2. Método de Atribución MedFocus:
   Para abordar el fracaso de los métodos existentes, los autores proponen MedFocus, un método de atribución causal basado en conceptos. A diferencia de los enfoques de saliencia a nivel de píxel, MedFocus opera sobre conceptos anatómicos clínicamente significativos (por ejemplo, pulmón izquierdo, silueta cardíaca).

   • Segmentación de Conceptos: Localiza regiones anatómicas utilizando Transporte Óptimo No Balanceado (UOT) para mapear una CXR normal de referencia con anotaciones conocidas a la imagen objetivo, acomodando variaciones en masas patológicas. Estas máscaras iniciales se refinan utilizando MedSAM para obtener límites limpios.
   • Intervención Causal: Para cada concepto, MedFocus genera un contrafactual anulando (zero-masking) el cuadro delimitador del concepto (en lugar de la máscara de píxeles) y mide la caída acumulada en las log-probabilidades a nivel de token de la secuencia de salida original.
   • Salida: Produce atribuciones espaciales (cuadros delimitadores), explicaciones a nivel de concepto (nombres anatómicos) y atribuciones a nivel de token (identificando qué tokens de razonamiento se ven más afectados por la intervención).

Resultados Clave

• Fracaso de los Métodos Existentes: La evaluación en MedGround-Bench revela que 11 métodos de atribución existentes (incluyendo GradCAM, Gradientes Integrados, Atención Rollout y enfoques basados en prompts) fallan consistentemente en identificar fielmente la evidencia visual que impulsa las predicciones de los LVLM. A menudo producen mapas difusos con baja precisión o mapas enfocados que omiten la evidencia real, independientemente de la arquitectura del modelo o del modo de salida.
• Rendimiento de MedFocus: MedFocus supera sustancialmente a todos los puntos de referencia en todos los conjuntos de datos y modelos. En el modo de respuesta directa, alcanza un IoU del 54,24% en ImaGenome en comparación con el siguiente mejor (Atención ponderada por gradiente al 39,24%). Mantiene un rendimiento sólido en el modo de razonamiento, donde otros métodos muestran una degradación significativa.
• Perspectivas sobre el Comportamiento del Modelo: El estudio encuentra que los modelos entrenados médicamente (MedGemma) exhiben una mayor fidelidad de atribución y tasas de fallo más bajas que los modelos generalistas. Además, los modelos que generan razonamiento paso a paso tienden a interactuar de manera más consistente con evidencia anatómicamente significativa que aquellos que proporcionan respuestas directas.
• Estudios de Ablación: La tubería de segmentación de dos etapas (UOT + MedSAM) y el uso de la anulación de cuadros delimitadores para la intervención se identificaron como decisiones de diseño críticas que superan a la segmentación de extremo a extremo o al enmascaramiento a nivel de píxel.

Significado y Afirmaciones
El artículo afirma que los métodos de atribución actuales son insuficientes para garantizar la confiabilidad de los LVLM médicos, ya que a menudo fallan en alinearse con la evidencia visual real utilizada por el modelo. Al introducir una referencia validada causalmente y un método de atribución basado en conceptos, los autores proporcionan:

1. Evidencia de una Brecha: Una demostración de que las técnicas existentes no fundamentan de manera fiable las predicciones de LVLM médicos en evidencia visual, incluso cuando el modelo responde correctamente.
2. Una Solución: MedFocus, que cierra la brecha entre la evidencia visual de bajo nivel y la comprensión clínica de alto nivel al fundamentar las explicaciones en conceptos anatómicos interpretables, ofreciendo atribuciones espaciales, a nivel de concepto y a nivel de token que son más fieles y clínicamente interpretables.
3. Un Recurso: La publicación de MedGround-Bench para apoyar la evaluación rigurosa y causalmente fundamentada de los métodos de atribución en futuras investigaciones de IA médica.

Los autores posicionan este trabajo como un paso hacia LVLM médicos más confiables, enfatizando que la atribución fiable es esencial para la confianza del clínico, la detección de errores y la seguridad del paciente, al tiempo que reconocen que su marco actual es específico de CXR debido a las limitaciones en la disponibilidad de datos.