CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs

Resumen Técnico: CXR-ContraBench

Definición del Problema: Atracción por la Opción Negada
Este artículo identifica un modo de fallo específico y clínicamente crítico en los Modelos Visuales-Lingüísticos Médicos (MVLM), denominado atracción por la opción negada. Aunque los MVLM suelen demostrar una alta precisión agregada en los puntos de referencia de radiología, exhiben una "reversión de polaridad" sistemática cuando se les presentan preguntas de opción múltiple que contienen tanto un hallazgo (por ejemplo, "Consolidación") como su contraparte explícitamente negada (por ejemplo, "Sin consolidación").

El fallo central ocurre cuando el modelo selecciona la opción negada a pesar de que la evidencia visual respalda el hallazgo positivo. Esto no es meramente un error de clasificación, sino una reversión semántica del lado de la presencia, donde el modelo emite una afirmación clínica que contradice directamente la imagen (por ejemplo, afirmar "Sin consolidación" cuando la consolidación es visible). Los autores argumentan que las métricas estándar de precisión agregada enmascaran este fallo, ya que el modelo puede identificar correctamente el concepto en otros contextos, pero falla específicamente cuando el espacio de respuestas incluye una forma superficial negada. Además, el artículo señala que la generación de cadenas de pensamiento (CoT), a menudo asumida como un medio para mejorar la fiabilidad del razonamiento, no resuelve consistentemente este problema y, en ocasiones, puede amplificar las contradicciones, particularmente en tareas diagnósticas del lado de la ausencia.

Metodología: CXR-ContraBench y QCCV-Neg
Para diagnosticar y cuantificar este fallo, los autores introducen CXR-ContraBench (Punto de Referencia de Contradicción de Radiografía de Tórax). A diferencia de los puntos de referencia generales de VQA médica, CXR-ContraBench es un instrumento diagnóstico diseñado con espacios de respuestas controlados para aislar la confusión de polaridad.

• Construcción del Punto de Referencia: El punto de referencia abarca tres familias de protocolos:

  1. Segmentos Internos de ReXVQA: Datos a gran escala de la distribución interna (hasta 30 000 muestras) para probar la dispersión y la escala.
  2. Auditorías Retrospectivas de OpenI: Derivadas de informes de OpenI y anotaciones de CheXStruct, incluyendo un subconjunto de "presencia" (donde el hallazgo es visible pero existe una opción negada) y un subconjunto de "ausencia".
  3. Protocolos Directos Externos: Pruebas dedicadas utilizando las divisiones de validación y entrenamiento de CheXpert. Estas incluyen una Sonda Directa de Presencia (preguntando "¿Qué hallazgo está presente?") y Protocolos de Ausencia Estilo Informe (preguntando "¿Qué hallazgo está ausente?").
  • Diseño: Cada pregunta empareja un concepto objetivo con su forma negada y al menos un distractor positivo. Esta estructura hace que las predicciones "confundidas por polaridad" (seleccionar la opción negada cuando el positivo es el estándar de oro) sean directamente cuantificables.

• QCCV-Neg (Verificador de Consistencia Condicionado a la Pregunta para la Negación): Los autores proponen un verificador determinista, post-hoc, que opera sin reentrenamiento. Se activa únicamente cuando se cumplen cuatro condiciones estrictas:

  1. El conjunto de respuestas contiene exactamente una opción explícitamente negada.
  2. El modelo base predice esa opción negada.
  3. La polaridad de la pregunta (presencia frente a ausencia) es identificable de forma segura.
  4. Existe una contraparte positiva única para el concepto en las opciones restantes.
     Si se activa, el verificador remapea determinísticamente la predicción a la contraparte positiva. Este enfoque tiene como objetivo auditar y reparar el subconjunto específico de errores confundidos por polaridad sin alterar el razonamiento general del modelo.

Resultados Clave
La evaluación abarca múltiples arquitecturas base, incluyendo MedGemma (4B y 27B), Qwen2.5-VL, variantes de LLaVA, CheXagent y GPT-4o.

• Fallo Sistemático: En la sonda directa de presencia de CheXpert, los modelos robustos exhiben tasas de fallo graves. MedGemma-4B y Qwen2.5-VL alcanzan solo una precisión del 31,49% y 30,21%, respectivamente, con más de 153 reversiones peligrosas de "No X" cada uno. Incluso MedGemma-27B desciende a una precisión del 51,91% con 105 reversiones.
• Confirmación de Escala: El fallo no es un artefacto de conjuntos de validación pequeños. En un protocolo coincidente de la división de entrenamiento de CheXpert con 135 754 registros, MedGemma y Qwen2.5-VL siguen emitiendo selecciones de opciones negadas en más del 62% de las preguntas de presencia.
• Ineficacia de CoT: La generación de cadenas de pensamiento reduce ligeramente la frecuencia de reversiones para algunos modelos en sondas de presencia, pero no las elimina. Crucialmente, CoT amplifica los errores en los protocolos del lado de la ausencia; por ejemplo, las contradicciones de LLaVA-Med en CheXpert aumentaron de 42 a 446 con CoT.
• Reparación Determinista: El verificador QCCV-Neg repara con éxito el subconjunto medido de errores confundidos por polaridad sin reentrenamiento.
  • Para MedGemma-4B en la sonda directa de presencia, la precisión salta del 31,49% al 96,60% (reparando las 153 reversiones).
  • Para Qwen2.5-VL, la precisión aumenta del 30,21% al 95,32%.
  • En la división de entrenamiento a gran escala, QCCV-Neg elimina todas las contradicciones medidas, elevando la precisión a aproximadamente el 95,6% para ambos modelos.
• Robustez: El fallo persiste a través de paráfrasis de negación no canónicas (por ejemplo, "Ausencia de X", "Sin evidencia de X"). Mientras que el verificador literal-superficial original pierde cobertura en estas variantes, una extensión consciente de la paráfrasa del verificador restaura la cobertura y elimina las contradicciones sin empeorar el rendimiento.

Significado y Afirmaciones
El artículo afirma que CXR-ContraBench expone un "error silencioso" donde la precisión agregada oculta fallos de polaridad clínicamente significativos durante la inferencia. La contribución principal es el aislamiento de la atracción por la opción negada como un modo de fallo distinto y sistemático en los MVLM generativos que no se corrige de forma fiable mediante el escalado o la generación de cadenas de pensamiento.

Los autores enfatizan que sus hallazgos son modestos en alcance pero de alta relevancia clínica:

1. Medibilidad: Demuestran que este fallo específico es cuantificable y auditable mediante espacios de respuestas controlados.
2. Reparabilidad: Muestran que una parte significativa de estos errores puede repararse determinísticamente durante la inferencia sin reentrenar el modelo, lo que sugiere que el error reside en el manejo de la polaridad del espacio de respuestas y no en una falta fundamental de comprensión visual.
3. Limitaciones: Los autores declaran explícitamente que QCCV-Neg es una mitigación diagnóstica, no una garantía de implementación. Se dirige a un conflicto específico del espacio de respuestas y no implica que el modelo haya adquirido un razonamiento clínico robusto y transferible sobre la negación. El artículo concluye que el trabajo futuro debería investigar la geometría de la representación cruzada de la polaridad, pero actualmente, el punto de referencia sirve para hacer visibles estos errores específicos y peligrosos.