Consistent but Dangerous: Per-Sample Safety Classification Reveals False Reliability in Medical Vision-Language Models

Resumen Técnico: Consistente pero Peligroso

1. Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLM) médicos se están acercando rápidamente a la implementación clínica para tareas como la respuesta a preguntas visuales en radiografías de tórax. Un requisito crítico para su despliegue es la fiabilidad: los clínicos deben confiar en que consultas clínicas equivalentes produzcan respuestas equivalentes.

Actualmente, la consistencia bajo parafraseo (la invariancia de las predicciones del modelo ante reformulaciones semánticamente equivalentes de la pregunta) se utiliza como un indicador principal de fiabilidad. Un "tasa de inversión" (flip rate) baja se interpreta como un comportamiento estable y seguro.

El problema central identificado: Los autores argumentan que esta interpretación tiene un punto ciego crítico. Un modelo puede lograr una consistencia perfecta (0% de tasa de inversión) no porque comprenda la imagen, sino porque depende de patrones de texto (atajos o shortcuts). Un modelo que responde "sí" a cualquier pregunta sobre derrame pleural, independientemente de la imagen mostrada, es perfectamente consistente pero clínicamente inseguro. Este fenómeno crea una "falsa fiabilidad" que los métodos de evaluación actuales no detectan.

2. Metodología y Marco de Trabajo

A. Taxonomía de Seguridad de Cuatro Cuadrantes
Los autores proponen un nuevo marco de evaluación a nivel de muestra que cruza dos propiedades binarias:

1. Consistencia: ¿Son idénticas las predicciones para la pregunta original y sus parafraseos?
2. Dependencia de la Imagen (Image Reliance): ¿Cambia la predicción cuando se elimina la imagen (evaluación solo con texto)?

Esto define cuatro categorías de muestras:

• Ideal: Consistente y dependiente de la imagen. (Predicciones estables basadas en evidencia visual).
• Frágil: Inconsistente pero dependiente de la imagen. (El modelo usa la imagen pero es sensible a la redacción; fallos genuinos de parafraseo).
• Peligrosa (Dangerous): Consistente pero NO dependiente de la imagen. (Predicciones estables que serían idénticas sin la imagen. Esta es la categoría de "falsa fiabilidad").
• Lo Peor (Worst): Inconsistente y no dependiente de la imagen. (Inestable y sin fundamento).

B. Configuración Experimental

• Modelos: Se evaluaron 5 configuraciones de VLMs médicos (familias MedGemma-4B-IT y LLaVA-Rad), incluyendo versiones base y versiones ajustadas con LoRA (Low-Rank Adaptation) optimizadas específicamente para reducir la sensibilidad al parafraseo.
• Datasets: Dos conjuntos de datos de radiografías de tórax:
  • MIMIC-CXR: Muestra balanceada (~50% "sí").
  • PadChest: Muestra desbalanceada (81% "sí"), diseñada para revelar comportamientos de sesgo hacia la clase mayoritaria.
• Método de Evaluación: Se comparan las predicciones con imagen ($f(x, q)$) y sin imagen ($f(\emptyset, q)$) para clasificar cada muestra en uno de los cuatro cuadrantes.

3. Contribuciones Clave

1. Nueva Taxonomía: Introducción de un marco de cuatro cuadrantes que identifica explícitamente la categoría "Peligrosa", donde la consistencia oculta la falta de fundamentación visual.
2. Paradoja Consistencia-Seguridad: Demostración de una correlación negativa fuerte ($r = -0.89$) entre la tasa de inversión (consistencia) y la fracción de muestras "Peligrosas". Los modelos optimizados para ser más consistentes tienden a volverse más dependientes del texto y menos seguros.
3. Invisibilidad de las Muestras Peligrosas: Evidencia de que las muestras "Peligrosas" tienen alta precisión (hasta 99.6%) y baja entropía (alta confianza), lo que las hace indetectables para los filtros de seguridad basados en incertidumbre o confianza estándar.
4. Recomendación Práctica: Propuesta de incluir una línea base de solo texto en cualquier evaluación de despliegue. Esto requiere un solo paso de inferencia adicional por muestra y expone inmediatamente si la consistencia se basa en la imagen o en el texto.

4. Resultados Principales

• Prevalencia del Cuadrante Peligroso: En el dataset PadChest, el modelo LLaVA-Rad Base clasificó el 98.5% de sus muestras como "Peligrosas". Tenía una tasa de inversión del 1.5% (la más baja, indicando "alta consistencia"), pero sus predicciones eran idénticas sin importar la imagen.
• Efecto del Ajuste LoRA: El ajuste fino (fine-tuning) con LoRA para mejorar la consistencia desplazó masivamente las muestras del cuadrante "Frágil" al "Peligroso".
  • Ejemplo: En MedGemma, pasar de la versión Base a Full LoRA redujo la tasa de inversión del 42.9% al 4.1%, pero aumentó la fracción de muestras "Peligrosas" del 25.5% al 78.6%.
• La Trampa de la Precisión: En datasets desbalanceados (como PadChest), un modelo que siempre responde "sí" (sin ver la imagen) obtiene una precisión del 81%. Las muestras "Peligrosas" a menudo muestran una precisión superior a las muestras "Ideales", engañando a las métricas agregadas.
• Fallo de la Entropía: Las muestras "Peligrosas" exhiben baja entropía (alta confianza), mientras que las "Frágiles" (que sí usan la imagen pero fallan en consistencia) tienen mayor entropía. Esto significa que los sistemas de alerta basados en incertidumbre filtrarían las muestras seguras (Frágiles) pero dejarían pasar las peligrosas.

5. Significado e Implicaciones

• Riesgo de Despliegue: Un pipeline de evaluación estándar que solo mida precisión, tasa de inversión y confianza seleccionaría preferentemente los modelos más peligrosos (como LLaVA-Rad Base en PadChest), creyendo erróneamente que están listos para uso clínico.
• Reevaluación de la Consistencia: La consistencia es necesaria pero no suficiente para la seguridad. Optimizar la consistencia sin restricciones de fundamentación visual puede llevar a modelos que aprenden atajos de texto en lugar de razonamiento visual.
• Recomendación de Despliegue: Se insta a que toda evaluación de VLMs médicos incluya obligatoriamente una prueba de línea base de solo texto. Si una muestra produce la misma predicción con y sin imagen, debe ser marcada como insegura, independientemente de su precisión o consistencia.
• Lección General: Las métricas de IA médica deben interpretarse conjuntamente a nivel de muestra. La confianza y la precisión pueden surgir de heurísticas fiables (atajos de texto) en lugar de un razonamiento correcto, y solo la evaluación conjunta de consistencia y dependencia de la imagen puede revelar esta distinción.

En conclusión, el artículo advierte que la búsqueda de consistencia en modelos médicos, sin verificar la fundamentación visual, puede crear sistemas que parecen perfectamente fiables pero que son clínicamente peligrosos al ignorar la evidencia radiográfica real.