PSF-Med: Measuring and Explaining Paraphrase Sensitivity in Medical Vision Language Models

El estudio presenta PSF-Med, un benchmark que revela la sensibilidad a parafraseos en modelos de visión y lenguaje médicos, e identifica mediante autoencoders dispersos un mecanismo causal específico que, al ser controlado, mejora significativamente la estabilidad de las respuestas sin comprometer la precisión.

Lo esencial

Imagina que tienes un doctor robot muy inteligente que puede leer radiografías de tórax y responder preguntas sobre la salud de los pacientes. Su trabajo es vital: si dice que todo está bien, el paciente va a casa; si dice que hay un problema, se le da tratamiento.

Pero, ¿qué pasa si este doctor robot es un poco "caprichoso" o "inestable"?

Este es el problema que descubrieron los autores de este estudio, llamado PSF-Med.

1. El Problema: El Doctor que Cambia de Opinión por la Forma de Preguntar

Imagina que le preguntas al robot:

• Pregunta A: "¿Hay neumonía en esta radiografía?"
• Pregunta B: "¿Se ve un pulmón infectado en esta imagen?"

Ambas preguntas significan exactamente lo mismo. Un médico humano respondería igual en ambos casos. Pero el robot, en cambio, podría decirte "Sí" a la primera y "No" a la segunda.

A esto los investigadores lo llaman "sensibilidad a la paráfrasis". Es como si el robot no estuviera mirando realmente la radiografía, sino que estuviera adivinando basándose en cómo suena la frase. Si cambias un poco las palabras, el robot cambia su diagnóstico. Esto es peligroso porque en un hospital, la confianza en el diagnóstico es cuestión de vida o muerte.

2. La Prueba: ¿Está mirando la foto o solo leyendo el texto?

Los investigadores hicieron una prueba muy curiosa. Le quitaron la radiografía al robot y le mostraron una pantalla en blanco (o una imagen gris), pero le hicieron la misma pregunta.

• Resultado sorprendente: Muchos de los robots que daban respuestas "consistentes" (que no cambiaban al reescribir la pregunta) seguían dando la misma respuesta incluso sin ver la foto.
• La analogía: Es como si un estudiante de medicina, en un examen, no mirara la radiografía del paciente, sino que adivinara la respuesta basándose en lo que suele pasar en general (por ejemplo, "la mayoría de las veces no hay neumonía, así que diré que no").
• La conclusión: Un robot que es muy consistente con las palabras, pero ignora la imagen, no es un buen doctor. Es un "adivino de texto".

3. La Autopsia del Cerebro del Robot: Encontrando el "Botón de la Formalidad"

Para entender por qué pasaba esto, los investigadores metieron sus manos en el "cerebro" digital del robot (usando una tecnología llamada Autoencoders Escasos o SAEs, que es como tener unas gafas de rayos X para ver qué neuronas se activan).

Descubrieron algo fascinante: Había una "neuronas" específica (la número 3818) que actuaba como un interruptor de formalidad.

• Analogía: Imagina que esta neurona es un botón de "Modo Serio".
  • Si le preguntas con lenguaje médico formal ("¿Existe evidencia radiográfica de...?"), el botón se enciende. El robot se vuelve conservador y cauteloso (tiende a decir "No" o "No se ve").
  • Si le preguntas con lenguaje coloquial ("¿Se ve algo raro aquí?"), el botón se apaga. El robot se vuelve permisivo (tiende a decir "Sí" o "Sí, se ve").

El problema es que, dependiendo de cómo le escribas la pregunta, el robot cambia de "modo" y da respuestas opuestas, aunque la imagen sea la misma.

4. La Solución: Apagar el Botón Mágico

Una vez que encontraron este "botón de la formalidad", los investigadores hicieron algo ingenioso: lo desconectaron.

• El experimento: En cada pregunta que le hacían al robot, forzaron a que ese botón específico permaneciera apagado, sin importar si la pregunta era formal o informal.
• El resultado:
  • El robot dejó de cambiar de opinión tan a menudo (los errores de "Sí/No" bajaron un 31%).
  • Empezó a mirar más la imagen y menos las palabras.
  • Su precisión general apenas bajó un poquito (como si el robot fuera un poco más lento, pero mucho más fiable).

Además, probaron otra solución sencilla: normalizar las preguntas. Es decir, antes de pasarle la pregunta al robot, un programa la reescribe automáticamente para que siempre suene igual (ej: "¿Hay [enfermedad] en esta radiografía?"). Esto también ayudó a reducir los errores.

Resumen para llevar a casa

Este estudio nos enseña tres cosas importantes sobre la Inteligencia Artificial en medicina:

1. La consistencia no es suficiente: Que un robot responda siempre lo mismo no significa que esté bien. Si siempre dice lo mismo sin mirar la foto, es un mal doctor.
2. Las palabras importan más de lo que creemos: Los robots actuales son muy sensibles a cómo se les pregunta, a veces más que a lo que realmente ven.
3. Podemos arreglarlo: Al entender cómo piensan estos robots (encontrando ese "botón de formalidad"), podemos hacerles "cirugías" pequeñas para que sean más estables y confiables.

En resumen, los investigadores crearon un espejo (el benchmark PSF-Med) para que los desarrolladores vean si sus robots son verdaderos doctores o solo adivinos de palabras, y encontraron una manera de hacerlos más honestos y seguros para los pacientes.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "PSF-Med: Measuring and Explaining Paraphrase Sensitivity in Medical Vision Language Models", estructurado según los puntos solicitados:

1. El Problema: Sensibilidad a la Paráfrasis en VLMs Médicos

Los Modelos de Lenguaje y Visión (VLM) adaptados a la radiología están siendo integrados en flujos de trabajo clínicos para tareas como la generación de informes y el cribado preliminar. Sin embargo, estos modelos presentan un modo de fallo crítico: la sensibilidad a la paráfrasis.

• Inconsistencia Semántica: Un mismo modelo puede dar respuestas contradictorias (ej. "Sí" vs. "No") ante la misma imagen médica si la pregunta clínica se reformula, incluso cuando el significado semántico se preserva.
• Riesgo de Seguridad: Esta inconsistencia socava la confianza en la herramienta diagnóstica. Si dos clínicos hacen preguntas equivalentes y reciben respuestas opuestas, el sistema no es fiable.
• Limitación de las Evaluaciones Actuales: Los benchmarks existentes (como VQA-RAD o SLAKE) se centran en la precisión sobre conjuntos de preguntas fijas, pero no evalúan la consistencia bajo variaciones lingüísticas naturales.

2. Metodología

A. Benchmark PSF-Med

Los autores construyeron un nuevo benchmark llamado PSF-Med para medir esta sensibilidad a escala:

• Datos: Se utilizaron dos conjuntos de datos públicos de radiografías de tórax: MIMIC-CXR (EE. UU.) y PadChest (España).
• Escala: 19,748 preguntas clínicas originales, cada una con 3-5 parafraseos semánticamente equivalentes, generando un total de ~92,000 pares pregunta-paráfrasis.
• Generación y Filtrado: Los parafraseos se generaron con GPT-4, variando la forma superficial (sustitución léxica, reestructuración sintáctica, cambios de formalidad, variación de alcance) mientras se mantenía el significado clínico. Se filtraron pares con similitud de embeddings (BioClinicalBERT) > 0.90 y se excluyeron aquellos donde la semántica se invertía.
• Métrica Principal: Tasa de "Flip" (Flip Rate). Se define como la fracción de preguntas donde al menos un parafraseo causa que el modelo cambie su decisión binaria (Sí/No) respecto a la pregunta original.

B. Análisis de Robustez vs. Fundamentación Visual

Para determinar si la consistencia se debe al análisis de la imagen o a "atajos" lingüísticos:

• Baselines Solo Texto: Se ejecutaron los modelos con imágenes en blanco (ruido uniforme) para medir la "Acuerdo Solo Texto" (Text-Only Agreement).
• Análisis de Atención: Se comparó la superposición de los mapas de atención del modelo con las cajas delimitadoras de patologías anotadas por radiólogos en casos de "flip" vs. casos consistentes.

C. Interpretabilidad Mecanística (SAEs)

Para entender por qué ocurren los flips en un modelo específico (MedGemma 4B):

• Sparse Autoencoders (SAEs): Se aplicó GemmaScope 2 (SAEs entrenados en Gemma 2) al flujo residual de la capa 17 de MedGemma 4B.
• FlipBank: Se curó un conjunto de 158 casos de alto confianza donde el modelo cambió su respuesta.
• Parcheo Causal: Se modificaron las activaciones internas eliminando la contribución de características específicas para ver si se revertía el cambio de respuesta.

3. Contribuciones Clave

1. Creación de PSF-Med: El primer benchmark a gran escala dedicado exclusivamente a medir la consistencia de VLMs médicos bajo paráfrasis, revelando que la sensibilidad varía enormemente entre modelos.
2. Desacoplamiento de Robustez y Fundamentación Visual: Demostraron que una baja tasa de flips no implica un buen razonamiento visual. Los modelos con mayor consistencia a menudo dependen de priors lingüísticos (responden igual sin la imagen), mientras que los que atienden más a la evidencia visual son más sensibles a la formulación de la pregunta.
3. Identificación de un Mecanismo Causal: Mediante SAEs, identificaron una característica dispersa específica (Feature 3818 en la capa 17) que codifica el "marco de la pregunta" (prompt framing). Esta característica se activa con lenguaje clínico formal (tendiendo a respuestas conservadoras/"No") y se desactiva con lenguaje coloquial (tendiendo a respuestas permisivas/"Sí").
4. Estrategias de Mitigación: Propusieron y validaron métodos para reducir la sensibilidad, incluyendo el "clamping" (fijación) de la característica identificada y la normalización de prompts.

4. Resultados Principales

• Tasas de Flip Variables: Al evaluar 6 modelos VLMs médicos, las tasas de flip oscilaron entre 8% y 58% (una diferencia de 7x). MedGemma-27B fue el más robusto (8-10%), mientras que RadFM y LLaVA-Rad mostraron la mayor sensibilidad (>50%).
• Trade-off Robustez-Fundamentación:
  • MedGemma-27B tuvo la menor tasa de flips (9.4%) pero la mayor acuerdo solo texto (85%), indicando que su consistencia se debe en gran parte a ignorar la imagen y confiar en el texto.
  • MedGemma-4B mostró mayor dependencia visual (menor acuerdo solo texto) pero mayor tasa de flips.
• Hallazgo Mecanístico (Feature 3818):
  • Esta característica correlaciona fuertemente con el registro del lenguaje (formal vs. informal).
  • Parcheo Causal: Eliminar la contribución de Feature 3818 recuperó el 44.8% del margen de decisión (logit) en los casos de flip y revertió completamente el 15% de los flips.
• Mitigación Exitosa:
  • Clamping de Feature 3818: Redujo la tasa de flips en un 31% (relativo) en MIMIC-CXR con un costo de precisión de solo 1.3 puntos porcentuales. Además, disminuyó la dependencia de los priors de texto.
  • Normalización de Prompts: Al estandarizar las preguntas a un formato clínico fijo, se logró una reducción adicional del 21%. La combinación de ambas técnicas redujo los flips en un 41%.

5. Significado e Impacto

• Evaluación Holística: El artículo establece que la tasa de flips por sí sola es una métrica insuficiente para la seguridad clínica. Las evaluaciones deben incluir pruebas de "solo texto" para detectar modelos que ignoran la imagen y análisis de atención para verificar la fundamentación visual.
• Seguridad en Despliegue: La sensibilidad a la paráfrasis es un riesgo de seguridad real. Un modelo que cambia de opinión basado en la redacción de la pregunta no es apto para entornos clínicos donde la precisión y la consistencia son vitales.
• Interpretabilidad Accionable: El uso de SAEs para identificar y manipular características específicas (como la detección de formalidad) ofrece una vía práctica para mejorar la robustez de los modelos sin necesidad de reentrenamiento masivo, simplemente interviniendo en la inferencia.
• Recursos Abiertos: Los autores liberan el benchmark PSF-Med, el código de evaluación y los scripts de análisis, fomentando la investigación futura en la consistencia de los modelos de visión médica.

En resumen, PSF-Med demuestra que la consistencia en los VLMs médicos es un desafío multifacético que requiere ir más allá de la precisión estática, examinando cómo los modelos procesan el lenguaje y la imagen, y proporcionando herramientas mecánicas para corregir sus sesgos de formulación.