When Background Matters: Breaking Medical Vision Language Models by Transferable Attack

1. El Problema

Los Modelos de Visión y Lenguaje (VLM) están transformando el diagnóstico clínico al interpretar escaneos médicos y generar informes expertos. Sin embargo, su robustez frente a ataques adversarios en entornos de alto riesgo sigue siendo poco explorada.

• Limitaciones de los ataques existentes: Los ataques actuales en el dominio médico se centran en objetivos secundarios (como el robo de modelos) o introducen distorsiones visibles en imágenes de escala de grises o paletas estrechas, lo que permite a los clínicos detectarlas fácilmente.
• El desafío: No existen ataques de transferencia (que funcionen en modelos desconocidos) que sean "negros" (sin acceso a los parámetros del modelo), sigilosos (imperceptibles al ojo humano) y capaces de generar diagnósticos incorrectos pero clínicamente plausibles sin alterar la modalidad médica principal.

2. Metodología: MedFocusLeak

Los autores proponen MedFocusLeak, el primer ataque multimodal, de caja negra y transferible diseñado específicamente para VLMs médicos. La estrategia central no es alterar la imagen médica en sí, sino manipular la atención visual del modelo hacia regiones irrelevantes.

El marco de trabajo se basa en cuatro principios técnicos:

1. Enmascaramiento de la región clínica: Utilizan MedSAM para segmentar y aislar las regiones de interés diagnóstico. Las perturbaciones adversarias se aplican estrictamente en el fondo no diagnóstico, preservando la integridad de las lesiones o anomalías médicas.
2. Representación Adversaria Multimodal: Generan un "semilla" adversaria que combina:
   • Una imagen de fondo blanco con perturbaciones coordinadas.
   • Un texto adversario generado (usando GPT-4) que define un objetivo diagnóstico incorrecto pero plausible.
   • Se optimizan conjuntamente mediante un descenso de gradiente proyectado y sustitución de tokens para maximizar la desalineación semántica entre imagen y texto.
3. Perturbación Confinada al Fondo: Las perturbaciones se limitan a parches cuadrados seleccionados dinámicamente en el fondo. Se alinean los embeddings de estos parches con representaciones objetivo utilizando un ensemble de modelos sustitutos (variantes de CLIP), asegurando que las alteraciones sean semánticamente efectivas pero visualmente imperceptibles.
4. Mecanismo de Distracción de Atención (Attention Shift): Introducen una función de pérdida específica (Attention Distraction Loss) que fuerza al modelo a reasignar su atención desde las regiones forenses (diagnósticas) hacia el fondo perturbado. Esto engaña al modelo para que base su diagnóstico en las señales adversarias del fondo en lugar de en la evidencia patológica real.

3. Contribuciones Clave

• Estudio Sistemático: Son los primeros en estudiar la viabilidad de ataques adversarios transferibles en el contexto de visión-lenguaje médico bajo amenazas realistas de caja negra.
• MedFocusLeak: Un nuevo marco de ataque que genera perturbaciones semánticamente conscientes, manteniendo la calidad de la imagen diagnóstica y siendo sigiloso incluso para expertos humanos.
• Marco de Evaluación Unificado: Introducen nuevas métricas que capturan simultáneamente el éxito del ataque y la fidelidad de la imagen:
  • MTR (Medical Text Adversarial Score): Evalúa la desviación diagnóstica manteniendo la coherencia de la modalidad.
  • AvgSim: Mide la similitud visual (imperceptibilidad).
  • MAS (Medical Attack Score): Una métrica unificada que combina éxito y sigilo.
• Hallazgo Crítico: Revelan una debilidad fundamental en la capacidad de razonamiento de los VLMs clínicos modernos: su atención puede ser desviada fácilmente por ruido en el fondo, llevando a diagnósticos erróneos con alta confianza.

4. Resultados Experimentales

El método fue evaluado en 6 modalidades de imagen médica (Rayos X, CT, MRI, dermatoscopia, mamografía, ultrasonido) y contra 6 VLMs (incluyendo modelos de código abierto como QwenVL e InternVL, modelos médicos especializados como MedVLM-R1, y modelos cerrados como GPT-5 y Gemini 2.5 Pro).

• Rendimiento Superior: MedFocusLeak supera consistentemente a los baselines más avanzados (como AttackVLM, M-Attack, FOA-Attack).
  • En modelos como InternVL, logró un MAS de 0.672 (frente a 0.523 del mejor baseline).
  • En GPT-5, alcanzó un MAS de 0.408, duplicando el rendimiento del baseline más fuerte.
• Transferibilidad: El ataque es altamente efectivo en modelos cerrados y de razonamiento (como MedVLM-R1), demostrando que la vulnerabilidad es inherente a la arquitectura de atención compartida.
• Sigilo: Mantiene una alta similitud de imagen (AvgSim > 0.85), lo que indica que las perturbaciones son imperceptibles para el ojo humano y no degradan la utilidad clínica de la imagen.
• Evaluación Humana: En pruebas con médicos residentes, MedFocusLeak obtuvo las puntuaciones más altas en impacto del texto adversario (ATI) y preservación de la calidad de imagen (IQP), confirmando su capacidad para engañar a expertos.

5. Significado e Implicaciones

Este trabajo expone una vulnerabilidad crítica en la seguridad de la IA médica: los modelos actuales pueden ser manipulados para ignorar evidencia patológica crucial y centrarse en el ruido de fondo, generando diagnósticos falsos pero convincentes.

• Riesgo: Esto plantea un peligro grave para la seguridad del paciente, ya que un ataque podría llevar a un diagnóstico erróneo (ej. declarar una masa tumoral como "normal" o viceversa) sin que el médico note alteraciones en la imagen.
• Defensa: El estudio subraya la necesidad urgente de desarrollar mecanismos de defensa que protejan la atención de los modelos y validen la coherencia entre la evidencia visual y el razonamiento clínico, más allá de la simple detección de perturbaciones visuales.
• Ética: Los autores publican el código y los hallazgos con el objetivo de fomentar el desarrollo de sistemas médicos más robustos y seguros antes de que estas vulnerabilidades sean explotadas maliciosamente.