Visual concept ranking uncovers medical shortcuts used by large multimodal models

1. Problema y Motivación

La fiabilidad de los modelos de aprendizaje automático en dominios críticos como la salud es fundamental. Sin embargo, los Modelos Multimodales Grandes (LMMs), como OpenFlamingo, a menudo exhiben comportamientos inesperados y dependen de "atajos" (shortcuts) visuales en lugar de características clínicas reales.

• El desafío de la interpretabilidad: Los métodos anteriores, como los mapas de saliencia, son limitados porque solo localizan dependencias espaciales (píxeles específicos) pero no pueden capturar conceptos abstractos (ej. "brillo general" o "fondo de una parte del cuerpo"). Otros métodos correlacionales pueden identificar asociaciones espurias si la distribución de datos de prueba difiere de la de entrenamiento.
• Disparidades demográficas: Se ha observado que, al usar In-Context Learning (ICL) con ejemplos demostrativos, el rendimiento de los LMMs para clasificar lesiones cutáneas malignas puede mejorar en subgrupos de piel oscura pero empeorar en piel clara, sugiriendo que el modelo está utilizando características visuales diferentes (atajos) para cada grupo.
• Necesidad: Se requiere un método que pueda auditar estos modelos, identificar conceptos visuales causales (no solo correlacionales) y generar hipótesis comprobables sobre por qué el modelo falla o sesga sus predicciones.

2. Metodología: Visual Concept Ranking (VCR)

Los autores proponen Visual Concept Ranking (VCR), un método para identificar los conceptos visuales más importantes que un LMM utiliza para completar una tarea específica.

Flujo del Algoritmo:

1. Generación de Etiquetas de Concepto:

   • Se utiliza un modelo de visión-idioma preentrenado (VLM), como OpenCLIP, para etiquetar un conjunto de imágenes de prueba (probe set) con una gran lista de conceptos (ej. las 20,000 palabras más comunes en inglés + listas específicas del dominio).
   • Se calcula la similitud coseno normalizada entre los embeddings de la imagen y el texto para cuantificar la presencia de cada concepto en cada imagen.

2. Aprendizaje de Vectores de Activación de Concepto (CAV):

   • Se extraen las activaciones del LMM objetivo (desde una capa específica, usualmente la última) para las imágenes del conjunto de prueba.
   • Se entrena un modelo de regresión lineal regularizado ($L_2$) para predecir la etiqueta de cada concepto a partir de las activaciones del modelo.
   • Los pesos de esta regresión definen el Vector de Activación de Concepto (CAV), que representa la dirección en el espacio de activaciones correspondiente a ese concepto.

3. Medición de Sensibilidad (Puntuación de Importancia):

   • Para determinar la importancia de un concepto, se calcula la derivada direccional de la puntuación de la tarea (probabilidad logarítmica normalizada de la clase objetivo, ej. "maligno") a lo largo del vector del concepto.
   • Esto mide cuánto cambia la predicción del modelo si se perturba la activación en la dirección del concepto.

4. Pruebas de Significancia Estadística:

   • Se utiliza bootstrapping (remuestreo) del conjunto de imágenes para calcular la distribución de las puntuaciones de sensibilidad.
   • Se aplica una corrección de Bonferroni para controlar las comparaciones múltiples, rechazando hipótesis nulas solo si $p < 0.05/K$.

Diferencia clave con métodos anteriores: A diferencia de métodos puramente correlacionales (como MA-MONET) que solo miran la relación entrada-salida, VCR utiliza las activaciones y gradientes internos del modelo. Esto permite distinguir entre características que el modelo realmente usa (causales) y aquellas que solo correlacionan con la salida en el conjunto de datos de prueba (espurias).

3. Contribuciones Clave

1. Método VCR: Una nueva técnica de interpretabilidad diseñada específicamente para LMMs que combina la capacidad de los VLMs para etiquetar conceptos con el análisis de gradientes internos para medir sensibilidad causal.
2. Validación Rigurosa: Demostración de que VCR es robusto ante cambios de distribución (distribution shift), identificando correctamente dependencias causales incluso cuando las correlaciones en los datos de prueba son engañosas.
3. Descubrimiento de Atajos Médicos: Identificación de sesgos demográficos y dependencias anatómicas en modelos de dermatología que no eran evidentes mediante métricas de rendimiento estándar.
4. Herramienta de Generación de Hipótesis: El enfoque no es solo automatizado; está diseñado para generar hipótesis que luego pueden ser validadas mediante intervenciones manuales en imágenes.

4. Resultados Principales

A. Validación con Datos Sintéticos

• Se creó un dataset sintético donde se controlaban las correlaciones entre características visuales y etiquetas.
• Correlación con la Verdad Terrenal: VCR mostró una fuerte correlación (Pearson $r \approx 0.53$) entre sus puntuaciones de sensibilidad y los efectos intervencionales reales.
• Robustez ante Desplazamiento de Distribución: En un escenario adversario donde una característica "espuria" tenía una correlación negativa durante el entrenamiento pero positiva en la prueba, VCR identificó correctamente que el modelo no dependía de ella (92% de precisión), mientras que un método puramente correlacional falló (18% de precisión).

B. Clasificación de Lesiones Cutáneas (Dermatología)

• Disparidad Demográfica: Se confirmó que al añadir ejemplos demostrativos (ICL), el modelo OpenFlamingo-3B-Instruct mejora en piel oscura (FST V/VI) pero empeora en piel clara (FST I/II).
• El Atajo de las Marcas: VCR identificó que los conceptos "tattoo" (tatuaje) y "Purpura/Petechiae" (púrpura/petequias) eran predictores significativos de malignidad.
  • Análisis: Las imágenes más activadas por estos conceptos mostraban en realidad marcas de tinta azul/morada utilizadas por dermatólogos para marcar biopsias, no las condiciones médicas reales.
  • Validación: Al añadir manualmente puntos morados a imágenes de piel neutra, se confirmó que el modelo aumentaba su predicción de malignidad para piel oscura en el modo ICL, pero no para piel clara, validando la hipótesis generada por VCR.
• Sesgo Anatómico: El modelo tendía a predecir menor malignidad para lesiones en fondos de cuello o cuero cabelludo (conceptos "neck", "hair") en comparación con fondos de piel genérica. Las intervenciones manuales confirmaron que el modelo subestima el riesgo en estas ubicaciones anatómicas específicas.

C. Experimentos Complementarios

• Radiografías (CheXpert): El modelo utilizó el concepto "wiring" (cables/alambres) para predecir anomalías. Las imágenes activadas mostraban dispositivos médicos (marcapasos, cables EKG), indicando que el modelo infería enfermedad basándose en la presencia de soporte médico en lugar de patología pulmonar.
• Imágenes Naturales (Imagenette): El método funcionó también en tareas no médicas, identificando conceptos semánticamente coherentes (ej. "logos" y "puntos" para pelotas de golf).

5. Significado e Impacto

• Seguridad Clínica: El estudio revela que los LMMs pueden depender de artefactos clínicos (marcas de tinta) o contextos anatómicos irrelevantes, lo que podría llevar a diagnósticos erróneos o desigualdades en la atención médica.
• Superioridad sobre Métodos Correlacionales: VCR demuestra que la interpretabilidad basada en correlaciones es insuficiente en entornos médicos donde los datos de prueba pueden tener correlaciones espurias fuertes. El uso de gradientes internos es crucial para la auditoría causal.
• Implicaciones para el Despliegue: La dependencia de los modelos de ejemplos demostrativos (ICL) puede alterar dinámicamente qué atajos utiliza el modelo. Esto sugiere que la curaduría de los ejemplos demostrativos es crítica para garantizar un rendimiento equitativo entre diferentes grupos demográficos.
• Limitaciones: VCR requiere acceso a los gradientes del modelo (no funciona con modelos de API cerrada) y tiene dificultades con conceptos de posición espacial (donde los mapas de saliencia siguen siendo útiles). Además, los nombres de los conceptos generados por el VLM pueden ser imperfectos y requieren interpretación humana.

En conclusión, el papel presenta VCR como una herramienta esencial para auditar la "caja negra" de los LMMs en medicina, permitiendo a los investigadores descubrir y validar mecanismos de fallo ocultos antes del despliegue clínico.