Resumen Técnico: Atribución de Modalidad Contrafactual para LLMs Multimodales

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) se despliegan cada vez más en dominios de alto riesgo, como el soporte de decisiones clínicas, donde integran información complementaria de imágenes y texto. Si bien los métodos de explicabilidad existentes (por ejemplo, mapas de prominencia, pesos de atención) identifican con éxito características influyentes dentro de modalidades individuales (por ejemplo, regiones de imagen específicas o tokens de texto), no logran responder a una pregunta fundamental: ¿qué modalidad es la que realmente impulsa una predicción?

Los métodos actuales operan localmente dentro de canales únicos y no pueden cuantificar la contribución relativa de modalidades enteras o sus interacciones. En consecuencia, un modelo puede producir un resultado correcto basándose en un "atajo" de una sola modalidad mientras ignora evidencia crítica en otra (por ejemplo, diagnosticar correctamente una neumonía a partir de una radiografía pero ignorar una nota de texto sobre una alergia a la penicilina). Esta dependencia oculta de la modalidad enmascara patrones de razonamiento inseguros que permanecen invisibles para las métricas estándar de precisión predictiva. El artículo sostiene que la atribución de modalidad es un objetivo de explicabilidad distinto y complementario a la atribución de características, necesario para auditar los modelos fundacionales multimodales.

Metodología: Atribución de Modalidad Contrafactual (CMA)

Los autores proponen la Atribución de Modalidad Contrafactual (CMA), un marco agnóstico al modelo que cuantifica las contribuciones a nivel de modalidad utilizando una combinación de prioris de difusión acoplados y teoría de juegos cooperativos. El marco opera en tres etapas:

1. Difusión Acoplada y Generación de Contrafactuales Guiada

A diferencia de los métodos contrafactuales previos que intervienen en una sola modalidad, CMA genera contrafactuales sincronizados de solo imagen, solo texto y multimodales conjuntos dentro de un marco de optimización unificado.

• Prioris: El método utiliza modelos de difusión preentrenados de forma independiente: un Modelo Probabilístico de Difusión de Eliminación de Ruido (DDPM) para imágenes y un Modelo de Lenguaje de Difusión Riemanniana (RDLM) para texto.
• Sincronización: Durante el proceso de difusión inversa, los modelos de imagen y texto se sincronizan en el mismo paso de tiempo (timestep). Son guiados conjuntamente por gradientes de un clasificador MLLM preentrenado para minimizar una pérdida de margen de Carlini–Wagner ($L_{CW}$). Esto asegura que los contrafactuales sean realistas (situados en la variedad de los datos) y representen intervenciones mínimas que cambian la predicción.
• Modos:
  • CF de solo imagen: El texto se mantiene fijo; la imagen se optimiza para invertir la predicción.
  • CF de solo texto: La imagen se mantiene fija; el texto se optimiza para invertir la predicción.
  • CF conjunto: Ambas modalidades se optimizan simultáneamente para capturar dependidades intermodales.

2. Definición del Valor de Coalición

Los contrafactuales generados definen un juego cooperativo de dos jugadores donde las modalidades de Imagen ($I$) y Texto ($T$) actúan como jugadores. La función de valor $v(S)$ para una coalición $S \subseteq \{I, T\}$ se define como la puntuación del logit asignada a la clase predicha original $\hat{y}$ cuando las modalidades en $S$ permanecen sin cambios y las modalidades no pertenecientes a $S$ son reemplazadas por sus contrapartes contrafactuales.
Los cuatro valores de coalición requeridos son:

• $v(\{I, T\})$: Muestra original $(x_I, x_T)$.
• $v(\{I\})$: Imagen original, Texto contrafactual $(x_I, x'_T)$.
• $v(\{T\})$: Imagen contrafactual, Texto original $(x'_I, x_T)$.
• $v(\emptyset)$: Ambos contrafactuales $(x'_I, x'_T)$.

3. Atribución de Valor de Shapley

El marco calcula los valores de Shapley ($\theta_I, \theta_T$) para cuantificar la contribución marginal de cada modalidad. Para un juego de dos jugadores, estos admiten una solución de forma cerrada:
$$\theta_I = \frac{1}{2} [v(\{I\}) - v(\emptyset) + v(\{I, T\}) - v(\{T\})]$$
$$\theta_T = \frac{1}{2} [v(\{T\}) - v(\emptyset) + v(\{I, T\}) - v(\{I\})]$$
Las puntuaciones de atribución finales se normalizan a porcentajes (Imagen% y Texto%) para indicar qué modalidad impulsa principalmente la decisión.

Contribuciones Clave

1. Objetivo de Explicabilidad Complementario: El artículo formula la atribución de modalidad como un complemento necesario a la atribación de características, abordando la brecha en la comprensión de qué modalidad impulsa una decisión.
2. Nuevo Marco Contrafactual: CMA es el primer marco que genera contrafactuales sincronizados, realistas, de solo imagen, de solo texto y conjuntos para MLLM preentrenados utilizando prioris de difusión acoplados.
3. Formulación de Atribución Principista: Introduce un enfoque de teoría de juegos utilizando valores de Shapley para convertir los contrafactuales multimodales en puntuaciones interpretables que cuantifican las contribuciones individuales y las interacciones no lineales entre modalidades.
4. Validación Extensa: El método se valida en entornos sintéticos controlados y en un conjunto de datos clínico del mundo real, demostrando un rendimiento superior sobre las líneas base existentes en la identificación de las modalidades que impulsan la decisión.

Resultados Experimentales

Los autores evaluaron CMA en dos entornos de prueba:

1. MNIST Multimodal Sintético: Un entorno controlado con dependencia de modalidad de verdad fundamental conocida (variantes Sesgada hacia la Imagen, Sesgada hacia el Texto y Balanceada).
2. OpenI Multiclase: Un conjunto de datos de radiografías de tórax emparejadas con informes radiológicos.

Rendimiento:

• Precisión: En los entornos de MNIST Sintético, CMA identificó correctamente la modalidad que impulsaba la decisión en el 98% de los casos controlados.
• Comparación con Líneas Base: CMA superó significativamente a las líneas base, incluyendo Input $\times$ Gradient, Perturbation SHAP, EAGLE, MM-SHAP y MultiViz. Notablemente, MM-SHAP y MultiViz lograron un 0% y 3% de precisión, respectivamente, en muestras sesgadas hacia la imagen, fallando en recuperar los sesgos conocidos del modelo.
• Hallazgos Cualitativos: En el conjunto de datos OpenI, CMA reveló que un modelo que predice "Nódulo" dependía de correlaciones espurias con los cables de ECG (visibles en la imagen) en lugar de evidencia clínica. Los contrafactuales de solo texto no lograron invertir la predicción porque el atajo de la imagen permanecía, demostando la necesidad del análisis contrafactual conjunto.
• Estudio de Ablación: Los experimentos de corrupción progresiva mostraron que las puntuaciones de atribución de CMA se adaptan continuamente a la evidencia disponible. A medida que se corrompe una modalidad, su atribución cae al 0%, desplazándose enteramente a la modalidad intacta, revelando un colapso unimodal que las métricas de precisión pasan por alto.

Significación y Reivindicaciones

El artículo afirma que la atribución de modalidad es una dimensión de la explicabilidad crítica y previamente no abordada. Al ir más allá de las explicaciones a nivel de característica, CMA proporciona un marco principista para auditar si un modelo depende de evidencia complementaria o de atajos inseguros.

Los autores aseguran que CMA permite:

• Detección de Fallos Ocultos: Identificar casos donde las predicciones correctas dependen de la modalidad incorrecta (por ejemplo, ignorar advertencias de alergia en el texto).
• Auditoría del Razonamiento Intermodal: Cuantificar las interacciones no aditivas entre modalidades que las intervenciones unimodales independientes no pueden capturar.
• Despliegue Confiable: Proporcionar un mecanismo para verificar que las decisiones de alto riesgo (por ejemplo, en salud) están impulsadas por la combinación apropiada de fuentes de evidencia.

El trabajo concluye que, si bien CMA actualmente opera al nivel de la modalidad e incurre en costos computacionales debido a la generación por difusión, establece un enfoque fundacional para auditar sistemáticamente los modelos fundacionales multimodales en aplicaciones de seguridad crítica.