Resumo Técnico: Atribuição de Modalidade Contrafactual para LLMs Multimodais

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são cada vez mais implantados em domínios de alto risco, como o suporte à decisão clínica, onde integram informações complementares de imagens e textos. Embora os métodos de explicabilidade existentes (ex: mapas de saliência, pesos de atenção) identifiquem com sucesso características influentes dentro de modalidades individuais (ex: regiões específicas de uma imagem ou tokens de texto), eles falham em responder a uma pergunta fundamental: qual modalidade realmente impulsiona uma previsão?

Os métodos atuais operam localmente dentro de canais únicos e não conseguem quantificar a contribuição relativa de modalidades inteiras ou suas interações. Consequentemente, um modelo pode produzir uma saída correta ao confiar em um "atalho" de uma única modalidade enquanto ignora evidências críticas em outra (ex: diagnosticar corretamente uma pneumonia a partir de um raio-X, mas ignorar uma nota de texto sobre uma alergia à penicilina). Essa dependência oculta de modalidade mascara padrões de raciocínio inseguros que permanecem invisíveis para as métricas padrão de acurácia preditiva. O artigo argumenta que a atribuição de modalidade é um objetivo de explicabilidade distinto e complementar à atribuição de características, necessário para auditar modelos de fundação multimodais.

Metodologia: Atribuição de Modalidade Contrafactual (CMA)

Os autores propõem a Atribuição de Modalidade Contrafactual (CMA), uma estrutura agnóstica ao modelo que quantifica as contribuições ao nível da modalidade usando uma combinação de priors de difusão acoplados e teoria dos jogos cooperativos. A estrutura opera em três estáções:

1. Geração de Contrafactuais Acoplados por Difusão e Guiados

Ao contrário dos métodos contrafactuais anteriores que intervêm em uma única modalidade, o CMA gera contrafactuais sincronizados de apenas imagem, apenas texto e multimodais conjuntos dentro de um framework de otimização unificado.

• Priors: O método utiliza modelos de difusão pré-treinados independentemente: um Modelo Probabilístico de Difusão de Denoising (DDPM) para imagens e um Modelo de Linguagem de Difusão Riemanniana (RDLM) para texto.
• Sincronização: Durante o processo de difusão reversa, os modelos de imagem e texto são sincronizados no mesmo passo de tempo (timestep). Eles são guiados conjuntamente por gradientes de um classificador MLLM pré-treinado para minimizar uma perda de margem de Carlini–Wagner ($L_{CW}$). Isso garante que os contrafactuais sejam realistas (situados na variedade de dados/manifold) e representem intervenções mínimas que alteram a previsão.
• Modos:
  • CF apenas-imagem: O texto é fixo; a imagem é otimizada para inverter a previsão.
  • CF apenas-texto: A imagem é fixa; o texto é otimizado para inverter a previsão.
  • CF conjunto: Ambas as modalidades são otimizadas simultaneamente para capturar dependências cross-modais.

2. Definição de Valor de Coalizão

Os contrafactuais gerados definem um jogo cooperativo de dois jogadores onde as modalidades Imagem ($I$) e Texto ($T$) atuam como jogadores. A função de valor $v(S)$ para uma coalizão $S \subseteq \{I, T\}$ é definida como a pontuação de logit atribuída à classe prevista original $\hat{y}$ quando as modalidades em $S$ permanecem inalteradas e as modalidades não pertencentes a $S$ são substituídas por seus respectivos contrafactuais.
Os quatro valores de coalizão necessários são:

• $v(\{I, T\})$: Amostra original $(x_I, x_T)$.
• $v(\{I\})$: Imagem original, Texto contrafactual $(x_I, x'_T)$.
• $v(\{T\})$: Imagem contrafactual, Texto original $(x'_I, x_T)$.
• $v(\emptyset)$: Ambos contrafactuais $(x'_I, x'_T)$.

3. Atribuição por Valor de Shapley

A estrutura calcula os valores de Shapley ($\theta_I, \theta_T$) para quantificar a contribuição marginal de cada modalidade. Para um jogo de dois jogadores, estes admitem uma solução de forma fechada:
$$\theta_I = \frac{1}{2} [v(\{I\}) - v(\emptyset) + v(\{I, T\}) - v(\{T\})]$$
$$\theta_T = \frac{1}{2} [v(\{T\}) - v(\emptyset) + v(\{I, T\}) - v(\{I\})]$$
As pontuações de atribuição finais são normalizadas para porcentagens (Imagem% e Texto%) para indicar qual modalidade impulsiona primariamente a decisão.

Principais Contribuições

1. Objetivo de Explicabilidade Complementar: O artigo formula a atribuição de modalidade como um complemento necessário à atribuição de características, abordando a lacuna no entendimento de qual modalidade impulsiona uma decisão.
2. Novo Framework Contrafactual: O CMA é o primeiro framework a gerar contrafactuais sincronizados, realistas, de apenas imagem, apenas texto e conjuntos para MLLMs pré-treinados usando priors de difusão acoplados.
3. Formulação de Atribuição Principiada: Introduz uma abordagem baseada em teoria dos jogos usando valores de Shapley para converter contrafactuais multimodais em pontuações interpretáveis que quantificam contribuições individuais e interações cross-modais não lineares.
4. Validação Abrangente: O método é validado em benchmarks sintéticos controlados e em um dataset clínico do mundo real, demonstrando desempenho superior sobre baselines existentes na identificação das modalidades que direcionam a decisão.

Resultados Experimentais

Os autores avaliaram o CMA em dois benchmarks:

1. MNIST Multimodal Sintético: Um benchmark controlado com dependência de modalidade de verdade fundamental conhecida (variantes de Viés de Imagem, Viés de Texto e Equilibrada).
2. OpenI Multiclasse: Um dataset real de raio-X de tórax pareado com relatórios de radiologia.

Desempenho:

• Acurácia: No benchmark de MNIST Sintético, o CMA identificou corretamente a modalidade que direciona a decisão na verdade fundamental em 98% dos casos controlados.
• Comparação com Baselines: O CMA superou significativamente os baselines, incluindo Input $\times$ Gradient, Perturbation SHAP, EAGLE, MM-SHAP e MultiViz. Notavelmente, o MM-SHAP e o MultiViz alcançaram 0% e 3% de acurácia, respectivamente, em amostras com viés de imagem, falhando em recuperar os vieses conhecidos do modelo.
• Achados Qualitativos: No dataset OpenI, o CMA revelou que um modelo prevendo "Nódulo" dependia de correlações espúrias com cabos de ECG (visíveis na imagem) em vez de evidência clínica. Os contrafactuais de apenas-texto falharam em inverter a previsão porque o atalho da imagem permaneceu, demonstrando a necessidade de análise contrafactual conjunta.
• Estudo de Ablação: Experimentos de corrupção progressiva mostraram que as pontuações de atribuição do CMA se adaptam continuamente à evidência disponível. À medida que uma modalidade é corrompida, sua atribuição cai para 0%, mudando inteiramente para a modalidade intacta, revelando o colapso unimodal que as métricas de acurácia não detectam.

Significância e Alegações

O artigo afirma que a atribuição de modalidade é uma dimensão crítica e anteriormente não abordada da explicabilidade para IA multimodal. Ao ir além das explicações ao nível de característica, o CMA fornece um framework principiado para auditar se um modelo depende de evidências complementares ou de atalhos inseguros.

Os autores afirmam que o CMA permite:

• Detecção de Falhas Ocultas: Identificar casos em que previsões corretas dependem da modalidade errada (ex: ignorar avisos de alergia em texto).
• Auditoria de Raciocínio Cross-Modal: Quantificar interações não aditivas entre modalidades que intervenções unimodais independentes não conseguem capturar.
• Implantação Confiável: Fornecer um mecanismo para verificar se decisões de alto risco (ex: em saúde) são impulsionadas pela combinação apropriada de fontes de evidência.

O trabalho conclui que, embora o CMA atualmente opere ao nível da modalidade e incorra em custos computacionais devido à geração por difusão, ele estabelece uma abordagem fundamental para auditar sistematicamente modelos de fundação multimodais em aplicações de missão crítica.