Resumo Técnico: GridVQA-X

Declaração do Problema

O rápido avanço dos Grandes Modelos de Linguagem-Visão (LVLMs) superou o desenvolvimento de protocolos de avaliação de IA Explicável Multimodal (MxAI) confiáveis. Embora os métodos atuais de MxAI afirmem atribuir decisões a interações cross-modais, os benchmarks existentes carecem do ground truth (verdade fundamental) necessário para distinguir entre o raciocínio cross-modal genuíno (ex: composição espacial) e atalhos cross-modais superficiais (ex: correspondência de atributos tipo Bag-of-Words).

A avaliação atual baseia-se em datasets naturais onde as distribuições de características são ruidosas e causalmente indefinidas, ou em anotações humanas que podem estar esporadicamente correlacionadas com elementos visuais. Consequentemente, permanece desconhecido se os métodos de MxAI capturam fielmente interações sinérgicas ou se apenas alucinam raciocínios sobre modelos que atuam como simples detectores de características. Existe uma lacuna crítica na avaliação rigorosa de se os explicadores conseguem diferenciar um modelo que utiliza raciocínio espacial real de um que explora atalhos estatísticos.

Metodologia: O Framework GridVQA-X

Para abordar isso, os autores introduzem o GridVQA-X, um framework de diagnóstico utilizando uma lógica de síntese de mundo fechado para gerar explicações matematicamente garantidas. O framework opera em um pipeline de quatro estágios:

1. Geração de Dataset com Máscaras de Ground-Truth

Os autores geram dois datasets sintéticos, $D_{pure}$ e $D_{spur}$, parametrizados por uma 4-tupla: Profundidade ($D$), Tipo de Pergunta ($Q$), Forma ($F$) e Densidade ($\rho$).

• $D_{pure}$ (Puro): Remove sistematicamente todos os atalhos heurísticos enumerados. Ele impõe Independência Espacial ao povoar "regiões de confusão" com distratores adversariais que correspondem aos atributos alvo, mas violam restrições espaciais. Isso garante matematicamente que a única explicação causal válida para uma consulta é a interseção específica de objetos alvo e âncora.
• $D_{spur}$ (Espúrio): Preserva intencionalmente o atalho cross-modal mais pervasivo (Caso-1: Alinhamento Bag-of-Words). O gerador garante que nenhum objeto correspondente ao alvo exista fora da região espacial válida, tornando o atalho perfeitamente preditivo ($P(Y_{ans} | \text{Target Attrs}) = 1.0$).

2. Treinamento de Modelos Pareados

Dois modelos de referência, $M_{pure}$ e $M_{spur}$, são treinados em arquiteturas idênticas (MDETR), mas nos respectivos datasets.

• $M_{pure}$: Aprende raciocínio espacial-relacional robusto para alcançar alta precisão em $D_{pure}$.
• $M_{spur}$: É estruturalmente forçado a depender de atalhos cross-modais. Ao ser avaliado em $D_{pure}$, seu desempenho colapsa (caindo para ~49% no geral e ~8% em consultas de múltiplos passos/multi-hop), confirmando que opera via um atalho unimodal em vez de raciocínio real.

3. Geração de Atribuição

Métodos de MxAI post-hoc são aplicados a ambos os modelos. O framework avalia se os explicadores produzem caminhos de raciocínio distintos para $M_{pure}$ (raciocínio verdadeiro) versus $M_{spur}$ (dependência de atalhos).

4. Métricas de Avaliação

Os autores adaptam métricas existentes e introduzem novas:

• Relevance Mass Accuracy (RMA): Mede a massa de relevância atribuída às máscaras de ground-truth versus as máscaras de distratores. Um explicador fiel deve atribuir massa próxima de zero aos distratores para $M_{pure}$, mas alta massa a eles para $M_{spur}$.
• Verificação de Falácia Aditiva: Para métodos globais, o escore de sinergia ($S_{score}$) deve aumentar monotonicamente com a complexidade da consulta (Profundidade) para $M_{pure}$, enquanto permanece invariante para $M_{spur}$.

Principais Contribuições

1. Datasets GridVQA-X: A introdução de $D_{pure}$ e $D_{spur}$, que fornecem características de ground-truth unicamente garantidas matematicamente e uma taxonomia que isola diversos graus de interações do mundo real. Estes datasets provam explicitamente a ausência (em $D_{pure}$) ou presença (em $D_{spur}$) de correlações espúrias conhecidas.
2. Modelos de Referência ($M_{pure}$ e $M_{spur}$): O lançamento de dois modelos treinados via dinâmica guiada por explicação. Seus mecanismos de raciocínio verificáveis (raciocínio espacial verdadeiro vs. atalho cross-modal) permitem a avaliação de explicadores com zero ambiguidade em relação às atribuições de ground-truth esperadas.
3. Novo Protocolo de Avaliação: A adaptação de métricas de MxAI para o domínio multimodal e a introdução da verificação de Falácia Aditiva para avaliar escalares de interação cross-modelo em complexidade composicional.

Resultados e Análise

A avaliação de métodos de MxAI de estado da arte (incluindo DIME, MultiSHAP, MultiViz, EMAP e InterSHAP) revela falhas significativas:

• Falha em Distinguir Modelos: A maioria dos explicadores locais falha em diferenciar entre $M_{pure}$ e $M_{spur}$.
  • MultiViz exibe "cegueira absoluta de modelo", produzindo uma Relevance Mass Accuracy (RMA) estatisticamente idêntica para ambos os modelos, apesar de seus caminhos causais distintos.
  • DIME sofre de "fidelidade acidental", onde seus mapas de calor difusos interceptam acidentalmente os alvos reais em $M_{spur}$, mascarando o atalho.
  • MultiSHAP prefere estruturalmente o modelo espúrio ($M_{spur}$), gerando uma RMA maior para ele do que para o modelo fiel, provavelmente porque as marginais de teoria dos jogos alinham-se melhor com detectores de características independentes (atalhos) do que com interseções emaranhadas.
• Incapacidade de Capturar Restrições Espaciais: Métodos locais frequentemente recorrem à detecção de características superficiais. O MultiSHAP destaca todos os objetos que correspondem aos atributos alvo (incluindo distratores adversariais), falhando em aplicar restrições espaciais binárias.
• Sinergia Alucinada: Métodos globais falham no teste de Falácia Aditiva. EMAP e InterSHAP alucinam alta sinergia cross-modal para o modelo de atalho ($M_{spur}$) e, inversamente, mostram uma diminuição na interação estimada conforme a complexidade escala para o modelo fiel ($M_{pure}$), provando que seus estimadores estão desalinhados com o grafo causal.

Significância e Alegações

O artigo afirma que o GridVQA-X expõe um ponto cego crítico na pesquisa atual de MxAI: os explicadores de estado da arte falham fundamentalmente em capturar a verdadeira sinergia cross-modal.

Os autores argumentam que os métodos atuais criam uma "ilusão de interpretabilidade" que mascara o comportamento enviesado do modelo. Ao fornecer um ambiente estritamente controlado com ground-truth matematicamente verificável, o GridVQA-X oferece um ambiente de teste definitivo e de zero ambiguidade. O framework visa deslocar o campo de métricas de plausibilidade superficial para o desenvolvimento de explicadores capazes de diagnosticar verificavelmente o ancoramento relacional cross-modal. Os autores não alegam ter resolvido o problema da explicabilidade, mas sim terem fornecido a ferramenta diagnóstica necessária para identificar onde os métodos atuais falham.