Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) demonstraram capacidades notáveis na alinhamento de entradas visuais com saídas de linguagem natural. No entanto, existem desafios críticos relacionados à transparência e confiabilidade:

• Opacidade: À medida que os modelos crescem em escala e complexidade, torna-se difícil rastrear como entradas específicas influenciam as saídas geradas.
• Alucinações: MLLMs são propensos a alucinar (gerar informações incorretas ou não presentes na imagem), o que compromete a confiança em domínios críticos como saúde e direção autônoma.
• Limitações dos Métodos Atuais:
  • Métodos baseados em atenção frequentemente falham em capturar interações complexas entre modalidades.
  • Métodos baseados em gradientes são sensíveis a efeitos cumulativos em sequências longas e podem ser distorcidos por ruído ou desequilíbrio de modalidades.
  • Métodos baseados em mapas de ativação (como TAM) muitas vezes não estabelecem uma ligação causal direta entre entrada e saída e dependem de tokens específicos, limitando sua generalização.
  • A maioria dos métodos existentes não consegue distinguir se uma decisão foi tomada com base em evidências perceptuais (a imagem) ou priors linguísticos (o que o modelo "acha" que deve estar lá).

2. Metodologia: O Framework EAGLE

Os autores propõem o EAGLE (Explaining Autoregressive Generation by Language priors or Evidence), um framework de atribuição "caixa-preta" (black-box) leve e eficiente.

Principais Componentes:

1. Formalização do Problema:

   • O objetivo é identificar as regiões perceptuais (sub-regiões da imagem) que impulsionam a geração de tokens específicos em uma sequência autoregressiva.
   • A imagem é decomposta em sub-regiões semânticas usando segmentação por superpixels (SLICO).
   • O problema é tratado como uma seleção de subconjunto ordenado: encontrar a ordem mínima de regiões que maximiza a probabilidade de gerar os tokens alvo.

2. Função Objetivo Unificada:
   O EAGLE introduz uma função objetivo que combina duas métricas complementares para garantir atribuições fiéis:

   • Pontuação de Insight (Suficiência): Mede quais regiões são suficientes para maximizar a probabilidade de gerar o token alvo. Identifica a evidência mais informativa.
   • Pontuação de Necessidade (Indispensabilidade): Mede quais regiões são indispensáveis. Calcula a queda na probabilidade de geração quando essas regiões são removidas.
   • A função total é a soma dessas duas pontuações, otimizada via busca gulosa (greedy search) sobre as regiões esparsas da imagem.

3. Análise de Dependência de Modalidade (O que eles confiam):

   • Além de localizar onde o modelo olha, o EAGLE quantifica no que o modelo confia.
   • Ao introduzir progressivamente as regiões salientes (ordenadas pela busca), o framework calcula uma Pontuação de Influência.
   • Se a pontuação for alta, o token depende fortemente de evidências visuais. Se for baixa, o token depende mais de priors linguísticos (o modelo "adivinha" com base no contexto textual).

4. Vantagens Computacionais:

   • É um método de caixa-preta, não requerendo acesso aos gradientes internos ou mapas de ativação do modelo.
   • Possui complexidade de tempo $O(|V|^2)$ e complexidade de espaço $O(|V|)$, onde $|V|$ é o número de sub-regiões, tornando-o muito mais eficiente em memória GPU do que métodos baseados em gradiente.

3. Contribuições Principais

1. Framework EAGLE: Um método de atribuição leve e de caixa-preta que explica a geração autoregressiva, atribuindo tokens a regiões perceptuais compactas com baixo custo de memória GPU.
2. Função Objetivo Híbrida: Unificação de suficiência (Insight) e indispensabilidade (Necessidade), otimizada por busca gulosa, resultando em atribuições mais fiéis e eficientes.
3. Análise de Modalidade: Capacidade de dissecar se cada token gerado é impulsionado por evidências perceptuais ou priors linguísticos, oferecendo interpretabilidade de granularidade fina.
4. Diagnóstico de Alucinação: Capacidade de localizar as regiões visuais específicas que causam alucinações e demonstrar que a remoção de um conjunto mínimo dessas regiões corrige o erro.

4. Resultados Experimentais

O EAGLE foi avaliado em modelos de código aberto (LLaVA-1.5, Qwen2.5-VL, InternVL3.5) em tarefas de legendagem de imagens (MS COCO), VQA (MMVP) e diagnóstico de alucinação (RePOPE).

• Fidelidade (Sentence-level):
  • Superou os métodos state-of-the-art (LLaVA-CAM, IGOS++, TAM) em métricas de inserção e deleção.
  • No MS COCO (Legendagem), melhorou a pontuação de inserção em 20,0% e a de deleção em 13,4% em média.
  • No MMVP (VQA), melhorou a inserção em 20,6% e a deleção em 8,1%.
• Localização (Word-level):
  • No jogo de apontamento (Pointing Game), superou o TAM em 36,42% (nível de caixa) e 42,63% (nível de máscara) para tokens de objetos.
  • Produz mapas de atribuição mais esparsos e focados, alinhados com a intuição humana.
• Diagnóstico de Alucinação:
  • Identificou com precisão as regiões responsáveis por alucinações.
  • Na métrica Average Minimal Correction Region (AMCR), o EAGLE reduziu drasticamente a área necessária para corrigir alucinações em comparação com baselines (ex: 82,3% de melhoria no LLaVA-1.5).
• Eficiência:
  • Requer significativamente menos memória GPU (ex: 17,68 GB para Qwen2.5-VL 7B vs. 96,90 GB do IGOS++).
  • Embora seja mais lento que métodos baseados em gradiente (devido à busca), é o único que oferece potencial para atender a requisitos de interpretabilidade do mundo real com alta fidelidade.

5. Significado e Impacto

O trabalho EAGLE representa um avanço significativo na interpretabilidade de MLLMs ao:

• Resolver a ambiguidade causal: Distinguir claramente entre o que o modelo "vê" e o que ele "sabe" (priors), algo que métodos anteriores não faziam com precisão.
• Combater alucinações: Fornecer uma ferramenta prática para diagnosticar e mitigar alucinações identificando e removendo regiões de entrada enganosas, aumentando a segurança em aplicações críticas.
• Democratizar a análise: Ao ser um método de caixa-preta e leve em memória, torna a análise de atribuição acessível para modelos grandes sem a necessidade de recursos computacionais massivos exigidos por métodos baseados em gradiente.

Em resumo, o EAGLE oferece uma explicação mais fiel, eficiente e detalhada sobre como os MLLMs tomam decisões, respondendo não apenas "onde" eles olham, mas "no que" eles realmente confiam para gerar suas respostas.