Resumo Técnico: Alinhamento Contrastivo Guiado por Indicadores Duplos em Modelos de Linguagem de Grande Escala Multimodais

Definição do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) frequentemente sofrem de alucinações, gerando respostas que se desviam das evidências visuais. Embora o raciocínio visual humano geralmente siga um paradigma de "coarse-to-fine" (do geral para o específico) — começando com a compreensão global da cena e focando gradualmente em regiões relevantes para a pergunta — os MLLMs frequentemente exibem dois modos de falha específicos durante a inferência:

1. Deriva de Atenção (Attention Drift): A atenção visual do modelo dispersa-se ou desloca-se inesperadamente para regiões semanticamente irrelevantes à consulta, quebrando o foco de global para local.
2. Subuso de Evidência Visual (Underuse of Visual Evidence): A dependência do modelo em relação às pistas visuais degrada-se à medida que a rede se aprofunda, fazendo com que a geração seja impulsionada por vieses linguísticos internos em vez do conteúdo da imagem.

As estratégias de mitigação existentes, sejam baseadas em treinamento ou livres de treinamento, geralmente tratam a alucinação como um fenômeno monolítico. Elas carecem de mecanismos para diagnosticar a causa raiz específica (deriva vs. subuso) e aplicar estratégias de correção uniformes que podem não estar alinhadas com o modo de falha real, levando a um desempenho subótimo ou à degradação de previsões corretas.

Metodologia: DICA

Os autores propõem o Alinhamento Contrastivo Guiado por Indicadores Duplos (DICA), uma estrutura de inferência livre de treinamento que diagnostica e aborda explicitamente esses distintos modos de falha usando dois indicadores informacionais.

1. Indicadores Diagnósticos

O DICA monitora duas métricas durante o processo de decodificação:

• Entropia de Atenção Visual (VAE - Visual Attention Entropy): Mede a concentração da atenção visual sobre os tokens da imagem. Uma entropia alta indica atenção dispersa (potencial deriva), enquanto uma entropia baixa indica atenção focada.
• Correlação Saída-Imagem (OIC - Output-Image Correlation): Quantifica a dependência da distribuição de saída gerada em relação à entrada visual comparada a um prior puramente textual. Uma queda na OIC indica que o modelo está ignorando a evidência visual e dependendo de vieses de linguagem.

2. Mecanismo de Correção de Componente Duplo

O DICA monitora esses indicadores em tempo real. Se um indicador exceder um limiar predefinido, um alinhamento contrastivo direcionado é acionado:

• Correção de Deriva Guiada por VAE (VAE-GDC):

  • Gatilho: Um aumento súbito na VAE (indicando deriva de atenção).
  • Mecanismo: O modelo compara os estados ocultos do caminho "Normal" (inferência padrão) com um caminho "Descritivo" (onde o modelo é instruído a descrever a imagem de forma geral). O caminho Descritivo mantém inerentemente uma distribuição de atenção mais uniforme. O DICA realiza a decodificação contrastiva nos estados ocultos, usando o caminho Descritivo para calibrar os estados ruidosos e de alta entropia do caminho Normal, restaurando assim o foco nas regiões relevantes.

• Restauração de Aterramento Guiada por OIC (OIC-GGR):

  • Gatilho: Uma diminuição significativa na OIC (indicando subuso da evidência visual).
  • Mecanismo: O sistema identifica uma camada intermediária $l^*$ onde a distribuição de atenção visual diverge mais significativamente da camada final. Em seguida, realiza a decodificação contrastiva entre a previsão da camada final e a previsão da camada intermediária selecionada. Isso força a distribuição de saída de volta a um estado que esteja mais alinhado com a evidência visual capturada em camadas anteriores, que são mais fundamentadas.

Principais Contribuições

1. Identificação Empírica de Gargalos: O estudo identifica e valida sistematicamente duas fontes distintas de alucinação em MLLMs: a deriva de atenção e o subuso da evidência visual, demonstrando que estas correspondem a anomalias específicas nas trajetórias de VAE e OIC.
2. Intervenção Direcionada em Tempo de Inferência: O DICA introduz um método que realiza a correção de distribuição durante a inferência sem exigir retreinamento do modelo ou mudanças arquiteturais. Ele distingue unicamente os modos de falha para aplicar correções adaptativas específicas.
3. Avaliação Abrangente: Experimentos extensos em múltiplos benchmarks (POPE, MME, CHAIR) e backbones de modelos (LLaVA-1.5, Qwen-VL) demonstram que o DICA supera consistentemente as linhas de base existentes, reduzindo significativamente as alucinações enquanto mantém alta precisão de raciocínio.

Resultados Experimentais

• Benchmark POPE: O DICA alcançou desempenho de estado da arte em configurações de amostragem Random, Popular e Adversarial. No LLaVA-1.5 (AOKVQA/Popular), atingiu um F1-score de 85,99, superando todas as linhas de base.
• Benchmark CHAIR: O DICA reduziu substancialmente as alucinações de objetos em legendagem de imagens. No LLaVA-1.5, baixou o escore CHAIR ao nível de sentença para 41,8 e o nível de instância para 11,5, mantendo alto recall.
• Benchmark MME: O DICA alcançou as pontuações totais mais altas tanto no LLaVA-1.5 (661,5) quanto no Qwen-VL (648,3), mostrando força particular em tarefas de contagem de objetos e posicionamento.
• Estudos de Ablação: A remoção de qualquer componente (VAE-GDC ou OIC-GGR) resultou em quedas perceptíveis de desempenho, confirmando que ambos os módulos são indispensáveis. O estudo observa que a deriva de atenção (abordada pelo VAE-GDC) ocorre com mais frequência do que o subuso de evidência, tornando a correção de deriva um componente fundamental.
• Eficiência: Embora o DICA introduza um overhead computacional moderado (aprox. 2,5x o custo de inferência em comparação com a decodificação greedy devido aos fluxos paralelos), ele elimina os altos custos de preparação de dados e treinamento associados a abordagens de ajuste fino supervisionado ou RLHF.

Significância e Alegações

O artigo afirma que o DICA valida a eficácia da intervenção guiada por indicadores para melhorar a confiabilidade da inferência multimodal. Ao diagnosticar explicitamente se uma alucinação provém de deriva de atenção ou de falta de aterramento visual, o DICA evita as estratégias de correção "tamanho único" de trabalhos anteriores. Os autores afirmam que sua abordagem fortalece efetivamente a dependência do modelo em relação à evidência visual, mitigando assim as alucinações sem comprometer a fluência generativa do modelo ou exigir modificações arquiteturais.

O trabalho apresenta-se com modéstia em relação às suas limitações: introduz latência em comparação com a decodificação padrão, depende de limiares fixos que podem exigir ajuste para diferentes arquiteturas e não consegue compensar pontos cegos perceptuais inerentes ao codificador de visão ou ao modelo de linguagem base.