Resumo Técnico: ADAPT (Alinhamento de Dinâmica de Atenção com Ajuste de Preferência)

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) frequentemente sofrem de alucinações, gerando descrições ou respostas inconsistentes com a imagem de entrada. Embora as estratégias de mitigação existentes foquem em ajustes baseados em resultados — como a manipulação de probabilidades de nível de token durante a inferência (ex: decodificação contrastiva) ou o alinhamento de distribuições de saída via objetivos de tempo de treinamento (ex: RLHF, DPO) — elas negligenciam amplamente os mecanismos internos que impulsionam essas falhas.

Este artigo identifica uma assinatura interna crítica da alucinação: a degradação progressiva da atenção cruzada texto-imagem durante a geração. Os autores observam que, conforme a geração avança, a atenção do modelo desloca-se de um estágio inicial, visualmente fundamentado, para um estágio posterior, dominado por priors (conhecimentos prévios). Essa degradação manifesta-se em três padrões de falha específicos:

1. Deriva e Viés (Drift and Bias): A atenção afasta-se de evidências visuais relevantes ao texto, tornando-se ou difusa (sem foco) ou espacialmente enviesada (concentrada em regiões irrelevantes).
2. Redução de Responsividade: A taxa de mudança na atenção cruzada diminui à medida que novos tokens são gerados, indicando uma falha em relocalizar evidências visuais para o contexto subsequente.
3. Decaimento de Valor (Value Decay): O valor de atenção atribuído aos tokens visuais cai significativamente através das camadas, enfraquecendo as restrições visuais e permitindo que os priors linguísticos dominem.

Consequentemente, as alucinações tornam-se cada vez mais prováveis nos estágios finais de gerações de longo formato.

Metodologia: Estrutura ADAPT

Para abordar essas dinâmicas internas, os autores propõem o ADAPT (Attention Dynamics Alignment with Preference Tuning), uma estrutura que intervém diretamente nas dinâmicas de atenção cruzada através de três estágios sinérgicos:

1. Refinamento de Atenção Cruzada Visual (Pré-Inferência)

O primeiro passo envolve a construção de uma Âncora Visual de Atenção Cruzada ($A_{anchor}$) confiável a partir do estágio inicial e fundamentado da geração (os primeiros $K$ tokens). Como a atenção cruzada bruta é ruidosa e propensa a "sumidouros de atenção" (attention sinks — vieses posicionais independentes de conteúdo), os autores refinam os mapas de atenção multicamadas usando três critérios complementares:

• Consistência e Suavidade: Quantificadas via razões de energia de alta frequência e regularizadores de Variação Total (TV) inversos para suprimir ativações ruidosas e fragmentadas.
• Foco: Medido pela entropia de Shannon, ajustado dinamicamente com base na semântica da consulta (query) para equilibrar entre o foco de nível de objeto e o foco global.
• Correção de Viés Espacial: Uma máscara de debias é derivada pela média dos mapas de atenção sobre imagens de ruído para identificar e suprimir priors posicionais independentes de conteúdo.

A âncora resultante serve como uma referência estável e relevante para a consulta para supervisão downstream e é usada para criar imagens "guiadas pela âncora" que potencializam o fundamento visual antes do início da geração completa.

2. Inferência Supervisionada por Atenção (Tempo de Inferência)

Durante a decodificação, a estrutura monitora a fidelidade da distribuição de atenção cruzada atual ($A_t$) em relação à âncora pré-computada ($A_{anchor}$).

• Detecção: Um índice de Concentração Modulada pela Âncora (AMC) ($S_{AMC}$) é calculado para medir o alinhamento. Se $S_{AMC}$ cair abaixo de um limiar $\tau$, isso indica deriva de atenção (falta de foco ou viés).
• Correção: Quando a deriva é detectada, um operador de direção (steering) corretivo esparso é aplicado aos logits de atenção. Este operador repondera a atenção para regiões consistentes com a âncora, puxando efetivamente o modelo de volta dos priors de linguagem sem forçar um alvo rígido e fixo.

3. DPO de Guia de Atenção Visual (Tempo de Treinamento)

Para alinhar as preferências intrínsecas do modelo com a evidência visual, os autores introduzem o VAG-DPO. Diferente do DPO padrão, que contrasta respostas textuais, o VAG-DPO contrasta respostas sob diferentes condições de evidência visual:

• Amostra Escolhida (Chosen): Uma resposta factual pareada com uma imagem visualmente aprimorada (derivada da âncora), fortalecendo o vínculo entre os tokens corretos e a evidência visual saliente.
• Amostra Rejeitada (Rejected): Uma resposta alucinatória pareada com uma imagem de ruído, criando uma condição "cega" onde o modelo não deve atribuir alta confiança a conteúdo não suportado.

Este objetivo penaliza explicitamente a geração de alucinações de alta confiança baseadas apenas em priors de linguagem.

Principais Contribuições

1. Insight Diagnóstico: O artigo revela sistematicamente um processo de degradação de atenção em dois estágios (de Fundamentado Visualmente para Dominado por Prior) e identifica três padrões de falha específicos (deriva, redução de responsividade e decaimento de valor) associados a alucinações.
2. Mecanismo de Refinamento: Um método inovador para refinar a atenção cruzada em uma âncora confiável usando três critérios complementares (espectral, suavidade, foco) e correção explícita de viés espacial.
3. Estrutura Integrada: O design do ADAPT, que acopla a correção de deriva de atenção online durante a inferência com o ajuste de preferência de guia de atenção visual durante o treinamento.
4. Validação Empírica: Experimentos abrangentes demonstrando que o ADAPT reduz as taxas de alucinação em 40–60% em diversos backbones principais (LLaVA, Qwen-VL), preservando as capacidades multimodais gerais.

Resultados Experimentais

Os autores avaliaram o ADAPT em quatro grandes benchmarks de alucinação: Obj-Hal (métricas Chair), AMBER, MM-Hal e POPE.

• Desempenho: O ADAPT completo alcançou resultados de Estado da Arte (SOTA) em todos os benchmarks e backbones. Por exemplo, no modelo LLaVA-v1.5-7B, reduziu o escore Chair de 7.8 para 3.8 e o escore Hal no AMBER de 36.4 para 15.2.
• Eficiência: A variante livre de treinamento (ADAPT-TF) sozinha superou muitos métodos avançados. O framework completo introduziu um overhead de tempo de execução modesto de apenas 1.42x em comparação com a linha de base, sendo significativamente mais eficiente que outras intervenções de tempo de inferência como o OPERA (7.20x).
• Generalização: O método mostrou forte generalização entre diferentes famílias de modelos (variantes de 7B e 13B da LLaVA e Qwen) e manteve as capacidades multimodais gerais (MME, MMBench) com mínima degradação em comparação ao DPO vanilla.
• Fundamentação (Grounding): As âncoras visuais refinadas demonstraram desempenho superior em tarefas de localização (RefCOCO/RefCOCOg), alcançando maior Acurácia e mIoU do que o CLIP base e outros métodos baseados em atenção.

Significância e Alegações

O artigo afirma que o ADAPT fornece uma nova perspectiva baseada em atenção para mitigar alucinações. Ao mudar o foco de manipulação de saída baseada em resultados para os comportamentos internos de atenção cruzada texto-imagem, os autores demonstram que as alucinações não são meramente um resultado de dados de treinamento ruins ou estratégias de decodificação, mas uma consequência da degradação da dinâmica de atenção ao longo do tempo.

A significância deste trabalho reside em:

• Intervenção Baseada em Mecanismo: Ir além do ajuste de saída de "caixa-preta" para intervir diretamente nos mecanismos de atenção interna do modelo.
• Design Sinérgico: Mostrar que combinar a supervisão em tempo de inferência com o ajuste de preferência em tempo de treinamento produz resultados superiores do que qualquer uma das abordagens isoladamente.
• Praticidade: Oferecer uma solução que é altamente eficaz na redução de alucinações e computacionalmente eficiente o suficiente para implantação prática.

Os autores concluem que explorar e corrigir as dinâmicas internas de atenção é um caminho prático e eficaz para construir MLLMs mais fiéis.