Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

Título: Alinhando o que os Modelos Visão-Linguagem Veem e Percebem com Fluxo de Informação Adaptativo

1. O Problema: Desalinhamento entre "Ver" e "Perceber"

Os Modelos Visão-Linguagem (VLMs) demonstraram capacidades impressionantes em tarefas como reconhecimento visual e parsing de documentos. No entanto, o artigo identifica um problema fundamental: o desalinhamento entre a capacidade de "ver" e a de "perceber".

• A Observação: Estudos recentes mostram que, embora os VLMs frequentemente consigam identificar a região correta da imagem relacionada à pergunta (captura visual), eles nem sempre produzem a resposta correta.
• A Causa: O desalinhamento é atribuído a um fluxo de informação subótimo durante a decodificação. Os tokens de texto distribuem sua atenção (cross-attention) excessivamente para tokens visuais irrelevantes (fundo, objetos distratores), introduzindo ruído no caminho de decodificação textual. Isso distrai o modelo e leva a respostas incorretas ou alucinações.
• Limitações das Soluções Atuais: Métodos existentes, como o recorte visual (visual cropping), melhoram a percepção, mas aumentam significativamente o tempo de inferência. Outros métodos exigem re-treinamento massivo, consumindo muitos recursos computacionais.

2. Metodologia: Modulação Adaptativa de Fluxo de Informação (AIF)

Os autores propõem uma abordagem sem treinamento (training-free) que modula o fluxo de informação durante a inferência, bloqueando a interação entre tokens de texto e tokens visuais irrelevantes.

Mecanismo Central:

O método baseia-se na observação de que tokens visuais importantes exibem padrões de ativação distintos em diferentes camadas do modelo de linguagem (LLM), enquanto tokens irrelevantes mostram padrões irregulares.

1. Dinâmica de Tokens (Token Dynamics):

   • O modelo analisa a atenção dos tokens visuais em relação aos tokens de texto ao longo das camadas do LLM durante a decodificação.
   • Define-se a "dinâmica do token" como a máxima atenção que um token visual recebe em cada camada.

2. Medição de Importância via Entropia:

   • Para quantificar a importância, os autores calculam a entropia baseada na dinâmica dos tokens.
   • Tokens com alta entropia indicam alta aleatoriedade nos padrões de ativação (são irrelevantes/distratores).
   • Tokens com baixa entropia indicam padrões consistentes e importantes (regiões do objeto de interesse).

3. Modulação da Máscara Causal:

   • O método identifica os tokens visuais de alta entropia (irrelevantes).
   • Aplica-se uma máscara causal modificada durante a inferência para bloquear a conexão de atenção entre os tokens de texto e esses tokens visuais irrelevantes.
   • Preservação de Informação: Diferente do pruning (poda) de tokens, onde os tokens são removidos da sequência, aqui a informação visual dentro da imagem permanece intacta (tokens visuais ainda podem atender a outros tokens visuais), mas o fluxo de informação da imagem para o texto é filtrado.

4. Pipeline de Inferência:

   • Requer apenas um passo adicional de decodificação para calcular a dinâmica dos tokens e gerar a máscara modulada. O restante do processo de inferência permanece inalterado.

3. Principais Contribuições

• Descoberta de Desalinhamento: Demonstração de que o desalinhamento entre visão e linguagem em VLMs é causado por um fluxo de informação subótimo, onde tokens de texto se dispersam em regiões irrelevantes.
• Método AIF (Adaptive Information Flow): Proposta de um método de modulação de fluxo de informação adaptativo e sem treinamento, baseado na dinâmica de tokens e medição de entropia.
• Mecanismo de Controle: Uso da modulação da máscara causal em tempo de inferência para direcionar a atenção do modelo apenas para regiões visuais relevantes, sem alterar pesos, arquitetura ou exigir re-treinamento.
• Validação Abrangente: Avaliação extensiva em múltiplas tarefas, incluindo VQA, grounding, contagem, OCR e detecção de alucinações.

4. Resultados Experimentais

O método foi testado em modelos de código aberto representativos (LLaVA-1.5 e Qwen2.5-VL) em diversos benchmarks:

• Visual Question Answering (VQA): Melhoria significativa nos conjuntos de dados RealWorldQA, V e MMStar. Por exemplo, no LLaVA-1.5, houve um ganho de +7.9 pontos no V e +4.9 no RealWorldQA.
• OCR e Grounding: Melhorias consistentes em tarefas de reconhecimento de texto fino (TextVQA) e localização de objetos (RefCOCO), superando até mesmo métodos especializados como o Grounding-DINO em alguns cenários.
• Redução de Alucinações: O método reduziu alucinações de objetos no conjunto de dados POPE, demonstrando que forçar o modelo a focar em regiões relevantes melhora a factualidade.
• Comparação com Outros Métodos: O AIF superou métodos de recorte visual (ViCrop) e métodos baseados em re-treinamento (CCA) em tarefas gerais de VQA, sem o custo computacional adicional de re-treinamento ou aumento drástico de tempo de inferência.

5. Significado e Impacto

• Eficiência: O método oferece ganhos de desempenho com um custo computacional marginal (apenas o tempo de gerar um token adicional para calcular a máscara).
• Paradigma de Controle: Introduz a ideia de tratar o fluxo de informação como um sinal de controle. Em vez de apenas adicionar mais dados ou complexidade arquitetural, é possível melhorar a percepção regulando diretamente como as modalidades interagem dentro do modelo.
• Generalidade: Sendo agnóstico à arquitetura e sem necessidade de treinamento, a técnica é aplicável a uma ampla gama de VLMs existentes e futuros.
• Insight Teórico: O trabalho revela que a qualidade do fluxo de informação (quem o texto "ouve" da imagem) é tão crítica quanto a presença dos tokens visuais em si, sugerindo novos caminhos para a pesquisa em modelos multimodais.

Em resumo, o artigo apresenta uma solução elegante e eficiente para um problema fundamental nos VLMs: a capacidade de filtrar o ruído visual durante a geração de texto, alinhando a percepção do modelo com a intenção da pergunta.