One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination

Título: Um Token, Dois Destinos: Um Framework Unificado via Manipulação de Tokens de Visão contra Alucinações em MLLMs

1. O Problema: Alucinações em Modelos de Linguagem Multimodais (MLLMs)

Os MLLMs (como LLaVA, MiniGPT-4) sofrem de um defeito crítico conhecido como alucinação: a geração de texto fluente que contradiz a evidência visual.

• Causa Raiz: O artigo identifica um desequilíbrio fundamental entre o sinal visual e o viés linguístico interno do modelo. À medida que a geração de texto avança, a atenção visual decai rapidamente, permitindo que o "inércia textual" (priors linguísticos fortes) assuma o controle.
• Limitações das Abordagens Atuais:
  • Métodos existentes são desconexos: ou focam apenas em reforçar o sinal visual (ex: aumentar pesos de atenção) ou apenas em suprimir a inércia textual (ex: decodificação contrastiva com amostras negativas).
  • Trade-offs Críticos: Apenas reforçar a visão muitas vezes falha contra priores linguísticos fortes. Apenas suprimir a linguagem, frequentemente usando imagens distorcidas (máscaras de pixels), introduz ruído e gera amostras negativas instáveis e fora da distribuição (out-of-distribution).
  • Falha na Combinação Simples: Ajustar esses métodos separadamente ou combiná-los de forma ingênua não funciona, pois operam em níveis e momentos diferentes do processo de inferência, gerando sinais conflitantes.

2. Metodologia: Um Framework Unificado de Calibração Latente

Os autores propõem um framework sem treinamento (training-free) que opera exclusivamente no nível das representações latentes intermediárias, utilizando o token de visão como o ativo central para duas funções distintas e complementares.

O framework consiste em dois módulos principais:

A. Calibração Visual Sinérgica (SVC - Synergistic Visual Calibration)

• Objetivo: Combater o "desvanecimento visual" (visual fading) e reforçar o ancoramento visual.
• Mecanismo: Baseia-se na descoberta de que imagens aumentadas (augmentadas) oferecem semântica complementar.
• Funcionamento:
  1. Gera uma versão aumentada da imagem (com flip horizontal, blur gaussiano e ruído sal-e-pimenta).
  2. Extrai tokens de visão tanto da imagem original quanto da aumentada.
  3. Concatena esses tokens para criar uma "memória visual sinérgica".
  4. Injeta esse contexto visual enriquecido em uma camada intermediária crítica do modelo (ex: camada 16) via atenção, fundindo-o com o estado oculto original. Isso reforça a representação visual sem alterar a arquitetura.

B. Calibração de Representação Causal (CRC - Causal Representation Calibration)

• Objetivo: Suprimir a inércia textual e purificar os vieses internos do modelo.
• Mecanismo: Baseia-se no princípio da "Lacuna de Informação" (Information-Gap). Diferente de métodos anteriores que distorcem pixels (Lacuna de Modalidade), o CRC remove tokens de visão no espaço latente.
• Funcionamento:
  1. Amostragem Negativa: Remove aleatoriamente a maioria dos tokens de visão, mantendo apenas um pequeno número (ex: 5 tokens), criando uma "amostra negativa" no espaço latente.
  2. Prova de Viés: O modelo processa a imagem original e a amostra negativa em paralelo. A diferença entre as representações latentes ($\Delta H$) isola o efeito causal da informação visual perdida, capturando a direção da alucinação.
  3. Calibração: Um vetor de direção de alucinação estável é calculado e subtraído (ou usado para ajustar) os estados ocultos do fluxo principal, "purificando" a representação para se afastar do viés linguístico.

Arquitetura Unificada:
Ambos os módulos operam nas representações intermediárias do Transformer, bypassando a necessidade de decodificação ou re-treinamento. O SVC atua em uma camada média para reforçar a visão, enquanto o CRC atua nas camadas iniciais até a média para corrigir o viés.

3. Contribuições Principais

1. Reenquadramento do Problema: Demonstra que a mitigação de alucinações é um problema de equilíbrio visão-linguagem e que abordagens desconexas ou combinações ingênuas falham.
2. Framework Unificado: Propõe o primeiro framework unificado e sem treinamento que harmoniza reforço e supressão utilizando o potencial dual dos tokens de visão (como fonte de contexto e como fonte de amostras negativas).
3. Módulos Eficientes (SVC e CRC): Introduz técnicas inovadoras que operam no espaço latente, evitando o ruído de manipulação de pixels e garantindo eficiência computacional.
4. Análise Teórica e Empírica: Valida a superioridade da "Lacuna de Informação" (remoção de tokens) sobre a "Lacuna de Modalidade" (distorção de imagem) através de visualizações t-SNE e modelos causais estruturais.

4. Resultados Experimentais

O framework foi testado em várias arquiteturas (LLaVA-1.5, Shikra, MiniGPT-4, InstructBLIP) e benchmarks:

• Benchmarks de Alucinação de Objetos (POPE e CHAIR):
  • POPE: O método atingiu a melhor precisão média, com um ganho de 2% absoluto na precisão do LLaVA-1.5 em comparação com métodos de última geração (como VCD, PAI, VISTA).
  • CHAIR: Redução significativa nas alucinações de objetos (pontuações CHAIRI e CHAIRS mais baixas), indicando melhor ancoragem visual em legendas abertas.
• Benchmarks Gerais (MME e MMHal-Bench):
  • O modelo não apenas reduziu alucinações, mas melhorou as capacidades gerais de percepção e cognição, superando a versão "Vanilla" e outros métodos de correção.
• Eficiência Computacional:
  • O método é altamente eficiente, com um overhead de latência de apenas 1.06x em relação à inferência padrão (Greedy).
  • É significativamente mais rápido e consome menos memória de GPU do que métodos concorrentes como VCD (2.4x mais lento) e VISTA.

5. Significado e Impacto

Este trabalho representa um avanço significativo na confiabilidade dos MLLMs. Ao demonstrar que a manipulação inteligente de tokens de visão no espaço latente pode resolver simultaneamente o problema da perda de sinal visual e do viés linguístico, os autores oferecem uma solução elegante e eficiente.

• Praticidade: Por ser um método sem treinamento (training-free), pode ser aplicado a qualquer MLLM existente sem custo de treinamento.
• Generalização: Funciona bem em diferentes arquiteturas (projetores lineares vs. Q-Former) e datasets.
• Direção Futura: Estabelece que a manipulação de representações latentes é uma via mais robusta para a calibração de modelos multimodais do que a manipulação de dados de entrada (pixels) ou apenas a pós-processamento de logits.

Em resumo, o artigo propõe que "um token de visão pode ter dois destinos": servir como um reforço contextual (via SVC) e como uma ferramenta de calibração causal (via CRC), resolvendo o desequilíbrio fundamental que causa alucinações.