Resumo Técnico: Rumo à Mitigação de Alucinações em Grandes Modelos de Linguagem-Visão através do Refinamento de Embeddings Textuais

1. Definição do Problema

Os Grandes Modelos de Linguagem-Visão (LVLMs) frequentemente sofrem de alucinações: saídas que são linguisticamente fluentes, mas factualmente incorretas ou não suportadas pela entrada visual. Esses erros manifestam-se como alucinações de objetos (inventar itens inexistentes), alucinações de atributos (identificar incorretamente cores ou propriedades), alucinações de relação (fabricar relações espaciais) e alucinações temporais (inventar ações em vídeos).

Os autores hipotetizam que uma fonte primária dessas alucinações é o desequilíbrio de modalidades enraizado no paradigma arquitetural predominante. A maioria dos LVLMs (por exemplo, Video-LLaVA, LLaVA) opera anexando embeddings visuais ao fluxo de tokens de entrada de um Grande Modelo de Linguagem (LLM) pré-treinado. Como o backbone do LLM é treinado exclusivamente em texto, ele possui um viés inerente para o raciocínio orientado pela linguagem. Durante o ajuste fino (fine-tuning), o modelo tende a confiar excessivamente em priors textuais e a subutilizar os embeddings visuais, tratando os tokens visuais como secundários. Isso leva a uma distribuição de atenção assimétrica, onde o modelo foca pesadamente nos tokens textuais nas fronteiras da sequência, negligenciando os tokens visuais entre eles, resultando em saídas que são semanticamente plausíveis, mas visualmente não fundamentadas.

2. Metodologia: VisAlign

Para abordar este desequilíbrio, os autores propõem o VisAlign, um método que refina os embeddings textuais integrando o contexto visual global antes que os tokens entrem nas camadas do transformer. Diferente de abordagens que modificam o mecanismo de atenção durante a inferência ou adicionam módulos complexos de cross-attention, o VisAlign opera ao nível da representação para incentivar um raciocínio cross-modal equilibrado durante o treinamento.

O mecanismo central envolve três etapas:

1. Agregação Visual Global: Os embeddings visuais projetados ($V_{proj}$) são calculados através de uma operação de pooling livre de parâmetros para criar um único vetor de resumo visual global ($\hat{V}$).
2. Refinamento de Embedding Textual: Este vetor visual global é concatenado com os embeddings textuais originais ($T$) ao longo da dimensão de embedding. Uma camada de projeção linear então mapeia esta representação fundida de volta para a dimensão de embedding original do LLM, produzindo embeddings textuais visualmente fundamentados ($\hat{T}$).
3. Reconstrução: A sequência é reconstruída anexando os embeddings textuais refinados ($\hat{T}$) e os embeddings visuais originais ($V_{proj}$) na ordem padrão utilizada pelo modelo base.

Princípios de Design Chave:

• Injeção ao Nível de Representação: A informação visual é injetada diretamente na representação de linguagem, forçando o modelo a aprender embeddings que carregam tanto semântica textual quanto visual.
• Independente de Arquitetura: O método não altera a arquitetura do backbone do LLM nem requer mecanismos complexos de cross-attention; ele simplesmente modifica a sequência de tokens de entrada.
  క
• Estratégia de Treinamento: O VisAlign é treinado juntamente com os estágios padrão de pré-treinamento e ajuste fino do LVLM base (por exemplo, Video-LLaVA). No estágio de pré-treinamento, a projeção e as camadas lineares são treinadas enquanto o LLM permanece congelado; no estágio de ajuste fino, o modelo completo é treinado de ponta a ponta.

3. Principais Contribuições

• Análise Sistemática do Desequilíbrio de Modalidade: O artigo fornece evidências empíricas (via visualização de escores de atenção) de que os LVLMs padrão exibem um forte viés para tokens textuais, levando a uma atenção fragmentada sobre o conteúdo visual.
• Uma Estratégia de Mitigação Simples e Eficaz: O VisAlign oferece uma solução leve que reequilibra a atenção ao incorporar o contexto visual diretamente nos tokens textuais, deslocando o alinhamento do estágio de atenção para o estágio de embedding.
• Generalizabilidade: O método demonstra ser eficaz não apenas no Video-LLaVA, mas também em outros modelos de última geração como LLaVA 1.5 e Open-Qwen2VL.
• Complementaridade: O método mostra-se ortogonal às estratégias de decodificação em tempo de inferência (por exemplo, Visual Contrastive Decoding), permitindo melhorias combinadas.

4. Resultados Experimentais

Os autores avaliaram o VisAlign em múltiplos benchmarks de alucinação, reportando ganhos consistentes e estatisticamente significativos:

• MMVP-MLLM: Alcançou uma melhoria de +9,33% na acurácia, demonstrando uma discriminação visual de granularidade fina aprimorada.
• POPE (A-OKVQA): Melhorou a acurácia em +2,99%, a precisão em +1,76% e o F1-score em +1,18%, indicando uma redução em alucinações de nível de objeto.
• Merlin: Mostrou melhorias de até +3,4% na consistência factual e verificação de existência de objetos.
• HallusionBench: Alcançou uma melhoria de +3% no split de dados difíceis (hard-data), particularmente em tarefas que exigem fundamentação visual sobre conhecimento memorizado (ex: Map, OCR, Table).
• Mementos: Demonstrou ganhos no domínio de Robótica tanto para alucinações de objeto (+1,13%) quanto de ação (+0,97%), embora as melhorias tenham sido mais modestas em domínios complexos como Comics e Daily Life.
• Generalização: Quando aplicado ao LLaVA 1.5 e Open-Qwen2VL, o VisAlign consistentemente reduziu as alucinações e melhorou o desempenho no benchmark POPE.
• Comparação: O VisAlign superou o método de tempo de inferência Visual Contrastive Decoding (VCD) isoladamente. Combinar o VisAlign com o VCD gerou o maior desempenho geral, confirmando sua natureza complementar.

5. Significância e Alegações

O artigo afirma que as alucinações em LVLMs estão fundamentalmente ligadas à assimetria estrutural das arquiteturas atuais, onde os LLMs pré-treinados dominam o processo de raciocínio. Ao refinar os embeddings textuais para incluir o contexto visual global, o VisAlign força o modelo a atender de forma mais igualitária às evidências visuais, reduzindo assim a dependência de priors linguísticos.

Os autores posicionam o VisAlign como uma abordagem simples, porém principada, que melhora a fundamentação visual sem exigir reformulações arquiteturais ou supervisão externa. Eles observam que, embora o método aumente significativamente o desempenho em tarefas de fundamentação visual, pode levar a leves compensações de desempenho em categorias densas em conhecimento (ex: marcos geográficos, celebridades), onde a dependência de conhecimento de mundo memorizado é benéfica. O trabalho visa inspirar pesquisas adicionais em alinhamento ao nível de representação para aumentar a confiabilidade do raciocínio multimodal em aplicações de segurança crítica.