Resumo Técnico: Quando a Linguagem Sobrescreve a Visão

1. Declaração do Problema

Modelos Visão-Linguagem (VLMs), particularmente aqueles baseados em arquiteturas de decodificador, impulsionam cada vez mais aplicações de alto risco, mas sofrem de um modo de falha crítico: alucinação de objetos. Esses modelos descrevem com confiança conteúdo visual que não está presente na imagem de entrada.

O artigo identifica a causa raiz não meramente como uma falta de alinhamento, mas como sobre-alinhamento geométrico.

• A Lacuna de Modalidade: Representações visuais e linguísticas ocupam naturalmente variedades disjuntas dentro de um espaço latente compartilhado.
• O Mecanismo de Sobre-Alinhamento: Para satisfazer os requisitos de mecanismos de atenção cruzada em VLMs baseados em decodificadores, os modelos forçam agressivamente os embeddings visuais a se sobrepor à variedade de texto.
• A Consequência: Esse colapso forçado injeta um viés linguístico estatístico nas representações visuais. O modelo explora um "atalho estrutural" onde os principais componentes (PCs) superiores do espaço de embedding de visão são sequestrados para servir como uma âncora de modalidade para o texto. Consequentemente, evidências visuais de alta granularidade são ofuscadas por padrões textuais de alta probabilidade, fazendo com que o modelo recorra a priores linguísticos em vez de atender à imagem real.

Trabalhos anteriores tentaram ou fechar agressivamente a lacuna de modalidade (potencialmente exacerbando o sobre-alinhamento) ou suprimiram alucinações por meio de estratégias de decodificação de caixa preta caras (por exemplo, decodificação contrastiva) sem abordar a causa geométrica subjacente.

2. Metodologia

Os autores propõem um framework de debiasing geométrico que trata o viés textual como um subespaço linearmente isolável dentro dos embeddings visuais.

A. Análise Mecanística

• Definição da Variedade de Texto: Os autores definem um sistema de coordenadas para a variedade de texto realizando Análise de Componentes Principais (PCA) em embeddings de tokens derivados de legendas de pré-treinamento. Eles demonstram que os PCs superiores formam uma variedade universal, agnóstica ao conjunto de dados, representando viés linguístico estatístico.
• Alinhamento Nível a Nível: A análise revela que, em VLMs padrão, os tokens de visão alinham-se agressivamente a essa variedade de texto nas camadas iniciais a médias do decodificador.
• Sobrescrita Visual: A sondagem linear mostra que, à medida que os tokens visuais se propagam pela rede, sua decodificabilidade se degrada porque os PCs superiores atuam como uma "máscara estrutural", substituindo sinais visuais verdadeiros por sintaxe e priores textuais.

B. Remédios Propostos

O artigo introduz dois métodos complementares para remover esse viés:

1. Estratégia de Inferência sem Treinamento (Post-hoc):

   • No momento da inferência, o método projeta embeddings visuais ortogonalmente aos $k$ principais componentes da variedade de texto.
   • Fórmula: $\vec{v}_{debiased} = \vec{v} - \sum_{i=1}^{k} ((\vec{v} - \vec{m}) \cdot \vec{k}_i)\vec{k}_i$, onde $\vec{v}$ é o embedding de visão, $\vec{m}$ é a média da variedade de texto e $\vec{k}_i$ são os PCs superiores.
   • Esta operação remove a "âncora textual" sem exigir treinamento adicional do modelo ou sobrecarga computacional.

2. Paradigma de Ajuste Fino Consciente de Viés:

   • Durante o processo de ajuste fino, a mesma remoção de PCs superiores-$k$ é aplicada à saída do projetor cruzado de modalidades antes que ela entre no decodificador do LLM.
   • Isso priva estruturalmente a rede de atalhos linguísticos estatísticos durante as atualizações de parâmetros, forçando o modelo a codificar nativamente evidências visuais para fundamentação.

3. Contribuições Principais

• Caracterização Quantitativa do Sobre-Alinhamento: O artigo fornece a primeira análise explícita mostrando que o viés linguístico em VLMs baseados em decodificadores se concentra nos principais componentes do espaço de embedding de visão, degradando ativamente a decodificabilidade visual.
• Novo Framework Geométrico: Um método agnóstico à tarefa para isolar e medir a penetração do viés linguístico, identificando que esse viés está fortemente concentrado nos PCs superiores do espaço latente.
• Debiasing sem Treinamento: Uma intervenção principista, post-hoc, que aumenta significativamente a fundamentação visual em diversos benchmarks com custo computacional zero adicional sobre o modelo base.
• Ajuste Fino Consciente de Viés: Um framework de treinamento especializado que força o modelo a depender de evidências visuais removendo atalhos linguísticos estatísticos durante o loop de treinamento.

4. Resultados Experimentais

Os métodos foram avaliados em múltiplas arquiteturas (Qwen2.5-VL-7B, LLaVA-1.5-7B) e benchmarks.

• Redução de Alucinação:

  • POPE: Melhorou de 87,3 para 88,4 (Qwen) e de 82,8 para 83,8 (LLaVA).
  • CHAIR: Reduções significativas nas taxas de alucinação. Para Qwen2.5-VL-7B, o CHAIR caiu de 5,14 para 4,23 (-17,7%); para LLaVA-1.5-7B, caiu de 9,20 para 6,74 (-26,7%).
  • AMBER: Melhorias substanciais tanto nas métricas de nível de instância quanto de nível de frase.
  • Comparação: O método sem treinamento superou ou igualou bases de caixa preta computacionalmente caras como VCD, SID e DMAS.

• Legendagem de Longa Forma (Pontuação CLAIR):

  • Avaliado em VRSBench e TextCaps usando a pontuação CLAIR (que penaliza conteúdo alucinado).
  • O paradigma de ajuste fino consciente de viés superou consistentemente tanto as bases zero-shot quanto as bases padrão de Ajuste Fino Supervisionado (SFT).
  • Exemplo: No VRSBench com Qwen2.5-VL-7B, a pontuação melhorou de 72,30 (SFT Padrão) para 74,70.

• Análise de Lente de Logit:

  • O rastreamento de representações latentes revelou que os modelos de base decodificavam patches visuais como marcadores de sintaxe de alta probabilidade (por exemplo, pontuação, preposições).
  • Após o debiasing geométrico, os modelos decodificaram com sucesso semânticas visuais de alta granularidade (por exemplo, "banco", "geladeira", "deck"), confirmando a remoção do protocolo sintático.

5. Significado e Alegações

O artigo argumenta que a suposição predominante — de que fechar a lacuna de modalidade é a estratégia correta — é falha. Em vez disso, deve existir uma lacuna de modalidade deliberada para preservar a integridade geométrica das representações visuais.

• Insight Central: Forçar os espaços visual e textual a se sobreporem completamente contamina as representações visuais com regularidades estatísticas espúrias da linguagem.
• Implicação: Ao projetar explicitamente para fora os PCs textuais superiores, o modelo é forçado a atender a evidências visuais reais em vez de depender de priores linguísticos.
• Limitações Reconhecidas: Os autores observam que a arquitetura baseada em decodificador atual, que requer comprimir o espaço visual de alta granularidade em uma variedade de texto, pode ser fundamentalmente falha. Eles sugerem que arquiteturas futuras podem precisar de codificadores separados e específicos de modalidade. Além disso, o método depende da suposição de que o viés textual pode ser perfeitamente isolado em um subespaço linear, o que pode ter dificuldades com domínios altamente fora de distribuição.

Em conclusão, o trabalho demonstra que as alucinações em VLMs não são apenas um problema de decodificação, mas um problema representacional causado pelo sobre-alinhamento geométrico, e que isso pode ser mitigado por meio de debiasing geométrico principista.