Resumo Técnico: Circuitos de Duplo Caminho para Alucinação de Objetos em Modelos Visão-Linguagem

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) alcançaram desempenho notável ao integrar percepção visual e compreensão de linguagem natural. No entanto, eles frequentemente sofrem de alucinações de objetos, onde os modelos descrevem entidades, atributos ou relações ausentes na imagem de entrada. Esse comportamento reflete uma dependência excessiva de prios centrados no texto em vez de evidências visuais, limitando a confiabilidade e a interpretabilidade do modelo.

As estratégias existentes de mitigação (por exemplo, alinhamento durante o treinamento, restrições de decodificação, correções post-hoc) tratam majoritariamente os VLMs como caixas-pretas, modificando entradas ou procedimentos de decodificação sem investigar os cálculos internos que impulsionam as alucinações. Consequentemente, esses métodos são frequentemente específicos do modelo e falham em generalizar entre arquiteturas. Além disso, embora a interpretabilidade mecânica tenha sido aplicada a modelos de linguagem para identificar circuitos de comportamentos como a recordação factual, sua aplicação a VLMs é desafiadora devido à integração de representações visuais e componentes de linguagem, bem como à diversidade arquitetural dos VLMs modernos.

Metodologia

Os autores propõem a Análise de Circuito de Duplo Caminho, um framework projetado para identificar e caracterizar circuitos relacionados à alucinação em VLMs arquiteturalmente diversos. O estudo emprega uma estratégia de análise em três etapas em cinco VLMs (Qwen3-VL, LLaVA, Llama-3.2-Vision, InternVL3-8B e InternVL3-14B) utilizando o benchmark adversarial POPE.

1. Correção de Ativação para Descoberta de Circuitos

Os autores estendem a correção de ativação para VLMs corrompendo os embeddings de tokens visuais com ruído gaussiano (3σ) na camada de entrada, reduzindo a precisão a níveis aleatórios. Em seguida, restauram componentes específicos (subcamadas de atenção ou subcamadas MLP) de uma execução "limpa" para a execução "corrompida".

• Efeito Indireto (EI): Calculado como a diferença nas diferenças de logits entre a execução corrigida e a execução corrompida.
• Extração de Circuito: Os componentes são classificados em dois caminhos com base no sinal do d de Cohen (tamanho do efeito) comparando amostras corretas versus alucinantes:
  • Caminho de Ancoragem Visual ($d > 0$): Componentes com maiores efeitos indiretos em amostras corretas.
  • Caminho de Alucinação ($d < 0$): Componentes com maiores efeitos indiretos durante a alucinação.

2. Análise Condicional de Caminho (CPA)

Para ir além da análise de componente único, os autores introduzem a CPA para caracterizar interações em nível de caminho.

• Redundância vs. Sinergia: Ao comparar o efeito conjunto de restaurar todos os componentes do caminho simultaneamente contra a soma dos efeitos individuais, eles determinam se os componentes carregam informações sobrepostas (redundância) ou fragmentos complementares (sinergia).
• Detecção de Inversão de Polaridade: A CPA investiga especificamente se a contribuição causal dos componentes muda de sinal entre amostras corretas e alucinantes, uma assinatura invisível à análise padrão em nível de componente.

3. Validação Causal e Transferência

• Supressão Direcionada: Os autores realizam intervenções causais escalando as saídas dos componentes do caminho de alucinação ($s \in \{0.0, 0.25, 0.5, 0.75\}$) durante a inferência, sem retreinamento.
• Linhas de Base: Eles comparam a escala por componente contra intervenções de direção estática (Projeção de Diferença de Média e Intervenção no Tempo de Inferência [ITI]) e controles de componentes aleatórios.
• Generalização: Os circuitos identificados são testados em diferentes divisões do POPE e no benchmark AMBER (cobrindo alucinações de existência, atributo e relação) para avaliar a transferibilidade.

Resultados Principais

1. Descoberta de uma Organização Compartilhada de Duplo Caminho

Em todos os cinco VLMs diversos, a análise revela uma estrutura de duplo caminho consistente:

• Caminho de Ancoragem Visual: Concentrado nas camadas médias a tardias.
• Caminho de Alucinação: Concentrado nas camadas iniciais e nas fronteiras da rede.
  Essa organização persiste entre diferentes famílias de backbone, estratégias de integração visual (por exemplo, atenção cruzada versus projetor) e escalas de modelo, sugerindo que a estrutura surge durante o treinamento em vez de ser herdada de arquiteturas específicas.

2. Inversão de Polaridade e Redundância

A CPA revela duas descobertas críticas:

• Inversão de Polaridade do Caminho de Ancoragem: Em amostras corretas, os componentes de ancoragem suportam a verdade fundamental ($d > 0$). Em amostras alucinantes, esses mesmos componentes invertem a polaridade ($d < 0$), apoiando ativamente a resposta alucinada. Isso indica que as representações de "ancoragem" não estão ausentes, mas foram condicionadas aos prios de saída não visuais do modelo.
• Redundância Consistente: Ambos os caminhos exibem forte redundância dentro do subconjunto (a magnitude do efeito conjunto é significativamente menor que a soma dos efeitos individuais) tanto em amostras corretas quanto alucinantes. A redundância não se dissolve durante a alucinação; em vez disso, as cópias redundantes são redirecionadas.

3. Eficácia da Intervenção Causal

• Sucesso na Supressão: A supressão direcionada dos componentes do caminho de alucinação reduz a alucinação de objetos em 40% a 76% (redução relativa) com custo mínimo de precisão ($\le 2$ pontos percentuais).
• Superioridade sobre Direções Estáticas: A escala por componente supera as linhas de base de direção estática (ITI e Projeção de Diferença de Média). Os autores atribuem isso ao sinal de alucinação ser multidirecional; a direção singular dominante captura apenas 45–69% da variância, limitando a eficácia de intervenções de direção única.
• Especificidade: A supressão do caminho de ancoragem colapsa a precisão para níveis aleatórios, confirmando uma dupla dissociação: a supressão do caminho de alucinação reduz erros sem destruir o desempenho da tarefa, enquanto a ablação do caminho de ancoragem destrói a tarefa.

4. Transferência Seletiva

Os circuitos identificados transferem-se seletivamente entre tipos de alucinação:

• Alucinação Relacional: A intervenção transfere-se bem para alucinações relacionais (redução de 36–47%), sugerindo mecanismos compartilhados com alucinações de existência de objetos.
• Alucinação de Atributo: A intervenção falha em grande parte em reduzir alucinações de atributo, implicando que erros de atributo envolvem circuitos distintos (por exemplo, extração imprecisa de características visuais) não capturados pelo caminho de existência de objetos.

Significado e Alegações

O artigo alega fornecer a primeira caracterização mecânica da alucinação de objetos em arquiteturas diversas de VLMs. Suas principais contribuições são:

1. Insight Mecânico: Identifica que a alucinação de objetos é impulsionada por uma estrutura compartilhada de duplo caminho onde componentes de ancoragem sofrem uma inversão de polaridade, redirecionando evidências visuais para prios de linguagem durante erros.
2. Avance Metodológico: Demonstra que a análise em nível de caminho (CPA) revela assinaturas críticas (inversões de polaridade) que a correção de componente único perde.
3. Validação Causal: Estabelece que a supressão direcionada de componentes específicos pode reduzir causalmente as alucinações, validando a hipótese do circuito.
4. Limitações e Escopo: Os autores notam modestamente que, embora sua extração de circuito e supressão validem o mecanismo, o método de escala proposto é uma sonda causal e não uma estratégia de mitigação implantável. Eles enfatizam que a transferência seletiva para alucinações relacionais, mas não para alucinações de atributo, indica que diferentes tipos de alucinação podem exigir extrações de circuito distintas.

O trabalho conclui que a alucinação de objetos em VLMs não é um artefato arquitetural, mas uma estrutura mecânica aprendida, e que a intervenção eficaz exige abordar a natureza multidirecional do sinal de alucinação em vez de confiar em direções lineares estáticas.