Resumo Técnico: Direcionamento de Pesos por Produto Espectral de Query-Key para Mitigação de Alucinação em VLMs sem Treinamento

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) sofrem frequentemente de alucinação de objetos, onde os modelos geram descrições fluentes contendo objetos que não estão presentes na imagem de entrada. Este problema decorre de uma competição entre a evidência visual e os fortes priors de visão-linguagem aprendidos durante o pré-treinamento (ex: padrões de coocorrência de objetos). Quando esses priors dominam, o modelo produz saídas plausíveis, mas visualmente não suportadas. As estratégias de mitigação existentes geralmente se dividem em duas categorias:

1. Métodos baseados em treinamento: Requerem dados adicionais, supervisão e computação significativa (ex: ajuste de instrução, otimização de preferência).
2. Intervenções em tempo de inferência: Modificam os processos de decodificação (ex: decodificação contrastiva, ajuste de logit, reponderação de atenção), introduzindo sobrecarga computacional a cada etapa de geração.

Há uma necessidade de uma solução livre de dados, livre de treinamento e com custo de inferência zero que mitigue a alucinação sem alterar o caminho de decodificação padrão ou exigir ajuste fino (fine-tuning).

Metodologia: Direcionamento do Produto QK

Os autores propõem o Direcionamento do Produto QK (QK Product Steering), um método de edição de pesos de etapa única (one-shot) que modifica diretamente o mecanismo de atenção interna do modelo para suprimir padrões indutores de alucinação.

Mecanismo Central

O método visa o produto Query-Key (QK) ($M_h = W_{q,h}^\top W_{k,g}$), o operador bilinear responsável por gerar os logits de atenção pré-softmax. A hipótese é que os modos singulares dominantes deste produto codificam "priors genéricos de visão-linguagem" que sobrepujam a evidência visual.

O processo envolve três etapas principais:

1. Análise Espectral e Supressão:

   • Para cabeças de atenção de camadas médias selecionadas, a Decomposição em Valores Singulares (SVD) fina do produto QK é computada.
   • Os top-$k$ modos singulares dominantes (que representam direções de atenção de alta energia) são identificados.
   • Esses modos são suprimidos (amortecidos) por um fator $\alpha$, reduzindo efetivamente a influência dessas direções específicas impulsionadas por priors.
   • A edição é realizada no componente simétrico ($S_h$) do produto QK, que captura padrões de similaridade de conteúdo mútuos, enquanto o componente antissimétrico ($\Omega_h$) é amplamente deixado intacto ou considerado menos relevante para a alucinação.

2. Recuperação de Query Segura para GQA:

   • VLMs modernos frequentemente utilizam Grouped-Query Attention (GQA), onde múltiplas cabeças de query compartilham uma única cabeça de key/value. Editar diretamente os pesos de key compartilhados é arriscado, pois afeta múltiplas cabeças.
   • Para preservar os pesos de key compartilhados ($W_k$), o método resolve um problema de otimização restrita para encontrar a atualização mínima dos pesos de query ($W_q$) que realize o produto QK editado ($M_h^\star$).
   • Isso é alcançado via uma atualização de estabilização de ridge em forma fechada:
     $$\Delta W_{q,h} = (W_{k,g}W_{k,g}^\top + \lambda I)^{-1} W_{k,g} \Delta M_h^\top$$
   • Isso garante que a edição seja compatível com arquiteturas GQA e deixe o procedimento de inferência inalterado.

3. Seleção de Camada:

   • O método visa as camadas médias da rede. Análises empíricas mostram que as camadas iniciais são muito concentradas em termos de posto (rank-concentrated) — editar nelas colapsa a geração — enquanto as camadas tardias têm impacto insuficiente na alucinação. As camadas médias oferecem um ponto de intervenção "cirúrgico", onde os modos dominantes constituem uma pequena fração da energia total do operador.

Decomposição Simétrica vs. Antissimétrica

Os autores decompõem o produto QK em componentes simétricos ($S_h$) e antissimétricos ($\Omega_h$).

• Simétrico ($S_h$): Captura a similaridade de conteúdo mútuo (atenção recíproca).
• Antissimétrico ($\Omega_h$): Captura padrões de atenção direcionais.
• Descoberta: Os sinais de alucinação estão localizados primariamente no canal simétrico. Amortecer os modos simétricos reduz a alucinação, enquanto amortecer os modos antissimétricos não reduz a alucinação e pode degradar as capacidades gerais.

Principais Contribuições

1. Direcionamento do Produto QK: Um novo método de edição de pesos, livre de dados e livre de treinamento, que mitiga a alucinação de objetos através de uma edição de etapa única do produto query-key.
2. Projeção Compatível com GQA: Um mecanismo de atualização apenas de query em forma fechada que realiza o produto QK editado mantendo os pesos de key compartilhados fixos, tornando o método aplicável a VLMs modernos baseados em GQA.
3. Interpretabilidade Mecanística: Através da decomposição simétrica/antissimétrica e estudos de ablação, o artigo demonstra que a alucinação é específica aos modos QK dominantes e é impulsionada primariamente pelo canal de atenção mútua simétrica.

Resultados Experimentais

O método foi avaliado em três VLMs baseados em GQA: Qwen2.5-VL-7B, InternVL3-8B e Pixtral-12B.

• Redução de Alucinação: Em todos os três modelos, o Direcionamento do Produto QK alcançou uma redução média de 4,0% no CHAIRs.
  • No Qwen2.5-VL-7B, o CHAIRs caiu de 31,44 (Baseline) para 28,56.
  • No InternVL3-8B, o CHAIRs caiu de 33,81 para 33,23.
  • No Pixtral-12B, o CHAIRs caiu de 34,14 para 33,81.
• Experimentos de Controle:
  • Controles de Modo Aleatório: Amortecer modos singulares aleatórios (com posto correspondente) resultou em mudanças negligenciáveis, confirmando que o efeito é específico aos modos dominantes, e não a perturbações de baixo posto arbitrárias.
  • Simétrico vs. Antissimétrico: Editar apenas o canal simétrico capturou a maior parte da redução de alucinação. Editar apenas o canal antissimétrico falhou em reduzir a alucinação e frequentemente degradou o desempenho em outros benchmarks.
• Preservação de Capacidade: As capacidades multimodais gerais (medidas por MME e MMMU) foram amplamente preservadas dentro do orçamento de ruído dos controles aleatórios. O único custo sistemático de capacidade foi observado no Pixtral-12B em configurações específicas, sugerindo um compromisso (trade-off) que pode ser gerenciado via ajuste de hiperparâmetros.
• Ablações:
  • Sensibilidade de Camada: Edições em camadas médias foram a única configuração que reduziu a alucinação sem colapsar a geração (camadas iniciais) ou falhar em impactar a alucinação (camadas tardias).
  • Força de Amortecimento: Uma força de amortecimento de $\alpha=1$ (remoção total dos modos superiores) com $k=3$ modos forneceu o melhor equilíbrio entre redução de alucinação e preservação de capacidade.

Significância e Alegações

O artigo afirma que o Direcionamento do Produto QK oferece uma alternativa prática às intervenções de tempo de decodificação. Sua significância reside em:

• Custo de Inferência Zero: Ao contrário de métodos que alteram a decodificação (ex: decodificação contrastiva), este método modifica os pesos do modelo uma única vez, deixando o caminho de decodificação gananciosa (greedy) padrão completamente inalterado durante a inferência.
• Sem Sobrecarga de Treinamento: Não requer dados adicionais, ajuste fino ou otimização de preferência.
• Insight Mecanístico: Fornece uma explicação mecânica clara para a alucinação, identificando-a como resultado de modos de atenção simétricos dominantes que codificam priors genéricos. Ao amortecer cirurgicamente esses modos, o método enfraquece o comportamento impulsionado por priors enquanto preserva a computação geral do modelo.
• Escalabilidade: O método é leve e compatível com arquiteturas eficientes modernas, como GQA.

Os autores concluem que, embora o método não melhore a percepção subjacente do modelo ou adicione novo conhecimento visual, ele mitiga efetivamente o modo de falha específico de alucinação de objetos ao direcionar o mecanismo de atenção para longe da dependência excessiva de priors aprendidos.