Resumo Técnico: Filtragem por Representação de Wiener para Supressão de Alucinação em VLMs

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) são excelentes em tarefas como legendagem de imagens e perguntas visuais e respostas, mas frequentemente sofrem de alucinação de objetos (OH). Este fenômeno envolve a geração de descrições plausíveis, mas factualmente incorretas, como inventar objetos, atributos ou relações espaciais ausentes na imagem de entrada. As estratégias de mitigação existentes geralmente se dividem em duas categorias:

1. Métodos de tempo de decodificação (decoding-time): Técnicas como busca de feixe restrita (constrained beam search) ou debiasing de logits que modulam a geração, mas frequentemente incorrem em sobrecarga significativa de inferência (atrasos de 5 a 10x).
2. Refinamentos pós-hoc: Métodos como Woodpecker ou HALC que exigem adaptações específicas para a tarefa ou recursos externos.
3. Métodos baseados em treinamento: Abordagens que exigem retreinamento ou ajuste fino (fine-tuning) com perdas conscientes de alucinação, que são computacionalmente dispendiosas.

Permanece uma lacuna para uma correção livre de treinamento e eficiente na inferência que opere sem modificar a arquitetura do modelo ou aumentar os custos de execução.

Metodologia

Os autores propõem um framework de Filtragem de Representação de Wiener, uma técnica de edição pós-hoc que opera no espaço de representação do backbone de linguagem. O método trata a alucinação como uma distorção espectral estruturada e a corrige via um problema de estimativa de erro quadrático médio mínimo (MMSE) linear.

1. Formulação Teórica

A hipótese central é que os estados ocultos ($h$) em um VLM podem ser modelados como a superposição de um componente verdadeiro ($s$) e uma distorção associada à alucinação ($n$):
$$h = s + n$$
Assumindo que $s$ e $n$ possuem média zero e são mutuamente não correlacionados, a covariância da representação observada decompõe-se na soma da covariância verdadeira ($\Sigma_T$) e da covariância da alucinação ($\Sigma_H$).

O estimador linear ótimo para recuperar $s$ de $h$ é o operador de Wiener:
$$A^* = \Sigma_T (\Sigma_T + \Sigma_H)^{-1}$$

2. Calibração e Estimativa

O método requer uma calibração offline única em um conjunto de dados pareado modesto (ex: LURE) contendo:

• $c^-$: Legendas verificadas por humanos como verdadeiras.
• $c^+$: Legendas alucinadas geradas pelo modelo para a mesma imagem.

Para camadas profundas selecionadas, os autores extraem representações de média de sequência ($x^-$ e $x^+$) para estimar:

• $\Sigma_T$: A covariância das representações verdadeiras.
• $\Sigma_H$: A covariância da distorção ($d = x^+ - x^-$).

A análise empírica revela que a alucinação se manifesta como uma distorção anisotrópica concentrada em um subespaço de baixo posto (alguns modos eigendominantes), em vez de um ruído isotrópico.

3. Filtragem Espectral

Para garantir estabilidade e interpretabilidade, o operador de Wiener é aproximado na base de autovetores de $\Sigma_H$. Seja $\{q_j\}$ os autovetores de $\Sigma_H$ com autovalores $\lambda_j$. A variância do sinal no modo $j$ é $\tau_j^2 = q_j^\top \Sigma_T q_j$.
A razão distorção-sinal é definida como $\nu_j = \lambda_j / \tau_j^2$.
O ganho de Wiener por modo é:
$$\gamma_j = \frac{1}{1 + \nu_j}$$
Para permitir um ajuste de nitidez (sharpness) controlável e compensar erros de estimativa, um expoente de nitidez $\alpha$ é introduzido:
$$\tilde{\gamma}_j = (1 + \nu_j)^{-\alpha} = \left( \frac{\tau_j^2}{\tau_j^2 + \lambda_j} \right)^\alpha$$
O filtro final $F_\alpha$ é construído como $Q \text{diag}(\tilde{\gamma}_1, \dots, \tilde{\gamma}_d) Q^\top$.

4. Implementação

O filtro é aplicado modificando as projeções de saída da rede feed-forward (FFN) ($W_{out}$) de camadas profundas selecionadas:
$$\tilde{W}_{out} = F_\alpha W_{out}$$
Como $F_\alpha$ é pré-computado e absorvido diretamente nos pesos existentes, a arquitetura, a contagem de parâmetros e a velocidade de inferência permanecem inalteradas. Nenhum update de gradiente ou ajuste fino é realizado durante o deployment.

Principais Contribuições

• Correção Livre de Treinamento: Um método pós-hoc que não requer retreinamento, ajuste fino ou atualizações de gradiente.
• Eficiência de Inferência: A correção é absorvida nos pesos do modelo, incorrendo em zero latência adicional ou overhead de memória durante a inferência.
• Fundamentação Teórica: Formula a mitigação de alucinação como um problema de MMSE linear, derivando um estimador de Wiener de forma fechada que respeita critérios de estabilidade (continuidade Lipschitz-operador).
• Análise Espectral: Demonstra que as alucinações ocupam um subespaço de baixa dimensão e anisotrópico na representação, permit um a atenuação direcionada sem destruir a informação semântica.

Resultados Experimentais

O método foi avaliado no LLaVA-1.5, MiniGPT-4, mPLUG-Owl2 e Gemma3 através de múltiplos benchmarks:

• CHAIR (Alucinação de Legenda): O método alcançou consistentemente as menores taxas de alucinação (CHAIRS e CHAIR) em todos os modelos, superando baselines de decodificação (OPERA, VCD, HALC) e baselines de edição de representação (Nullu). Por exemplo, no LLaVA-1.5, o CHAIRS foi reduzido de 18.87 (Greedy) para 14.93.
• POPE (Presença de Objetos): Melhorou o embasamento factual (Acurácia, Precisão, F1) em configurações Aleatórias, Populares e Adversariais, frequentemente alcançando as pontuações mais altas entre os métodos comparados.
• MME (Avaliação Multimodal): Demonstrou desempenho superior em 10 subconjuntos de grounding visual (ex: Contagem, Arte, Celebridade) comparado a outras estratégias concorrentes.
• Generalização:
  • Compreensão de Vídeo: Reduziu com sucesso as alucinações no benchmark TempCompass (raciocínio temporal), apesar de ter sido calibrado em imagens estáticas.
  • Modelos de Difusão Discreta: Aplicado ao Dream-v0-Instruct-7B para diálogo fundamentado (FaithDial), reduzindo significativamente as taxas de alucinação (ex: de 92% para 74% via FaithCritic) enquanto melhora métricas de grounding.
  • Transferência Cross-Domain: Mostrou que filtros aprendidos em um dataset (ex: LURE) puderam reduzir efetivamente as alucinações em datasets não vistos (ex: TruthfulQA, CHAIR) sem necessidade de novo ajuste.

Significância e Alegações

O artigo afirma que, ao modelar a alucinação como uma distorção espectral estruturada em vez de ruído aleatório, é possível derivar uma correção estável e fundamentada que suprime modos dominados por alucinação enquanto preserva direções semanticamente fundamentadas.

As principais alegações sobre o impacto do método incluem:

1. Estabilidade: A formulação contínua garante que pequenos erros na estimativa de covariância induzam apenas mudanças proporcionalmente limitadas no operador, evitando a instabilidade da truncagem de posto (rank truncation) rígida.
2. Preservação da Fluência: Ao contrário de métodos que podam agressivamente as representações, o filtro de Wiener atenua os modos com base em sua razão distorção-sinal, mantendo a fluência da legenda e a qualidade geral da resposta (as pontuações BLEU permanecem competitivas).
3. Generalidade: A abordagem não é limitada a arquiteturas específicas de VLM ou estratégias de fusão (fusão precoce, de ponte ou média) e estende-se ao raciocínio temporal de vídeo e modelos de linguagem baseados em difusão.
4. Eficiência: Oferece uma solução "plug-and-play" que elimina os atrasos de inferência associados a intervenções de tempo de decodificação e o custo computacional de métodos baseados em treinamento.

Os autores concluem que este trabalho fornece um mecanismo fundamentado para a supressão de alucinação que alinha a geração com a evidência visual sem comprometer a integridade da representação interna do modelo ou a eficiência de inferência.