Resumo Técnico: Repensando o CD: Um Estudo de Reprodutibilidade e Extensão sobre a Ineficácia da Decodificação Contrastiva na Mitigação de Alucinações de Objetos em MLLMs

1. Definição do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) sofrem de alucinações de objetos, onde os modelos geram saídas fluentes e coerentes que incluem objetos, atributos ou relações ausentes da entrada visual. Este modo de falha reflete um fraco ancoramento visual (visual grounding) e acarreta riscos significativos em domínios de alta responsabilidade, como condução autônoma e saúde.

A Decodificação Contrastiva (CD) foi proposta como uma estratégia de inferência livre de treinamento para mitigar essas alucinações. A ideia central envolve contrastar a distribuição de saída de um modelo "especialista" (condicionado à entrada original) contra um modelo "amador" mais fraco e propenso a alucinações (condicionado a uma entrada perturbada, como uma imagem com ruído ou uma instrução alterada). Os tokens favorecidos pelo modelo amador são penalizados, teoricamente suprimindo as alucinações. Embora variantes de CD, como VCD (Visual Contrastive Decoding), ICD (Instruction Contrastive Decoding) e SID (Self-Introspective Decoding), tenham relatado ganhos de desempenho em benchmarks como o POPE, trabalhos recentes de Yin et al. (2026) questionaram se esses ganhos refletem melhorias genuínas no ancoramento visual ou se são meros artefatos de restrições de decodificação.

2. Metodologia

Este estudo conduz uma reprodutibilidade e extensão rigorosa da análise de Yin et al. (2026). Os autores avaliam modelos mais recentes (LLaVA-v1.5-7B/13B e Qwen2.5-VL-7B) em benchmarks discriminativos (POPE, MME) e generativos (CHAIR, NoCaps, LLaVA-Bench).

A metodologia é estruturada em torno de duas alegações primárias e vários experimentos investigativos inovadores:

A. Reprodução de Alegações Centrais

1. Viés Unidirecional: O estudo testa se os ganhos de CD surgem de um deslocamento unidirecional na distribuição de saída em direção a respostas "Sim", em vez de uma melhoria no reconhecimento de objetos.
2. Restrição de Plausibilidade Adaptativa (APC): O estudo verifica se o APC, um componente de CD que restringe a geração a tokens provavelmente sob a distribuição do especialista, efetivamente degrada a amostragem de CD em uma aproximação de busca gulosa (greedy search).

B. Experimentos Investigativos Estendidos

Para decompor a natureza do desempenho de CD, os autores introduzem várias análises inovadoras:

• Análise de Inversão (Flip Analysis): Decomposição de inversões "Não $\rightarrow$ Sim" em Verdadeiros Positivos (correções genuínas) e Falsos Positivos (alucinações injetadas) para calcular a precisão de inversão e o recall de TP.
• Teste de Estresse de Desequilíbrio de Rótulos: Avaliação de CD em subconjuntos do POPE com proporções de rótulos enviesadas (25/75 e 75/25 Sim/Não) para determinar se os ganhos persistem quando a métrica (Acurácia Balanceada) é imune a mudanças de limiar (threshold).
• Análise de Similaridade de Jaccard: Medição da sobreposição lexical entre a amostragem aumentada por APC e a decodificação gulosa através de vários limiares de APC ($\beta$) para quantificar o deslocamento em direção ao comportamento guloso.
• Análise de Logit por Token: Análise do ajuste contrastivo $d = E - A$ (logits do Especialista menos os do Amador) para determinar se o mecanismo suprime seletivamente tokens alucinados ou se os amplifica.
• Proxy de Ruído Gaussiano: Substituição do ramo amador por ruído gaussiano para testar se a estrutura específica do modelo amador é necessária para os efeitos de CD.
• Análise de Lente de Camada (Layer-wise Logit-Lens Analysis): Uso de sondas lineares em camadas de transformadores para determinar se o deslocamento de CD é seletivo (visando alucinações) ou uma tradução uniforme da margem de decisão.

3. Resultados Principais

Reprodução de Alegações

• Viés Unidirecional Confirmado (com nuances): Para VCD e SID, o estudo confirma um deslocamento unidirecional para saídas "Sim", particularmente em subconjuntos adversariais. No entanto, o ICD exibe uma reversão, deslocando-se para "Não", embora permaneça neutro em termos de acurácia. Isso sugere que a direção do deslocamento depende da modalidade de perturbação, não do paradigma CD em si.
• APC Degrada para Busca Gulosa: O estudo confirma que o APC colapsa a amostragem em uma decodificação do tipo gulosa. À medida que o limiar $\beta$ aumenta, a similaridade de Jaccard entre as saídas aumentadas por APC e a busca gulosa sobe significativamente, enquanto a similaridade com a amostragem direta permanece constante. No $\beta=0.1$ padrão usado pelo VCD, a saída já é dominada pelo viés guloso.

Descobertas Estendidas

• Ganhos Espúrios vs. Correção Genuína:
  • Precisão de Inversão: Controles não visuais (Ajuste Baseado em Prompt e Modificação da Camada de Saída) alcançam precisão de inversão comparável ou superior ao VCD e SID.
  • Recall de TP: Controles não visuais corrigem uma proporção maior de erros falso-negativos do que os métodos CD.
  • Injeção de Alucinação: Métodos CD introduzem novas alucinações em taxas comparáveis aos controles não visuais.
• Sensibilidade ao Desequilíbrio de Rótulos: Quando avaliados em conjuntos de dados enviesados (25/75 ou 75/25), os métodos CD falham em melhorar a Acurácia Balanceada. Na verdade, seu desempenho frequentemente degrada em relação ao baseline, indicando que seus ganhos no POPE padrão são impulsionados pelo deslocamento do limiar de decisão para corresponder ao equilíbrio de classe do conjunto de dados, em vez de melhorar o ancoramento visual.
• Ineficácia Mecanística:
  • Análise de Logit: O ajuste contrastivo $d$ não suprime seletivamente os tokens alucinados. No LLaVA, ele amplifica tanto os tokens reais quanto os alucinados. No Qwen, ele penaliza objetos reais mais do que as alucinações.
  • Validação de Proxy: Um proxy de ruído gaussiano (descartando o ramo amador inteiramente) produz um desempenho no CHAIR estatisticamente indistinguível dos métodos CD reais, sugerindo que o ramo amador não oferece benefício único.
  • Seletividade de Camada: Embora a presença de objetos seja linearmente decodificável de camadas intermediárias (Camada 8), o deslocamento de CD é não seletivo em todas as profundidades. Ele reforça o "Sim" falso para a vasta maioria das alucinações. Um único viés escalar adicionado à margem de decisão reproduz todo o ganho de POPE do CD, confirmando que o efeito é um deslocamento de limiar, não uma correção mecanística.

4. Contribuições

O artigo apresenta as seguintes contribuições específicas:

1. Reprodução: Valida as alegações centrais de Yin et al. (2026) em um novo conjunto de modelos (LLaVA-v1.5, Qwen2.5-VL) e em múltiplos datasets.
2. Decomposição de Ganhos: Fornece evidências granulares (precisão de inversão, recall de TP, acurácia balanceada) de que as melhorias relatadas de CD são artefatos espúrios de deslocamentos na distribuição de saída, em vez de mitigação genuína de alucinações.
3. Dissecação Mecanística: Através de análises de nível de logit e de camada, demonstra que o CD falha em suprimir seletivamente as alucinações e, em vez disso, aplica uma tradução uniforme à fronteira de decisão.
4. Novos Baselines: Introduz e valida um proxy de ruído gaussiano e testa o estresse de CD sob desequilíbrios extremos de rótulos, oferecendo novas ferramentas para auditar intervenções de inferência.

5. Significância e Alegações

O artigo conclui que as estratégias atuais de decodificação contrastiva não devem ser confiadas como uma mitigação eficaz de alucinações.

• O "Miragem" do Desempenho: Os ganhos aparentes em benchmarks como o POPE são mostrados como "espúrios", surgindo do deslocamento da distribuição de saída do modelo para melhor corresponder ao equilíbrio de classe do dataset ou do colapso da amostragem via APC para a busca gulosa.
• Falta de Ancoramento Visual: O estudo demonstra que o CD não melhora a capacidade do modelo de distinguir entre objetos presentes e ausentes. Em alguns casos (ex: Qwen), ele penaliza ativamente objetos corretos enquanto poupa alucinações.
• Chamado por Rigor: Os autores argumentam que o campo deve ir além de métricas de acurácia agregadas que são sensíveis a mudanças de limiar. Eles propõem que futuras intervenções livres de treinamento devem ser auditadas quanto à seletividade (o método visa especificamente as alucinações?) e validade mecanística (ele corrige o processo de geração subjacente?) em vez de apenas pontuações de benchmark.

O trabalho desafia a comunidade a desenvolver abordagens mais confiáveis para mitigar alucinações, enfatizando que os atuais "ajustes livres de treinamento" podem ser apenas o ajuste da fronteira de decisão, em vez de resolver o problema do ancoramento.