Instruction-Evidence Contrastive Dual-Stream Decoding for Grounded Vision-Language Reasoning

1. Declaração do Problema

Modelos Visão-Linguagem (VLMs) demonstraram capacidades robustas no seguimento de instruções e raciocínio aberto. No entanto, sofrem significativamente de alucinação, onde os modelos geram conteúdo fluente, plausível, mas não suportado visualmente (por exemplo, objetos inexistentes, atributos incorretos ou relações fabricadas).

• Causa Raiz: O artigo identifica que o prompting padrão de instruções amplifica priors linguísticos. Quando os sinais visuais são ambíguos ou fracos, o modelo prioriza as probabilidades estatísticas de seus dados de treinamento em vez da evidência real da imagem.
• O Trade-off: Tentativas existentes para corrigir isso frequentemente criam uma dicotomia:
  • Prompts orientados a instruções geram texto rico e descritivo, mas com altas taxas de alucinação.
  • Prompts restritos a evidências reduzem alucinações, mas resultam em saídas excessivamente conservadoras, literais e pouco informativas.
• Lacuna: Os métodos atuais de Decodificação Contrastiva (CD) frequentemente dependem de ponderação estática ou tipos específicos de perturbações (por exemplo, corrupção de imagem) que podem não equilibrar dinamicamente a necessidade de riqueza linguística e fidelidade visual durante a geração.

2. Metodologia: IECD2

Os autores propõem a Decodificação Dual-Stream Contrastiva de Instrução-Evidência (IECD2), um framework de decodificação sem treinamento e agnóstico ao modelo. Ele opera mantendo duas distribuições de probabilidade paralelas em cada etapa de decodificação e fundindo-as adaptativamente.

A. Formulação Dual-Stream

Em cada etapa de decodificação $t$, dada uma história $y_{<t}$, o modelo gera duas distribuições de probabilidade de tokens sobre o vocabulário:

1. Stream de Instrução ($p^{(I)}_t$): Condicionada a um prompt padrão de instrução em linguagem natural ($S$). Este stream captura priors linguísticos, incentivando fluência, coerência e riqueza descritiva. É propenso a alucinação quando a evidência visual é fraca.
2. Stream de Evidência ($p^{(E)}_t$): Condicionada a uma variante de prompt ($x_{evidence}$) que instrui explicitamente o modelo a confiar estritamente no conteúdo observável da imagem. Este stream suprime inferências especulativas, atuando como uma base conservadora e fundamentada visualmente.

Nota: Ambos os streams utilizam os mesmos parâmetros subjacentes do VLM; a diferença surge exclusivamente dos prompts de condicionamento.

B. Gating Contrastivo Consciente de Divergência

A inovação central é um mecanismo de fusão adaptativa que equilibra esses dois streams com base em seu desacordo.

• Fusão Geométrica: A distribuição de probabilidade final $p^{(IECD2)}_t$ é uma média geométrica dos dois streams:
  $$p^{(IECD2)}_t(v) \propto (p^{(I)}_t(v))^{g_t} \cdot (p^{(E)}_t(v))^{1-g_t}$$
  onde $g_t \in [0, 1]$ é um coeficiente de gating.
• Divergência KL Simétrica: O gate $g_t$ é determinado pela divergência simétrica de Kullback-Leibler (KL) ($D_t$) entre os dois streams:
  $$D_t = KL(p^{(I)}_t || p^{(E)}_t) + KL(p^{(E)}_t || p^{(I)}_t)$$
• Lógica Adaptativa:
  • Baixa Divergência ($D_t \approx 0$): Os streams concordam. O gate permite que o Stream de Instrução tenha maior influência, preservando fluência linguística e poder descritivo.
  • Alta Divergência ($D_t \gg 0$): Os streams discordam (indicando que o stream de instrução provavelmente está alucinando). O gate ($g_t$) cai abruptamente em direção a 0, suprimindo o stream de instrução e forçando o modelo a confiar no Stream de Evidência para prevenir alucinação.

3. Contribuições Principais

1. Framework Dual-Stream: Introdução do IECD2, que mantém explicitamente distribuições de tokens paralelas orientadas a instruções e fundamentadas em evidências durante toda a geração, sem retreinamento.
2. Gating Baseado em Divergência: Um mecanismo novel que usa divergência KL simétrica para resolver dinamicamente conflitos entre priors linguísticos e evidência visual, suprimindo seletivamente tokens propensos a alucinação enquanto retém conteúdo informativo.
3. Avaliação Abrangente: Experimentos extensivos em diversas tarefas (VQA, Legendagem, Detecção de Objetos) e conjuntos de dados (POPE, MME, VQAv2, AMBER, MS-COCO, LLaVA-Bench) demonstrando melhorias consistentes.

4. Resultados Experimentais

Os autores avaliaram o IECD2 no LLaVA-1.5-7B e no InstructBLIP em múltiplos benchmarks.

• Redução de Alucinação:
  • Legendagem MSCOCO: O IECD2 reduziu CHAIRs (alucinação ao nível de frase) em 85,2% para o LLaVA-1.5 e 98,8% para o InstructBLIP em comparação com a decodificação padrão. Superou bases fortes como IFCD, CATCH e Octopus.
  • Tarefa Generativa AMBER: Alcançou reduções massivas na taxa de Alucinação (Hal) e Alucinação Cognitiva (Cog), por exemplo, reduzindo Cog de 31,0 para 0,4 para o LLaVA-1.5.
• Precisão da Tarefa e Fundamentação:
  • POPE (Existência de Objetos): Melhorou a precisão em até 5,1% e o F1 em 4,8% sobre a decodificação padrão, mostrando robustez contra vieses de amostragem adversariais e populares.
  • VQAv2: Melhorou a precisão em +7,76% (LLaVA-1.5) e +14,24% (InstructBLIP) mantendo desempenho competitivo.
  • MME: Demonstrou desempenho estável em tarefas de percepção (existência, contagem, cor) e cognição (senso comum, código), provando que o método lida com diversos tipos de alucinação.
• Eficiência:
  • O método é sem treinamento.
  • Os aumentos no tempo de inferência são gerenciáveis (aprox. 2,3s por consulta para tarefas generativas sem cache KV; reduzido para 1,1s com cache KV).

5. Significado e Impacto

• Resolvendo o Trade-off Fluência-Fidelidade: O IECD2 rompe com sucesso o trade-off onde a redução de alucinações geralmente degrada a qualidade da saída. Produz legendas que são tanto descritivas (ricas em linguagem) quanto factualmente precisas (fundamentadas na visão).
• Generalizabilidade: Como uma estratégia de tempo de decodificação, é aplicável a qualquer VLM ajustado para instruções sem exigir atualizações de parâmetros ou retreinamento, tornando-o altamente escalável.
• Insight do Mecanismo: O artigo fornece evidência empírica de que a alucinação não é apenas um defeito do modelo, mas um resultado de distribuições de probabilidade conflitantes entre o seguimento de instruções e a fundamentação em evidências. O gate KL simétrico atua efetivamente como um "detector de conflito" para mitigar isso.
• Desempenho State-of-the-Art: Os resultados estabelecem o IECD2 como uma nova abordagem state-of-the-art para raciocínio visão-linguagem fundamentado, superando métodos especializados como VCD, ICD e RBD em tarefas tanto discriminativas quanto generativas.