Resumo Técnico: VADER – Debiasing Adaptativo para Mitigação de Alucinações em Modelos de Linguagem de Grande Escala para Vídeo

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala para Vídeo (VideoLLMs) alcançaram um sucesso significativo em tarefas de compreensão de vídeo de código aberto, como sumarização de eventos e raciocínio temporal. No entanto, esses modelos permanecem propensos a alucinações, gerando respostas linguisticamente fluentes que carecem de suporte de evidências reais do vídeo. Esses erros são particularmente prevalentes em reconhecimento de ações, ordenação de eventos, relações causais e consistência temporal.

As estratégias existentes de mitigação de alucinação enfrentam duas limitações primárias quando aplicadas a vídeo:

1. Métodos baseados em treinamento: exigem retreinamento custoso, supervisão adicional ou modelagem de recompensa.
2. Métodos sem treinamento (training-free): frequentemente dependem de intervenções visuais globalmente fixas ou perturbações de entrada (ex: ruído, queda de frames). Essas abordagens não conseguem lidar com os desafios específicos de vídeo:
   • Intervenção Estática: Um intervalo de camadas e uma força fixos não podem acomodar as profundidades dependentes do vídeo nas quais a evidência visual compete com os prompts do sistema e o histórico de texto.
   • Evidência Contrastiva Inadequada: Perturbações grosseiras de entrada podem deixar a evidência recuperável através de frames vizinhos redundantes, ou interrompem as dependências temporais necessárias para um raciocínio consistente.

O desafio central é melhorar o embasamento (grounding) de vídeo durante a decodificação sem retreinar o modelo, abordando simultaneamente a natureza única de redundância e dependência temporal dos dados de vídeo.

2. Metodologia

Os autores propõem o VADER (Video-Adaptive Debiasing via Evidence Reweighting), um framework sem treinamento que opera por meio de um design de dois ramos para calibrar o embasamento de evidências e suprimir previsões enviesadas por priors. O framework consiste em dois módulos complementares e um mecanismo de fusão:

2.1 Realocação de Foco Visual (VFR)

O VFR trata o realce visual como uma política automatizada e condicionada ao vídeo, em vez de uma configuração fixa. Ele determina dinamicamente onde (quais camadas) e com que intensidade intervir para cada entrada específica de vídeo-pergunta.

• Diagnóstico: Antes da geração, o VFR realiza uma passagem direta (forward pass) diagnóstica usando a entrada de vídeo-pergunta para calcular uma perda diagnóstica ($L_{diag}$) baseada na previsão inicial do modelo. Ele calcula a saliência de atenção combinando a massa de atenção com sua sensibilidade de primeira ordem a esta perda.
• Derivação de Política: Ele mede o fluxo de saliência cross-modal (fluxo visual-para-texto) através das camadas do decodificador. As $K$ camadas superiores com o maior fluxo normalizado são selecionadas como pontos de intervenção ($L_{sel}$).
• Reponderação Adaptativa: A força da intervenção ($a$) é derivada do fluxo de saliência agregado das camadas selecionadas usando um mapeamento logarítmico. O VFR então aplica uma reponderação multiplicativa aos escores de atenção pré-softmax:
  • Tokens do sistema são suprimidos por um fator de $\gamma_{sup} = 1 - a$.
  • Tokens de vídeo são realçados por um fator de $\gamma_{enh} = 1 + a$.
    Isso realoca a atenção para a evidência de vídeo especificamente onde o modelo depende dela para a entrada atual.

2.2 Apagamento Seletivo de Evidências (SEE)

Para construir um ramo de "viés de prior" robusto que não possa ser facilmente compensado pela redundância temporal, o SEE opera dentro do decodificador em uma base por frame.

• Mecanismo: Em vez de descartar frames ou mascarar tokens de entrada (que podem ser recuperados de vizinhos), o SEE identifica tokens visuais de alta importância dentro de cada frame com base em seus escores de atenção em relação à posição de decodificação atual.
• Apagamento: Ele retém apenas os tokens de menor pontuação (fundo/contexto fraco) e mascara os tokens de alta pontuação (discriminativos) definindo seus escores de atenção como $-\infty$ em uma camada de inserção fixa ($l^*$).
• Resultado: Isso cria um ramo negativo ($z_{prior}$) que reflete as previsões impulsionadas por priors de linguagem e contexto de fundo, removendo efetivamente a evidência visual específica que suporta a resposta, enquanto preserva a estrutura temporal.

2.3 Supressão Contrastiva Temporal Conjunta

O framework funde as saídas dos dois ramos:

• Ramo Embasado ($z_{gnd}$): Produzido pelo VFR, maximizando o uso da evidência de vídeo.
• Ramo Enviesado por Prior ($z_{prior}$): Produzido pelo SEE, refletindo previsões impulsionadas por priors de linguagem.
• Fusão: Os logits finais ($\bar{z}$) são computados como $\bar{z} = (1 + \lambda)z_{gnd} - \lambda z_{prior}$. Se um token é altamente confiante em ambos os ramos, é provavelmente um prior de linguagem e é suprimido. Se for confiante apenas no ramo embasado, é preservado ou amplificado.

3. Principais Contribuições

1. Framework VADER: Um framework sem treinamento e de dois ramos para mitigar alucinações em VideoLLMs que calibra o embasamento de evidências sem atualizações de parâmetros.
2. VFR (Realocação de Foco Visual): Um mecanismo inovador que formula o realce visual como uma política de intervenção condicionada ao vídeo, selecionando automaticamente camadas de intervenção e força de resposta com base no fluxo visual-para-texto específico da entrada.
3. SEE (Apagamento Seletivo de Evidências): Uma técnica de apagamento interna do decodificador, por frame, que mascara tokens visuais de alta importância para construir um ramo enviesado por prior resistente à compensação entre frames.
4. Desempenho: O método alcança melhorias significativas em benchmarks de alucinação de nível de evento, especificamente atingindo 72,60% de precisão no EventHallusion usando LLaVA-Video-7B, superando métodos baseados em treinamento como TPO e RRPO.

4. Resultados Experimentais

Os autores avaliaram o VADER em três benchmarks de alucinação de vídeo (VidHalluc, VideoHallucer, EventHallusion) e três benchmarks de compreensão de vídeo geral (MVBench, VideoMME, TVBench) em três backbones (LLaVA-OneVision-7B, LLaVA-NeXT-Video-7B, Qwen3-VL-8B).

• Mitigação de Alucinação: O VADER gerou ganhos substanciais, particularmente no EventHallusion (melhorando o LLaVA-Video-7B de 63,57% para 72,60%) e no VideoHallucer. Superou baselines representativos sem treinamento (TCD, DINO-HEAL) e até superou métodos baseados em treinamento (TPO, RRPO) no EventHallusion sem qualquer retreinamento.
• Compreensão Geral: Ao contrário de algumas intervenções que degradam o desempenho geral, o VADER manteve ou melhorou ligeiramente as pontuações em benchmarks de compreensão de vídeo geral (ex: +1,5 pontos na média do LLaVA-Video-7B), indicando que melhora a fidelidade sem sacrificar a percepção ou o raciocínio amplo.
• Estudos de Ablação:
  • Remover a política adaptativa (usando camadas fixas) resultou em menores ganhos, confirmando o valor da seleção condicionada ao vídeo.
  • Remover o SEE (apenas VFR) ou o VFR (apenas SEE) resultou em desempenho inferior ao do modelo completo, demonstrando a complementaridade da realocação de evidência e da construção do ramo enviesado por prior.
  • A análise de sensibilidade mostrou que razões de retenção moderadas para o SEE (mantendo ~30% dos tokens) produzem resultados ideais, equilibrando a remoção de evidência com a preservação do contexto.

5. Significância e Alegações

O artigo afirma que o VADER aborda uma lacuna crítica na implementação de VideoLLMs: a capacidade de mitigar alucinações de maneira plug-and-play sem o custo de retreinamento. Ao se afastar de intervenções estáticas e globais para políticas adaptativas e específicas de entrada, o VADER lida efetivamente com a natureza complexa, redundante e temporalmente dependente dos dados de vídeo.

Os autores enfatizam que sua abordagem não apenas "corrige" erros, mas altera fundamentalmente a dinâmica de decodificação para distinguir entre previsões embasadas em evidências e alucinações impulsionadas por priors de linguagem. Os resultados sugerem que a mitigação eficaz de alucinações em vídeo requer não apenas uma atenção visual mais forte, mas também um mecanismo para expor e suprimir explicitamente previsões que dependem de priors quando a evidência visual é removida.

Limitações: Os autores reconhecem que o VADER incorre em overhead adicional de computação e memória durante a inferência devido à seleção de camadas baseada em gradiente e às passagens forward múltiplas, sugerindo a estimativa de saliência eficiente como uma direção futura.