Resumo Técnico: VidHal - Benchmarking de Alucinações Temporais em Modelos de Linguagem Visuais (VLLMs)

1. O Problema

Os Modelos de Linguagem Visuais (VLLMs) têm demonstrado capacidades impressionantes na compreensão de imagens e vídeos. No entanto, eles são notoriamente propensos a alucinações, onde as respostas geradas parecem plausíveis, mas contradizem o contexto visual.

A literatura existente foca predominantemente em alucinações baseadas em imagens estáticas (objetos, atributos). As alucinações em vídeos apresentam desafios únicos devido à rica dinâmica espaciotemporal. Especificamente, os modelos falham em capturar nuances temporais como:

• Direção de movimento.
• Ordem cronológica de eventos.
• Mudanças de estado ao longo do tempo.

As métricas atuais de avaliação (baseadas em perguntas binárias ou pares de "positivo/alucinação") são insuficientes para capturar erros sutis e graduais nessas dimensões temporais, limitando a compreensão real das capacidades dos VLLMs.

2. Metodologia e Construção do Dataset (VidHal)

Para preencher essa lacuna, os autores introduzem o VidHal, um benchmark projetado especificamente para avaliar alucinações baseadas em vídeo.

2.1. Seleção de Aspectos Temporais

O dataset cobre cinco aspectos temporais fundamentais, divididos em dois níveis semânticos:

1. Semântica Lexical (L-Sem): Erros na interpretação de palavras relacionadas a características temporais.
   • Atributo: Tamanho, forma, cor, contagem e mudança de estado.
   • Objeto: Reconhecimento de objetos e classificação de interações.
   • Ação: Movimentos e comportamentos.
   • Direção: Orientação e trajetória de movimento.
2. Semântica de Cláusula (C-Sem): Erros na descrição de eventos e suas sequências.
   • Ordem de Eventos: A sequência cronológica correta dos eventos no vídeo.

2.2. Geração de Legendas (Captions)

Diferente de benchmarks anteriores que usam apenas uma legenda correta e uma incorreta, o VidHal utiliza uma abordagem de nível de alucinação:

• Legenda Âncora (Positiva): Gerada automaticamente a partir de metadados do vídeo usando o GPT-4o.
• Legendas Alucinatórias: Para cada vídeo, são geradas múltiplas legendas com níveis variados de alucinação (moderada e alta).
  • Alucinação Moderada: Descreve um evento diferente, mas plausível no contexto.
  • Alucinação Alta: Descreve um evento realista, mas altamente improvável ou inconsistente com o contexto original.
• Validação Humana: Um processo rigoroso de validação humana (com 87% de concordância) garante que a ordem das legendas (da mais precisa à mais alucinatória) esteja correta.

2.3. Tarefas de Avaliação Propostas

Para superar as limitações das métricas binárias, o VidHal propõe duas tarefas:

1. Resposta a Perguntas de Múltipla Escolha (MCQA): O modelo deve selecionar a legenda mais precisa entre as opções.
2. Ordenação de Legendas (Caption Ordering): Uma tarefa inovadora onde o modelo deve classificar as legendas fornecidas do nível de alucinação mais baixo (mais preciso) para o mais alto.
   • Inclui uma sub-tarefa de Ordenação Relativa (comparação par a par) para evitar inconsistências transitivas e testar a capacidade de discriminação fina do modelo.

2.4. Métricas

• Precisão (Accuracy): Para a tarefa MCQA.
• NDCG (Normalized Discounted Cumulative Gain): Adaptado da área de recuperação de informação para a tarefa de ordenação. O NDCG concede crédito parcial por pares de legendas ordenados corretamente, permitindo medir a discriminação entre níveis sutis de alucinação, não apenas entre "certo" e "errado".

3. Resultados Experimentais

Os autores avaliaram 23 VLLMs (10 open-source e 3 proprietários, incluindo GPT-4o, GPT-4.1, Gemini 2.5, LLaVA-NeXT, VideoLLaMA2, Qwen2.5-VL, etc.) no benchmark VidHal.

3.1. Desempenho Geral

• Limitações Identificadas: Todos os modelos avaliados, incluindo os mais avançados (como Gemini 2.5 Pro e GPT-4.1), apresentam limitações significativas na discriminação de nuances temporais.
• Desempenho por Aspecto: Os modelos tendem a performar melhor em aspectos baseados em imagens estáticas (Ação e Objeto), onde há forte dependência de priores de imagens. No entanto, há uma queda drástica de desempenho em aspectos puramente temporais, como Direção e Ordem de Eventos.
• Escala de Parâmetros vs. Desempenho: Aumentar o tamanho do modelo nem sempre resulta em menos alucinações temporais. Em alguns casos, modelos menores (ex: 7B) performaram melhor que suas contrapartes maiores dentro da mesma família, sugerindo que a arquitetura e o treinamento específico são mais críticos que a simples escala.

3.2. Análise de Falhas (Ablation Studies)

• Sensibilidade à Diferenciação: Os modelos conseguem distinguir facilmente legendas totalmente corretas de alucinações graves, mas falham consistentemente ao diferenciar entre alucinações moderadas e a legenda correta, ou entre dois níveis de alucinação moderada.
• Dependência de Priores de Imagem: Experimentos mostrando que, ao substituir o vídeo completo por um único quadro (frame) saliente, o desempenho dos modelos não cai drasticamente (especialmente em modelos menores). Isso indica que os modelos dependem excessivamente de informações espaciais estáticas e falham em utilizar o contexto temporal completo do vídeo.
• Robustez da Tarefa Relativa: A tarefa de ordenação relativa demonstrou ser robusta contra preferências cíclicas (inconsistências lógicas) e eliciou respostas mais precisas do que a ordenação direta (naive), especialmente em modelos mais fracos.

4. Contribuições Principais

1. VidHal Dataset: Um novo benchmark com 1.000 instâncias de vídeo cobrindo cinco aspectos temporais, com legendas anótadas em múltiplos níveis de severidade de alucinação.
2. Nova Tarefa de Avaliação: Introdução da tarefa de Ordenação de Legendas e da métrica NDCG adaptada, permitindo uma avaliação granular de alucinações sutis, superando as limitações das métricas binárias anteriores.
3. Análise Abrangente: Uma avaliação extensiva de 23 modelos que revela a fragilidade atual dos VLLMs no raciocínio temporal fino e identifica a dependência excessiva de priores de imagem como uma causa raiz do problema.

5. Significância e Impacto

O trabalho VidHal é fundamental para o avanço da área de VLLMs por:

• Expor uma lacuna crítica: Demonstra que, embora os modelos sejam bons em "ver" objetos, eles ainda têm dificuldade em "entender" o tempo e a sequência de eventos em vídeos.
• Fornecer uma ferramenta de diagnóstico: A tarefa de ordenação e as métricas propostas permitem que pesquisadores identifiquem não apenas se um modelo alucina, mas quão bem ele consegue distinguir entre diferentes graus de erro, o que é crucial para aplicações de segurança e precisão.
• Guiar futuras pesquisas: Os resultados sugerem que o foco deve mudar para o desenvolvimento de arquiteturas que integrem melhor o contexto temporal e reduzam a dependência de priores de imagens estáticas, além de sugerir a necessidade de pré-treinamento com características temporais mais diversificadas.

O dataset e o código de avaliação estão disponíveis publicamente, incentivando a comunidade a desenvolver modelos mais robustos para a compreensão de vídeo.