Resumo Técnico: HAVEN – Benchmark Multimodal Hierarquicamente Alinhado para Compreensão Unificada de Vídeo

Declaração do Problema

Embora os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) tenham demonstrado desempenho robusto em tarefas padrão de vídeo, como sumarização, legendagem e resposta a perguntas, sua capacidade de sumarizar fielmente e raciocinar sobre narrativas complexas permanece mal avaliada. Os benchmarks atuais de vídeo sofrem de duas limitações sistêmicas:

1. Supervisão Fragmentada: A maioria dos conjuntos de dados existentes opera em uma única granularidade temporal (por exemplo, quadros-chave, clipes ou resumos em nível de vídeo), ignorando a estrutura inerentemente hierárquica dos vídeos do mundo real, onde quadros constroem tomadas e tomadas constroem narrativas coerentes.
2. Falta de Ancoragem Precisa entre Modalidades: As anotações de texto estão tipicamente fracamente alinhadas com o conteúdo visual. Isso permite que os modelos tenham sucesso explorando priores linguísticos sem localizar ou raciocinar com precisão sobre evidências visuais relevantes.

Consequentemente, os protocolos de avaliação atuais superestimam sistematicamente as capacidades dos MLLMs, criando uma "ilusão de capacidade" onde os modelos produzem texto fluente, mas falham em fundamentar suas saídas em evidências visuais corretas.

Metodologia: O Benchmark HAVEN

Para abordar essas lacunas, os autores introduzem o HAVEN (Benchmark multimodal Hierarquicamente Alinhado para Compreensão Unificada de Vídeo), um conjunto de dados e framework de avaliação construído sobre dois princípios centrais: Completude hierárquica e Continuidade entre modalidades.

Construção do Conjunto de Dados

O HAVEN é construído estendendo seis conjuntos de dados existentes de sumarização de vídeo (SumMe, TVSum, OVP, YouTube, VideoXum e MR.HiSum). O processo de construção envolve:

• Anotação Hierárquica: Cada instância de vídeo é anotada em três níveis:
  • Nível de Quadro: Quadros amostrados uniformemente (média de 164,9 por vídeo) pareados com descrições textuais geradas por LLM ($D_V$) e quadros-chave anotados por humanos ($V_{key}$).
  • Nível de Tomada: Quadros são particionados em tomadas temporalmente coerentes ($H$) usando Segmentação Temporal por Kernel (KTS). Cada tomada possui uma descrição gerada por LLM ($D_H$) e tomadas-chave anotadas por humanos ($H_{key}$).
  • Nível de Vídeo: Um documento global ($T$) e um resumo conciso ($S$) são gerados agregando descrições em nível de tomada, com alinhamentos explícitos de sentença para tomada.
• Alinhamento: O conjunto de dados apresenta alinhamento explícito e contínuo entre conteúdo visual e descrições textuais em todos os níveis, garantindo que a linguagem seja fundamentada em evidências localizadas temporalmente.
• Controle de Qualidade: A avaliação humana em 15 vídeos amostrados confirmou altas pontuações para precisão, informatividade e completude em todos os níveis de anotação.

Suite de Avaliação

O HAVEN define uma suite unificada de quatro famílias de tarefas para avaliar diferentes aspectos da compreensão de vídeo:

1. Sumarização Multimodal: Inclui Vídeo-para-Texto (V2T), Seleção de Quadro-Chave (V2V) e Sumarização Conjunta Vídeo-Texto (V2VT).
2. Compreensão Temporal: Exige que os modelos recuperem a ordem cronológica de tomadas de vídeo embaralhadas, com e sem contexto em nível de documento.
3. Ancoragem Multimodal: Exige que os modelos alinhem sentenças de resumo embaralhadas com suas tomadas visuais correspondentes.
4. Classificação de Salência: Exige que os modelos classifiquem tomadas de vídeo por importância, com e sem contexto de documento.

Contribuições Principais

1. Conjunto de Dados Novel: O HAVEN pioneira um framework totalmente granular (quadro, tomada, vídeo) e totalmente multimodal com alinhamento explícito e contínuo entre modalidades, derivado de conjuntos de dados existentes de alta qualidade anotados por humanos.
2. Framework de Teste Rigoroso: Os autores estabelecem uma avaliação multifacetada cobrindo quatro dimensões centrais (sumarização, ancoragem, raciocínio temporal e saliência), permitindo análise controlada do comportamento do modelo em diferentes níveis de abstração.
3. Análise Empírica: O artigo fornece uma análise extensa dos MLLMs mais avançados, expondo uma discrepância severa entre a fluência textual superficial e a verdadeira ancoragem multimodal.

Resultados Experimentais

Os autores avaliaram vários MLLMs comerciais e de código aberto (incluindo GPT-5.2, Qwen3-VL, VideoLLaMA3 e InternVideo2.5) em um cenário zero-shot. As principais descobertas incluem:

• A "Ilusão de Capacidade": Os modelos produzem consistentemente resumos textuais fluentes, mas frequentemente falham em fundamentar essas saídas na evidência visual correta. Pontuações altas na geração de texto não correlacionam com compreensão visual precisa.
• Sensibilidade à Tarefa: O desempenho do modelo é altamente sensível à formulação da tarefa. Por exemplo, modelos fortes em sumarização V2T frequentemente caem significativamente em tarefas de seleção de quadro-chave (V2V) e ancoragem multimodal.
• Limitações da Geração Conjunta: A geração conjunta multimodal (V2VT) não melhora consistentemente o alinhamento entre saídas textuais e visuais em comparação com a geração independente. Em alguns casos, leva a um trade-off onde a qualidade do texto melhora à custa da precisão na seleção visual.
• Baselines de Proxy de Texto: Surpreendentemente, baselines apenas de texto (usando descrições de quadros) frequentemente superam modelos multimodais em tarefas de ancoragem e raciocínio temporal, sugerindo que os MLLMs atuais lutam para estabelecer correspondências semânticas precisas entre modalidades, apesar de terem acesso a dados visuais.
• Saliência vs. Sumarização: Há uma lacuna clara entre o desempenho na sumarização e na classificação de saliência. Um desempenho forte em sumarização não implica compreensão precisa da saliência, indicando que a sumarização depende de uma noção mais holística de importância, enquanto a classificação de saliência requer modelagem visual explícita.

Significado e Alegações

O artigo alega que o HAVEN avança a avaliação de sistemas multimodais além dos formatos tradicionais de Perguntas e Respostas (QA). Ao oferecer um campo de testes rigoroso e padronizado com alinhamento hierárquico explícito, o HAVEN visa:

• Revelar as limitações dos MLLMs atuais que são mascaradas por protocolos de avaliação grosseiros ou fracamente fundamentados.
• Impulsionar pesquisas futuras rumo a uma compreensão de vídeo hierárquica e interpretável, onde os modelos possam efetivamente fundamentar, alinhar e raciocinar sobre informações textuais e visuais de maneira unificada.
• Fornecer um recurso para o desenvolvimento de modelos que vão além da geração de linguagem "plausível" para uma compreensão multimodal genuína.

Os autores reconhecem limitações, observando que o benchmark herda vieses dos conjuntos de dados de origem, omite atualmente modalidades de áudio e foca em vídeos relativamente curtos, deixando a compreensão de vídeos de longa duração e a integração multimodal (incluindo áudio) como direções para trabalhos futuros.