QEVA: A Reference-Free Evaluation Metric for Narrative Video Summarization with Multimodal Question Answering

1. Declaração do Problema

A sumarização de vídeo para texto avançou significativamente com o surgimento de Modelos Multimodais Grandes de Vídeo (Video-LMMs), no entanto, o campo carece de métodos de avaliação robustos e escaláveis. As abordagens de avaliação atuais sofrem com duas limitações principais:

• Dependência de Resumos de Referência: Métricas tradicionais (por exemplo, ROUGE, BLEU, METEOR) e juízes baseados em LLMs recentes dependem de resumos de referência escritos por humanos. A obtenção dessas referências é custosa, demorada e frequentemente carece da granularidade para capturar detalhes semânticos sutis.
• Lacuna de Modalidade: Métodos "livres de referência" existentes frequentemente tentam comparar resumos de texto diretamente com embeddings de vídeo (por exemplo, CLIPScore) ou dependem de comparações simples entre textos. Estes falham em capturar a natureza espaço-temporal dos vídeos, levando a uma baixa sensibilidade quanto à fidelidade cronológica (ordem dos eventos) e precisão factual.

Há uma necessidade urgente de um paradigma de avaliação livre de referência que possa avaliar diretamente um resumo gerado contra o vídeo de origem sem referências humanas.

2. Metodologia: QEVA

Os autores propõem o QEVA (Métrica de Avaliação baseada em Resposta a Perguntas para Sumarização de Vídeo), um framework livre de referência que avalia resumos testando sua capacidade de servir como substituto do vídeo original. O princípio central é que um resumo de alta qualidade deve permitir que um modelo responda corretamente a perguntas derivadas do vídeo de origem.

A. Três Dimensões de Avaliação

O QEVA decompõe a qualidade do resumo de vídeo em três critérios distintos e complementares:

1. Cobertura: O resumo captura de forma abrangente o conteúdo essencial, eventos-chave e temas?
2. Facticidade: Os detalhes no resumo são precisos e livres de alucinações em relação ao vídeo?
3. Cronologia: O resumo preserva a ordem temporal correta dos eventos (incluindo o tratamento de flashbacks/flash-forwards)?

B. O Pipeline de QA Multimodal

O QEVA emprega um pipeline colaborativo usando Video-LMMs e LLMs para gerar e avaliar pares de Pergunta-Resposta (QA):

1. Geração de Perguntas:
   • Cobertura: Um Video-LMM analisa o vídeo de origem para gerar perguntas de alto nível, baseadas em inferência (evitando fatos triviais) para testar se o resumo cobre a narrativa principal.
   • Facticidade: Um LLM extrai entidades, ações e atributos do resumo candidato e gera perguntas factuais direcionadas.
   • Cronologia: Um Video-LMM extrai uma sequência de eventos-chave do vídeo. O sistema então gera perguntas testando a ordem desses eventos (por exemplo, "O evento A aconteceu antes do B?").
2. Filtragem de Perguntas (Duas Etapas):
   • Filtragem de Trivialidades: Perguntas são descartadas se um modelo alternativo puder respondê-las corretamente sem qualquer contexto (garantindo que a pergunta exija o conteúdo específico do vídeo/resumo).
   • Filtragem de Baixa Qualidade: Perguntas são descartadas se o modelo não puder respondê-las mesmo com o contexto correto (garantindo que a pergunta seja inequívoca).
3. Pontuação:
   • Pontuações de Cobertura e Cronologia: Calculadas como a proporção de perguntas respondidas corretamente usando o resumo candidato como contexto.
   • Pontuação de Facticidade: Calculada como a proporção de perguntas confirmadas como precisas usando o vídeo de origem como contexto.
   • Pontuação Final: A média aritmética das três pontuações componentes (escala de 0 a 1).

3. Contribuições Principais

• Métrica QEVA: A primeira métrica de avaliação totalmente livre de referência especificamente projetada para sumarização de vídeo narrativa, utilizando QA multimodal para avaliar Cobertura, Facticidade e Cronologia.
• Benchmark MLVU(VS)-Eval: Um novo conjunto de dados anotado derivado do conjunto de dados MLVU, contendo:
  • 200 vídeos com resumos de referência escritos por humanos.
  • 800 resumos candidatos gerados por Video-LMMs de última geração (GPT-4o, QwenVL, InternVL, Video-LLaVA).
  • Anotações humanas de alta qualidade para as três dimensões do QEVA (Acordo inter-avaliador $\alpha = 0,68$).
• Framework Sistemático: Uma abordagem estruturada que vai além da similaridade superficial de texto para uma compreensão semântica e temporal profunda do conteúdo de vídeo.

4. Resultados Experimentais

Os autores avaliaram o QEVA contra métricas existentes (baseadas em regras, baseadas em similaridade e baseadas em LLM) no benchmark MLVU(VS)-Eval.

• Correlação com Julgamento Humano: O QEVA alcançou a maior correlação com julgamentos humanos em todas as métricas (Kendall's $\tau_b$, $\tau_c$ e Spearman's $\rho$).
  • QEVA: $\tau_b \approx 0,6465$, $\rho \approx 0,7326$.
  • Melhor Baseline (Juiz Video-LMM): $\tau_b \approx 0,5376$, $\rho \approx 0,6810$.
  • Métricas Tradicionais (por exemplo, ROUGE-L): Correlações significativamente menores ($\tau_b < 0,11$).
• Robustez: O QEVA manteve correlações positivas fortes em resumos gerados por diversos Video-LMMs (Qwen, InternVL, GPT-4o), enquanto algumas bases mostraram correlações negativas ou instáveis para modelos específicos.
• Estudos de Ablação:
  • O QEVA performou bem em todas as três dimensões individuais (Cobertura, Facticidade, Cronologia), confirmando a necessidade de avaliá-las separadamente.
  • A métrica permaneceu eficaz mesmo ao usar modelos de código aberto (por exemplo, Qwen2.5-VL, LLaMA-3) em vez de modelos baseados em API caros, demonstrando custo-efetividade.

5. Significado e Impacto

• Escalabilidade: Ao eliminar a necessidade de resumos de referência escritos por humanos, o QEVA permite a avaliação de sistemas de sumarização de vídeo em uma escala anteriormente impossível devido aos custos de anotação.
• Profundidade Semântica: Diferentemente de métricas de n-gramas, o QEVA mede explicitamente a fidelidade cronológica e a precisão factual, que são críticas para vídeos narrativos, mas frequentemente ignoradas por benchmarks atuais.
• Pesquisa Futura: A introdução do MLVU(VS)-Eval fornece um framework padronizado e transparente para a comunidade avaliar futuros Video-LMMs, acelerando o desenvolvimento de geração automatizada de conteúdo confiável para plataformas de notícias, educação e mídia.

Limitações Notadas pelos Autores

• Alucinação: O processo de geração de QA depende de LLMs, que podem ocasionalmente alucinar perguntas ou respostas não presentes no vídeo.
• Custo e Velocidade: A dependência de modelos grandes para inferência pode ser computacionalmente cara e lenta para aplicações em tempo real.
• Viés: Há um potencial para viés sutil em direção a resumos gerados por modelos semelhantes ao LLM avaliador.