A Benchmarking Methodology to Assess Open-Source Video Large Language Models in Automatic Captioning of News Videos

Título: Uma Metodologia de Benchmarking para Avaliar Modelos de Linguagem Grande de Vídeo (VidLLMs) de Código Aberto na Legendagem Automática de Vídeos de Notícias

1. Problema e Contexto

A produção de vídeos de notícias é massiva, mas a geração de descrições textuais para indexação e recuperação ainda é predominantemente manual, o que consome tempo e recursos. Embora os Modelos de Linguagem Grande de Vídeo (VidLLMs) tenham o potencial de automatizar essa tarefa, existe uma lacuna significativa na avaliação abrangente desses modelos especificamente no domínio de notícias. Além disso, as métricas de avaliação padrão (como ROUGE e METEOR) mostram-se limitadas nesse contexto devido à dependência de formas superficiais (correspondência exata de palavras), insensibilidade a quadros estáticos e inflação por palavras funcionais, falhando em capturar a fidelidade temática e factual necessária para o jornalismo.

2. Metodologia

Os autores propõem um estudo comparativo abrangente envolvendo oito VidLLMs de última geração e de código aberto: Gemma 3, Vript, InternVL 3.5, Video-LLaMA 2, Video-LLaMA 3, LLaVA-NeXT-Video, LLaVA-OneVision e Qwen-VL.

A avaliação foi conduzida em dois conjuntos de dados complementares:

• C13 (ChTv): Um corpus de notícias da TV chilena com aproximadamente 1.345 clipes, anotado com descrições editoriais e descritores temáticos em espanhol (traduzidos para inglês para avaliação).
• BBC News: Um corpus internacional com 9.838 clipes de notícias da BBC, com descrições editoriais em inglês.

Métricas de Avaliação Utilizadas:

1. Métricas Léxicas e Semânticas Tradicionais: METEOR, ROUGE-L, BERTScore, CLIPScore, Similaridade de Texto (baseada em embeddings de sentenças) e Mean Reciprocal Rank (MRR).
2. Novas Métricas de Fidelidade Propostas:
   • Thematic Fidelity Score (TFS): Avalia quão bem a legenda gerada preserva a estrutura temática do vídeo original. Utiliza classificação zero-shot (DeBERTa) para mapear o texto em 15 categorias temáticas (ex: Política, Economia, Crime) e calcula o F1-score micro.
   • Entity Fidelity Score (EFS): Mede a precisão na cobertura de entidades nomeadas (pessoas, locais, organizações) presentes na descrição de referência. Utiliza extração de entidades (spaCy) e correspondência difusa (fuzzy matching) para calcular a média harmônica de precisão e recall de entidades.

3. Principais Contribuições

1. Criação de Benchmarks: Introdução de dois conjuntos de dados de notícias (ChTv e BBC) com anotações editoriais reais, permitindo a avaliação em diferentes escalas e estilos editoriais.
2. Análise Crítica de Métricas: Demonstração de que métricas padrão (ROUGE, METEOR, CLIPScore) possuem poder discriminativo limitado para legendagem de notícias, frequentemente falhando em diferenciar a qualidade dos modelos devido à natureza abstrata das descrições jornalísticas.
3. Novas Métricas de Fidelidade: Proposição do TFS e EFS para avaliar especificamente a preservação da estrutura temática e a precisão factual (entidades nomeadas), preenchendo lacunas deixadas pelas métricas tradicionais.
4. Validação de Métricas Semânticas: Uso de um teste de "pares embaralhados" (shuffled pairs) para validar que a Similaridade de Texto é capaz de distinguir descrições relevantes de genéricas.

4. Resultados

• Desempenho Geral: O modelo Gemma 3 demonstrou superioridade consistente, alcançando o melhor desempenho global em ambos os conjuntos de dados e na maioria das dimensões de avaliação (Similaridade de Texto, METEOR, CLIPScore e MRR).
• Runner-up: O Qwen-VL posicionou-se consistentemente como o segundo melhor modelo.
• Métricas Tradicionais: As pontuações foram baixas e pouco discriminativas (ex: ROUGE-L < 0,09 no ChTv), confirmando a inadequação dessas métricas para o domínio.
• Fidelidade Temática (TFS): Todos os modelos obtiveram pontuações altas (> 0,83), indicando que a classificação temática básica é fácil, mas a métrica tem um intervalo estreito de diferenciação entre modelos.
• Fidelidade de Entidades (EFS):
  • No conjunto BBC, o Gemma 3 dominou (EFS = 0,314), superando significativamente os outros modelos, demonstrando forte capacidade de reconhecimento e recuperação de entidades nomeadas.
  • No conjunto ChTv, as pontuações foram extremamente baixas para todos os modelos (próximas de zero) devido à natureza das anotações de referência (palavras-chave traduzidas com poucas entidades explícitas), o que limitou a utilidade da métrica nesse dataset específico.
• Análise Qualitativa: Estudos de caso mostraram que modelos como o Gemma 3 conseguem identificar contextos complexos (ex: distinguir uma travessia de migrantes de um passeio turístico) e recuperar nomes específicos (ex: "Malcolm Metcalf"), enquanto modelos mais fracos falhavam em inferir o contexto semântico ou identificar entidades.

5. Significância e Conclusão

Este trabalho estabelece um novo padrão para a avaliação de VidLLMs no domínio de notícias, argumentando que a simples sobreposição de n-gramas ou similaridade semântica geral é insuficiente para aplicações jornalísticas. A introdução das métricas TFS e EFS oferece uma maneira mais robusta de medir a utilidade prática dos modelos para indexação e recuperação de conteúdo.

Os resultados indicam que o Gemma 3 é atualmente o modelo mais equilibrado e eficaz para legendagem automática de notícias, superando concorrentes em alinhamento semântico e precisão factual. O estudo também destaca a importância de usar múltiplas dimensões de avaliação e a necessidade de anotações de referência mais ricas (que combinem narração visual literal com contexto editorial) para futuras pesquisas. As limitações apontadas incluem o viés das anotações editoriais e a dependência da densidade de entidades nos dados de referência para a eficácia da métrica EFS.