A Benchmarking Methodology to Assess Open-Source Video Large Language Models in Automatic Captioning of News Videos

Título: Una Metodología de Benchmarking para Evaluar Modelos de Lenguaje Grande de Video (VidLLM) de Código Abierto en la Subtitulación Automática de Videos de Noticias

1. Planteamiento del Problema

La generación de descripciones textuales para videos de noticias (subtitulación automática o Video-to-Caption) sigue siendo un proceso mayoritariamente manual en la industria televisiva y de streaming, lo que limita la indexación y recuperación eficiente de contenidos. Aunque los Modelos de Lenguaje Grande de Video (VidLLM) ofrecen potencial para automatizar esta tarea, existe una carencia crítica de evaluaciones exhaustivas y justas en el dominio específico de las noticias.

El problema central radica en que las métricas de evaluación estándar (como METEOR, ROUGE-L o BERTScore) presentan limitaciones severas en este contexto:

• Dependencia de la forma superficial: Penalizan descripciones que son semánticamente correctas pero que no coinciden palabra por palabra con las referencias editoriales.
• Insensibilidad a marcos estáticos: No capturan bien la dinámica de noticias donde los reporteros hablan frente a la cámara.
• Inflación por palabras funcionales: Métricas como BERTScore tienden a inflar puntuaciones debido a la alta superposición de artículos y preposiciones en textos coherentes, sin medir la precisión de los hechos.

2. Metodología

Los autores proponen un estudio comparativo riguroso que abarca tres ejes principales:

A. Conjuntos de Datos (Benchmarks):
Se introdujeron dos corpus complementarios para evaluar modelos en entornos no controlados:

1. C13 (ChTv): Un corpus de televisión chilena con ~1,345 clips extraídos de programas matutinos y noticieros. Incluye anotaciones manuales y descriptores temáticos en español.
2. BBC News: Un corpus internacional de 9,838 clips de noticias de la BBC, con descripciones editoriales en inglés.
   Ambos datasets incluyen metadatos como duración, título y descripciones textuales de referencia.

B. Modelos Evaluados:
Se compararon ocho modelos de VidLLM de código abierto de última generación (lanzados entre 2024-2025):

• Gemma 3, Vript, InternVL 3.5, Video-LLaMA 2, Video-LLaMA 3, LLaVA-NeXT-Video, LLaVA-OneVision y Qwen-VL.
• Se evaluaron arquitecturas diversas, desde modelos que integran solo visión y lenguaje hasta aquellos que incorporan audio (como Video-LLaMA).

C. Métricas de Evaluación:
Se utilizó un enfoque multifacético combinando métricas tradicionales y dos nuevas métricas de fidelidad propuestas en el trabajo:

• Métricas Léxicas y Semánticas: METEOR, ROUGE-L, BERTScore, CLIPScore, Similitud de Texto y Recíproco Medio de Rango (MRR).
• Nuevas Métricas de Fidelidad:
  • Thematic Fidelity Score (TFS): Evalúa qué tan bien la descripción generada preserva la estructura temática del video original. Utiliza clasificación zero-shot (DeBERTa) para asignar etiquetas temáticas (15 categorías) y calcula el F1-micro.
  • Entity Fidelity Score (EFS): Mide la precisión en la recuperación de entidades nombradas (personas, lugares, organizaciones). Utiliza extracción de entidades (spaCy) y emparejamiento difuso (fuzzy matching) para calcular la precisión y el recuerdo de las entidades.

3. Contribuciones Clave

1. Creación de Benchmarks Especializados: Proposición de dos conjuntos de datos de noticias (ChTv y BBC) anotados con descriptores temáticos y descripciones editoriales, llenando un vacío en la disponibilidad de datos para este dominio.
2. Introducción de Métricas de Fidelidad (TFS y EFS): Desarrollo de métricas específicas para noticias que van más allá de la similitud superficial, evaluando la preservación de la estructura temática y la exactitud factual (entidades nombradas).
3. Análisis Crítico de Métricas Existentes: Demostración empírica de que las métricas estándar tienen un poder discriminatorio limitado en la subtitulación de noticias debido a las diferencias de estilo entre las descripciones generadas y las anotaciones editoriales.

4. Resultados Principales

• Rendimiento General: Gemma 3 demostró ser el modelo más consistente y superior en la mayoría de las dimensiones y en ambos datasets. Logró las puntuaciones más altas en Similitud de Texto, METEOR, CLIPScore y MRR.
• Segundo Lugar: Qwen-VL se posicionó consistentemente como el segundo mejor modelo, destacando especialmente en la recuperación de temas (TFS) en el dataset chileno.
• Limitaciones de Métricas Tradicionales:
  • METEOR y ROUGE-L mostraron puntuaciones muy bajas y poca variabilidad, incapaces de diferenciar la calidad fina entre modelos.
  • BERTScore y CLIPScore sufrieron de un efecto de "techo" (puntuaciones muy altas y agrupadas), limitando su utilidad para distinguir el mejor modelo.
• Análisis de Fidelidad:
  • TFS: Todos los modelos obtuvieron puntuaciones altas (>0.83), indicando que la clasificación temática básica es fácil, pero el rango estrecho limita su poder discriminatorio.
  • EFS: Mostró la mayor diferenciación. Gemma 3 dominó en el dataset BBC (EFS = 0.314), superando ampliamente a otros modelos. En el dataset ChTv, las puntuaciones fueron extremadamente bajas para todos debido a la escasez de entidades nombradas en las anotaciones de referencia (estilo de palabras clave traducidas), lo que subraya la dependencia de la riqueza de los datos de referencia.
• Validación: La prueba de "pares mezclados" (shuffled pairs) confirmó que Gemma 3 genera descripciones semánticamente relevantes para sus videos específicos, mientras que modelos con menor rendimiento tienden a generar descripciones genéricas.

5. Significado e Implicaciones

Este trabajo es fundamental para la industria de medios y la investigación en visión por computadora por varias razones:

• Guía para la Adopción Industrial: Proporciona a las cadenas de televisión y plataformas de streaming una base objetiva para seleccionar modelos de IA que automaticen la indexación de noticias, identificando a Gemma 3 como la opción más robusta actual.
• Avance en Evaluación: Cambia el paradigma de evaluación en la subtitulación de video, alejándose de la coincidencia exacta de texto hacia métricas que miden la fidelidad temática y factual. Esto es crucial para aplicaciones donde la precisión de los hechos (nombres, eventos) es vital.
• Identificación de Brechas: Revela que, aunque los modelos son buenos capturando el tema general, aún luchan con la recuperación precisa de entidades nombradas, especialmente cuando las referencias de entrenamiento o evaluación son pobres en datos estructurados.
• Futuro de la Investigación: Sugiere la necesidad de crear anotaciones de referencia más ricas (que combinen narrativa visual y contexto editorial) y la posibilidad de enfoques híbridos o de ensamble para combinar las fortalezas de diferentes modelos (ej. la comprensión temática de Gemma 3 con la alineación visual de LLaVA-OneVision).

En conclusión, el estudio establece un nuevo estándar para la evaluación de VidLLMs en noticias, demostrando que la automatización efectiva requiere métricas que valoren la precisión semántica y factual, no solo la similitud léxica.