💻 computer science

LoVR: A Benchmark for Long Video Retrieval in Multimodal Contexts

Este artículo presenta LoVR, un benchmark a gran escala para la recuperación de video y texto de larga duración que cuenta con más de 40,000 clips de grano fino y subtítulos de alta calidad generados mediante un novedoso proceso de refinamiento basado en VLM, diseñado para superar las limitaciones de los conjuntos de datos existentes y evaluar rigurosamente los modelos avanzados de recuperación multimodal.

Autores originales: Qifeng Cai, Hao Liang, Zhaoyang Han, Hejun Dong, Meiyi Qiang, Ruichuan An, Quanqing Xu, Bin Cui, Wentao Zhang

Publicado 2026-02-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Qifeng Cai, Hao Liang, Zhaoyang Han, Hejun Dong, Meiyi Qiang, Ruichuan An, Quanqing Xu, Bin Cui, Wentao Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de encontrar un momento específico y diminuto dentro de una película de tres horas. Conoces la escena: un personaje lleva una camisa azul, sostiene una taza de café y se ríe de un chiste. Pero la película es tan larga y hay tantas escenas que encontrar ese segundo exacto es como buscar una aguja en un pajar del tamaño de una ciudad.

Este es el problema que el artículo LoVR intenta resolver.

El Problema: La trampa del "video corto"

En la actualidad, la mayoría de los programas informáticos diseñados para buscar videos son como estudiantes que solo han estudiado clips cortos de 15 segundos. Son excelentes para encontrar un gato saltando en un video de 10 segundos, pero si les das un documental de 2 horas, se pierden. No saben cómo navegar por la historia larga o se confunden por la enorme cantidad de información.

Los "test" (benchmarks) existentes para estos programas son como usar un mapa de una sola habitación para navegar por todo un país. Son demasiado cortos, las descripciones son demasiado vagas y no ponen a prueba la capacidad de la computadora para manejar historias largas y complejas.

La Solución: Presentando LoVR

Los autores crearon LoVR (Long Video Retrieval), que es esencialmente un "examen final" masivo y difícil para las computadoras que buscan videos.

La Biblioteca: En lugar de clips cortos, LoVR contiene 467 videos largos (algunos de más de una hora de duración).
Los Detalles: Dentro de estos videos largos, los fragmentaron en 40,804 clips diminutos y específicos.
Las Descripciones: Para cada uno de los clips y para el video completo, escribieron descripciones (leyendas) muy detalladas y de alta calidad.

Piénsalo de esta manera: Si otros tests son como preguntar: "Busca el video con un perro", LoVR pregunta: "Busca el clip exacto de 10 segundos donde el perro con el suéter rojo le ladra a una ardilla mientras está lloviendo".

Cómo lo construyeron: El flujo de trabajo del "Editor Robot"

Escribir descripciones para 40,000 clips a mano le tomaría años a los humanos. Escribirlas con un robot simple resultaría en algo sin sentido. Por ello, los autores construyeron un ingenioso flujo de trabajo de "Editor Robot":

El Primer Borrador (El Robot): Utilizaron una IA superinteligente (un Modelo de Lenguaje-Visión) para observar los clips y escribir el primer borrador de la descripción.
El Control de Calidad (El Calificador): Otra IA actuó como un profesor estricto, calificando la descripción. Si la descripción no coincidía lo suficiente con el video, se devolvía para corregir.
3 La Reescritura (El Editor): Si la calificación era demasiado baja, el sistema lo intentaba de nuevo con un modelo de IA diferente y aún más inteligente.
El Toque Humano (El Corrector Final): Solo si los robots fallaban tres veces, un humano intervenía para escribir la descripción.

Esta mezcla de robots y humanos les permitió crear un conjunto de datos que es masivo en tamaño y extremadamente preciso.

El Desafío de la "Historia Completa"

Una parte complicada de los videos largos es que, si simplemente pegas todas las descripciones diminutas, se lee como una oración rota. Para solucionar esto, los autores enseñaron a la IA a actuar como un novelista. En lugar de solo enumerar eventos, la IA aprendió a mezclar las descripciones de los clips, suavizando las transiciones para que la descripción final de todo el video se lea como una historia coherente y no como una lista de puntos clave.

Los Resultados: Un choque de realidad

Cuando los investigadores probaron las mejores computadoras de búsqueda de video disponibles hoy en día en este nuevo examen de LoVR, los resultados fueron aleccionadores:

La Lucha: Incluso los modelos más inteligentes se perdieron. Podían encontrar el "video" general a veces, pero encontrar el "clip" específico era muy difícil.
El Límite: Resulta que el simple hecho de alimentar a la computadora con más fotogramas (más imágenes por segundo) no ayuda mucho. No se trata de ver más; se trata de comprender la historia larga.
La Brecha: Los mejores modelos todavía estaban lejos de ser perfectos, demostrando que estamos muy lejos de tener una computadora que realmente pueda "ver" y "entender" una película larga de la misma manera que lo hace un humano.

La Conclusión

LoVR es un nuevo estándar más exigente. Es como actualizar un examen de conducir de un estacionamiento a una autopista congestionada durante la hora pico. Nos muestra exactamente dónde está fallando la tecnología actual y les da a los investigadores un objetivo claro hacia el cual apuntar: construir sistemas que puedan comprender verdaderamente historias de video largas y complejas, no solo fragmentos cortos.

Resumen Técnico: LoVR - Un Benchmark para la Recuperación de Videos Largos en Contextos Multimodales

Planteamiento del Problema

La recuperación de video-texto es una tarea crítica en el aprendizaje multimodal y la búsqueda a escala web. Sin embargo, los benchmarks existentes (p. ej., MSR-VTT, DiDeMo, MSVD) están diseñados principalmente para clips de video cortos (duración promedio < 1 minuto) y sufren tres limitaciones clave cuando se aplican a contenido de larga duración del mundo real:

Longitud de Video Limitada: Los conjuntos de datos actuales no logran simular la complejidad de los videos largos (minutos a horas), como conferencias, documentales y transmisiones en vivo.
Baja Calidad de los Subtítulos: Las anotaciones suelen depender de texto generado por máquinas (p. ej., ASR), lo que carece de fidelidad semántica, o de anotación manual, que no es escalable y a menudo carece de especificidad temporal fina.
Falta de Benchmarks a Nivel de Clip: Los benchmarks existentes se centran en la recuperación de videos completos o clips pre-segmentados cortos que no se originan de videos largos continuos, fallando al evaluar la localización temporal fina dentro de contextos temporales densos.

Consecuentmente, existe una necesidad urgente de un benchmark dedicado que aborde simultáneamente la recuperación de videos de larga duración y la localización de clips de grano fino.

Metodología

Construcción del Conjunto de Datos (LoVR)

El benchmark LoVR se construye a partir del conjunto de datos LongVideoBench, filtrado para incluir solo videos que superan los 15 minutos de longitud. El proceso de construcción involucra tres etapas principales:

Segmentación de Clips:
- Los videos largos se segmentan en clips temporalmente contiguos utilizando la detección de cambios de contenido visual (PySceneDetect).
- Se aplica un umbral ( $\tau=34$ ) para detectar cambios de escena. El proceso retiene específicamente clips con alta dinámica de escena mientras preserva segmentos de baja dinámica de escena para asegurar una mezcla de complejidad visual.
- Se filtran los videos que producen menos de 40 clips para asegurar suficiente dinámica visual.
- Resultado: 467 videos largos y 40,804 clips de grano fino.
Pipeline de Generación de Subtítulos:
Para superar la compensación entre la calidad de la anotación y la escalabilidad, los autores proponen un pipeline híbrido "VLM + Humano":
- Subtitulado Automático: Los subtítulos iniciales son generados utilizando el modelo Qwen2.5-VL-7B-Instruct, con instrucciones para describir eventos, escenas, acciones de personajes y estilo visual.
- Evaluación de Calidad: Se utiliza la métrica EVQAScore para calcular una puntuación de coincidencia ( $s_i$ ) entre el clip y el subtítulo generado. Se establece un umbral empírico ( $\theta=0.2$ ) basado en la verificación manual de un subconjunto muestreado; las puntuaciones inferiores a este indican baja calidad.
- Optimización Dinámica: Los subtítulos de baja calidad se regeneran utilizando VLMs más potentes (Qwen2.5-VL-72B-Instruct, Qwen2-VL-72B-Instruct) con configuraciones de temperatura ajustadas. Este proceso iterativo continúa hasta tres veces. Solo si un subtítulo no alcanza el umbral tras tres intentos se invoca la anotación manual.
- Subtitulado de Video Completo: Para generar subtítulos coherentes de videos completos sin exceder los límites de contexto de los LLM, se fusionan los subtítulos de clips adyacentes. El método alinea el último párrafo de un clip con el primer párrafo del siguiente utilizando un LLM para la fusión semántica, en lugar de una simple concatenación.
Evaluación Final de Calidad:
Un estudio de evaluación humana que involucró a 25 participantes calificó 300 clips y 100 videos largos. La puntuación de relevancia promedio fue de 4.3/5, con más del 78% de las muestras con puntuaciones de 4 o 5, validando la efectividad del pipeline.

Configuración Experimental

El benchmark evalúa modelos en dos tareas: Recuperación de Texto-a-Video/Clip y Recuperación de Video/Clip-a-Texto.

Métricas: Recall@K (R@1, R@5, R@10) y Tiempo de Recuperación (con y sin I/O).
Baselines: El estudio evalúa tres categorías de modelos:
- Codificadores de Imagen: CLIP, MetaCLIP, variantes de SigLIP, EVA02-CLIP, PE-Core.
- Codificadores de Video: VideoCLIP-XL, VideoCLIP-XL-v2.
- Modelos de Embedding Multimodal: GME-Qwen2-VL, MM-Embed, LanguageBind-Video.
Variables: Los experimentos analizan el impacto del conteo de muestreo de frames (10, 20, 30 frames) en el rendimiento de la recuperación.

Contribuciones Clave

Benchmark LoVR: La introducción de un nuevo conjunto de datos a gran escala diseñado específicamente para la recuperación de video-texto de larga duración, que comprende 467 videos largos y 40,048 clips de grano fino con subtítulos de alta calidad a múltiples niveles (nivel de clip y nivel de video completo).
Pipeline de Anotación Escalable: Un marco de costo efectivo que integra VLMs con puntuación de calidad automatizada (EVQAScore) y refinamiento iterativo, reduciendo significativamente el trabajo humano manteniendo una alta fidelidad de anotación.
Fusión Semántica para Videos Largos: Un método para generar subtítulos coherentes de videos completos mediante la fusión semántica de descripciones de clips, preservando la información contextual sin perder detalle.
Evaluación Exhaustiva: Experimentos sistemáticos que revelan las limitaciones de los modelos actuales de última generación en escenarios de larga duración, estableciendo un nuevo estándar para evaluar el razonamiento temporal y la alineación transmodal.

Resultados

Experimentos extensos en LoVR revelan desafíos significativos para los modelos de recuperación existentes:

Brechas de Rendimiento: Aunque LanguageBind-Video emergió como el baseline más fuerte (42.6% R@1 para Texto-a-Video, 37.5% R@1 para Video-a-Texto), la mayoría de los modelos tienen dificultades con el contenido de larga duración.
Limitaciones de los Codificadores de Imagen: Los codificadores de imagen puros (p. ej., CLIP) muestran un pobre modelado temporal, logrando solo un ~23% R@1 en la recuperación de texto-a-video.
Rendimiento de los Codificadores de Video: Los codificadores de video dedicados como VideoClip-XL-v2 funcionan bien en la recuperación a nivel de clip (55.3% R@1) pero muestran un rendimiento moderado en la recuperación de video completo (~30% R@1).
Embeddings Multimodales: Modelos como GME-Qwen2-VL y MM-Embed sobresalen en tareas de nivel de clip, pero sufren caídas sustanciales de rendimiento en videos largos, indicando dificultad para generalizar los embeddings entrenados con imágenes a contextos temporales extendidos.
Impacto del Muestreo de Frames: Aumentar el número de frames muestreados (de 10 a 30) produce mejoras marginales o inconsistentes. En algunos casos (p. ej., Texto-a-Clip), menos frames funcionaron mejor, sugiriendo que el muestreo de frames ingenuo introduce ruido en lugar de una señal útil.
Dificultad del Benchmark: Incluso los modelos con mejor desempeño no logran un recall perfecto en K grandes, lo que resalta la dificultad intrínseca del razonamiento temporal de largo alcance y la fundamentación semántica requerida por LoVR.

Significado

El artículo posiciona a LoVR como una evolución necesaria en la investigación de la recuperación de video-texto. Al apuntar explícitamente al contenido de larga duración, LoVR saca a la luz cuellos de botella técnicos en los enfoques actuales, particularmente en lo que respecta a la eficiencia computacional, las señales semánticas dispersas en duraciones largas y la alineación de subtítulos largos y ricos con el contenido visual. Los autores afirman que LoVR proporciona un banco de pruebas riguroso y realista que impulsará el desarrollo de sistemas de recuperación más robustos capaces de manejar las complejidades de la búsqueda de video a escala web en el mundo real. El conjunto de datos y el código se liberan para facilitar la investigación futura en este dominio.