💻 computer science

TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs

TimeLens2 introduce un marco de trabajo generalista de localización temporal de video que aprovecha los LLM multimodales con una novedosa estrategia de supervisión de múltiples segmentos y una recompensa de Wasserstein temporal para lograr un rendimiento de vanguardia en diversos puntos de referencia, superando significativamente tanto a los modelos de referencia del mismo tamaño como a modelos de código abierto mucho más grandes.

Autores originales: Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, Songze Li, Jun Zhang, Tianxiang Jiang, Yuandong Yang, Ziang Yan, Zikang Wang, Xinyu Chen, Haoran Chen, Shaowei Zhang, Limin Wang

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, Songze Li, Jun Zhang, Tianxiang Jiang, Yuandong Yang, Ziang Yan, Zikang Wang, Xinyu Chen, Haoran Chen, Shaowei Zhang, Limin Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot superinteligente que puede ver cualquier video del mundo y describir exactamente lo que está sucediendo. Es como tener un narrador personal que nunca pierde un detalle. Pero aquí está el truco: si le preguntas, "¿Cuándo atrapa el perro el frisbee?", el robot podría decir: "¡El perro atrapa el frisbee!", y sonar muy seguro de sí mismo, pero no te dirá cuándo pausar el video para verlo. Es como leer un libro donde el narrador describe la trama pero se niega a darte los números de página. Sin esos números de página (o en este caso, marcas de tiempo), no puedes verificar la historia ni encontrar la evidencia por ti mismo. Este es el problema de la "localización temporal" (temporal grounding). Los científicos están intentando enseñar a la IA no solo a describir videos, sino a señalar los segundos exactos donde ocurre la acción, incluso si esos segundos están dispersos a lo largo de una película larga o si el video está filmado desde una perspectiva subjetiva y movida.

Entra TimeLens2, un nuevo modelo de IA diseñado para ser el detective de video definitivo. Mientras que los modelos de IA anteriores eran como detectives que podían describir la escena de un crimen pero no podían encontrar el momento específico en que el sospechoso dejó caer el arma, TimeLens2 está entrenado para encontrar los intervalos de tiempo exactos, ya sean un segundo único o una docena de momentos dispersos a lo largo de una película de dos horas. Los investigadores descubrieron que para que esto funcionara, tenían que cambiar completamente la forma en que enseñaban a la IA. En lugar de solo mostrarle un video y pedirle una respuesta, construyeron una "cadena de verificación" especial donde múltiples agentes de IA actúan como un panel de jueces, cotejando el trabajo de los demás para asegurar que las marcas de tiempo sean reales y no solo suposiciones. También inventaron una nueva forma de calificar las respuestas de la IA que otorga crédito parcial por estar "cerca", incluso si la IA falló en el segundo o segundo de inicio o fin exactos, en lugar de simplemente dar un cero por cualquier error. ¿El resultado? Un modelo de IA compacto (tan pequeño como 2 mil millones de parámetros) que puede encontrar evidencia en videos mejor que modelos mucho más grandes y costosos, demostando que, con el entrenamiento adecuado, un cerebro pequeño puede ser un detective más agudo que uno gigante.

El nuevo kit de herramientas del detective

Entonces, ¿cómo se volvió tan bueno TimeLens2 para encontrar el "cuándo" en un video? Los investigadores se dieron cuenta de que la vieja forma de entrenar la IA estaba rota. Imagina intentar enseñarle a un estudiante a encontrar una aguja en un pajar simplemente entregándole todo el pajar y diciéndole: "Encuentra la aguja". Si el estudiante adivina mal, tú solo dices "No", y él no tiene idea de qué tan cerca estuvo. En el mundo de la IA de video, esto significaba que si un modelo adivinaba el segundo equivocado, recibía cero créditos, incluso si solo se equivocaba por un segundo. Esto hacía que el aprendizaje fuera muy lento y frustrante.

Para solucionar esto, el equipo creó TimeLens2-93K, un conjunto de datos masivo construido con un proceso ingenioso de varios pasos. Piensa en esto como una línea de producción para pistas de video perfectas:

El borrador inicial: Primero, usaron una IA inteligente para escribir una historia (leyenda o caption) para todo el video, dividiéndolo en escenas más pequeñas.
La pregunta: A partir de esas escenas, generaron preguntas como, "¿Cuándo se está revolviendo la salsa?".
La doble verificación: Aquí está la parte mágica. En lugar de confiar en una sola respuesta, enviaron el video a dos "detectives" de IA diferentes. Estos detectives trabajaron de forma independiente para encontrar los intervalos de tiempo.
El consenso: Si ambos detectives estaban de acuerdo en el tiempo, la respuesta se conservaba. Si no estaban de acuerdo, se descartaba. Esto aseguró que los datos de entrenamiento fueran súper confiables.
El pulido: Finalmente, usaron una tercera IA, aún más inteligente, para perfeccionar los tiempos exactos de inicio y fin, haciendo que los límites fueran precisos.

Este proceso convirtió un conjunto de datos desordenado y poco confiable en una mina de oro de 93,000 ejemplos de alta calidad donde la IA sabe exactamente cuándo suceden las cosas.

La puntuación "Wasserstein": Una nueva forma de calificar

Una vez que la IA tuvo buenos datos para aprender, los investigadores tuvieron que enseñarle cómo calificar su propio trabajo. Introdujeron un nuevo método de puntuación llamado recompensa Temporal Wasserstein.

Imagina que estás jugando un juego en el que tienes que adivinar la ubicación de un tesoro oculto en una línea de tiempo.

La forma antigua (tIoU): Si adivinas el lugar equivocado, obtienes un cero. No importa si estabas a un centímetro o a un kilómetro de distancia; no obtienes nada. Esto es como un profesor que te pone una "F" por escribir la fecha incorrecta, incluso si solo te equivocaste por un día.
La forma de TimeLens2 (Wasserstein): Este nuevo método es como un GPS. Si estás a un centímetro, dice: "¡Casi lo tienes!" y te da una puntuación alta. Si estás a un kilómetro, dice: "Estás muy lejos" y te da una puntuación baja. Mide la distancia entre tu suposición y la verdad.

Esto es crucial porque le enseña a la IA a seguir intentándolo para acercarse, incluso cuando no ha encontrado la respuesta exacta todavía. Este método enseña a la IA a recuperarse de los errores mucho más rápido, convirtiendo los fallos "silenciosos" (donde la IA obtiene un cero y no aprende nada) en valiosos momentos de aprendizaje.

Los resultados: Cerebro pequeño, grandes habilidades

El equipo probó TimeLens2 en siete desafíos de video diferentes, que iban desde clips cortos de personas realizando acciones hasta videos largos y complejos filmados desde los propios ojos de una persona (como una GoPro en un casco). Probaron tres versiones del modelo: una versión pequeña de 2 mil millones de parámetros, una mediana de 4 mil millones y una grande de 8 mil millones.

Los resultados fueron sorprendentes. La versión diminuta de 2 mil millones de TimeLens2 venció a todos los demás modelos de IA de tamaño similar en cada una de las pruebas. Aún más impresionante, la versión de 4 mil millones superó a modelos propietarios masivos que son cientos de veces más grandes (como un modelo de 397 mil millones de parámetros). En términos simples, un modelo de TimeLens2 pequeño y bien entrenado es un mejor detective de video que uno gigante y costoso que no ha recibido el mismo entrenamiento cuidadoso.

Por ejemplo, en una prueba llamada "MomentSeeker", donde la IA tiene que responder preguntas como "¿Qué fue puesto junto a la puerta?", los modelos de TimeLens2 mejoraron sus puntuaciones significativamente en comparación con sus versiones base. El modelo de 2B aumentó 14.2 puntos, el de 4B aumentó 13.0 puntos y el de 8B aumentó 18.1 puntos. Esto sugiere que la fórmula secreta no fue solo hacer la IA más grande, sino enseñarle a buscar evidencia con más cuidado y a entender que "estar cerca" es mejor que "estar equivocado".

Por qué esto es importante

El artículo concluye que, al tratar la evidencia de video como un conjunto de intervalos de tiempo y utilizar estas nuevas formas más inteligentes de entrenar y calificar a la IA, podemos hacer que la búsqueda de video sea mucho más confiable. En lugar de solo obtener una descripción vaga, los usuarios ahora pueden obtener marcas de tiempo precisas y verificables. Esto convierte a la IA de video de una "caja negra" que adivina en una herramienta transparente que puede mostrar su trabajo, haciendo posible la búsqueda en horas de metraje para encontrar exactamente lo que se busca, ya sea una acción específica, un evento recurrente o un momento capturado desde una perspectiva de primera persona. Los investigadores sugieren que este enfoque podría hacer que los archivos de video sean buscables y confiables para todos, desde investigadores hasta usuarios cotidianos.

Resumen Técnico: TimeLens2

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales de Video (MLLMs) han demostrado la capacidad de describir contenido de video, pero frecuentemente fallan al identificar cuándo ocurre la evidencia de soporte dentro de un video. Sin una localización temporal (grounding), los resultados de video permanecen inverificables, obligando a los usuarios a buscar manualmente en las líneas de tiempo. El artículo identifica la "localización temporal de video generalista" como el desafío central: permitir que un único modelo prediga un conjunto de intervalos de evidencia de cardinalidad variable a través de diversos videos de distintas duraciones, dominios, formas de consulta (declarativas vs. interrogativas) y puntos de vista (tercera persona vs. egocéntrico).

Los autores argumentan que los enfoques existentes sufren de dos desajustes estructurales:

Desajuste de Supervisión: Las etiquetas de videos largos suelen depender de anotaciones globales de un solo paso que son frágiles, lo que confunde ocurrencias similares, omite evidencias repetidas o produce límites imprecisos. Además, muchos conjuntos de datos se centran en videos cortos y respuestas de un solo intervalo, fallando en abordar la complejidad de la localización de múltiples intervalos en contextos largos.
Desajuste de Optimización: La predicción estándar de siguiente token aprende la sintaxis de las marcas de tiempo, pero carece de un objetivo explícito a nivel de intervalo. Los métodos de aprendizaje por refuerzo (RL) que utilizan la Intersección sobre la Unión temporal (tIoU) como recompensa no logran distinguir entre "errores cercanos" y errores distantes (asignando recompensa cero a todas las predicciones disjuntas) y tienen dificultades para igualar correspondencias frágiles de uno a uno cuando las predicciones y los objetivos tienen cardinalidades desiguales o fragmentadas.

Metodología

TimeLens2 aborda estos problemas tratando la evidencia temporal como un conjunto de intervalos de primera clase tanto en la supervisión como en la optimización. El enfoque consta de dos componentes principales: un pipeline de construcción de datos escalable y un nuevo marco de entrenamiento.

1. TimeLens2-93K: Construcción de Datos Escalable

Para superar la falta de fiabilidad de la anotación de videos largos, los autores proponen un pipeline de verificación de evidencia por etapas que transforma las frágiles anotaciones globales en una supervisión fiable de uno o múltiples intervalos. El pipeline procesa 34,867 videos diversos de YouTube (estratificados por duración desde <1 min hasta >1 hora) a través de seis pasos:

Capcionado Jerárquico: Los videos se dividen en clips de 20 a 60 segundos utilizando límites basados en el contenido. Un MLLM de gran tamaño (Qwen3-VL) genera subtítulos globales para el contexto y subtítulos de segmento para acciones específicas, creando un índice semántico con marcas de tiempo.
Síntesis de Consultas: Un generador de consultas (Kimi-K2.5) utiliza estos subtítulos para crear consultas declarativas y selecciona segmentos de soporte, formando propuestas gruesas.
Localización Local de Doble Agente: Dos agentes independientes (Qwen3-VL-30B y TimeLens-8B) relocalizan la evidencia propuesta directamente desde los clips de video, devolviendo conjuntos de intervalos o conjuntos vacíos. Esto convierte las coincidencias de texto en decisiones visuales verificables.
Consenso y Verificación:
- Consenso Temporal: Las instancias se retienen solo si los conjuntos de intervalos fusionados de ambos agentes tienen un IoU alto (>0.9), asegurando la reproducibilidad.
- Verificación Semántica: Una comprobación de similitud de incrustación (embedding) de texto-video (umbral >0.5) asegura que la evidencia sea semánticamente relevante para la consulta.
Refinamiento de Límites: Un paso final de refinamiento local observa un vecindad de ±3s alrededor de los límites verificados para agudizar los puntos de transición, fusionando brechas ≤1s para manejar el jitter.

Este proceso produce TimeLens2-93K, un corpus de 93,232 instancias de localización a través de 23,793 videos, incluyendo 12,091 ejemplos de múltiples intervalos.

2. Entrenamiento del Modelo: Adquisición de Capacidades y Calibración Geométrica

La estrategia de entrenamiento separa el aprendizaje de búsqueda del aprendizaje de calibración de límites:

Ajuste Fino Supervisado (SFT) de Contexto Largo: El modelo (basado en backbones Qwen3-VL) es ajustado finamente en TimeLens2-93K, TimeLens-100K y Ego4D-NLQ. El entrenamiento enfatiza el contexto de video completo para forzar al modelo a aislar evidencia dispersa entre distractores. Para asegurar la robustez, el modelo se expone a diversas formulaciones de instrucciones y formatos de respuesta (JSON, lenguaje natural, etc.).
Aprendizaje por Refuerzo con Recompensa de Wasserstein Temporal:
- Minería Guiada por Rollout: El modelo genera múltiples completaciones off-policy; los ejemplos con un tIoU medio bajo son ponderados al alza para centrar la optimización en errores no resueltos.
- Diseño de Recompensa: Los autores introducen una recompensa compuesta $R = R_{tIoU} + R_{TW} - 1_{invalid}$ $R = R_{t I o U} + R_{T W} - 1_{in v a l i d}$ .
  - $R_{tIoU}$ : Mide la superposición de los soportes fusionados (el soporte objetivo ya recuperado).
  - $R_{TW}$ (Wasserstein Temporal): Calcula la distancia 1-Wasserstein exacta ( $W_1$ ) entre las distribuciones uniformes sobre los soportes de intervalos predichos y objetivo fusionados. Esto proporciona retroalimentación densa y libre de emparejamientos para predicciones disjuntas y de cardinalidad desigual, clasificando los "errores cercanos" por encima de los errores distantes.
  - $1_{invalid}$ : Penaliza salidas imposibles de procesar.

Contribuciones Clave

TimeLens2-93K: Un pipeline de verificación de evidencia por etapas que produce supervisión de localización temporal fiable de uno o múltiples intervalos para videos largos, abordando el cuello de botella de calidad en la anotación de videos largos.
Recompensa de Wasserstein Temporal: Una recompensa libre de emparejamientos basada en la distancia $W_1$ exacta sobre los soportes de intervalos fusionados. Proporciona retroalimentación graduada e invariante a la fragmentación para predicciones disjuntas y de cardinalidad desigual, resolviendo el problema de la "meseta de recompensa cero" del tIoU.
Desempeño Generalista: La demostración de modelos compactos de 2B, 4B y 8B que logran un rendimiento de vanguardia (state-of-the-art) en siete benchmarks que cubren localización de video largo, múltiples intervalos, formas de pregunta y localización egocéntrica.

Resultados Experimentales

TimeLens2 fue evaluado en siete benchmarks: Charades-STA, ActivityNet Captions, QVHighlights, VUE-TR, VUE-TR-V2, MomentSeeker y Ego4D-NLQ.

Desempeño:
- TimeLens2-2B supera a todos los baselines de código abierto de tamaño similar en los siete benchmarks, logrando un mIoU promedio de 44.5 (una mejora de 14.2 puntos sobre su backbone Qwen3-VL-2B).
- TimeLens2-4B y TimeLens2-8B alcanzan resultados de vanguardia, superando a modelos de código abierto con hasta 397B de parámetros (ej. Qwen3.5-397B) y sistemas propietarios (ej. Gemini 2.5 Pro) en múltiples métricas.
- El modelo 4B mejora respecto a su backbone en un promedio de 13.0 puntos de mIoU, con ganancias significativas en configuraciones de video largo (VUE-TR) y de forma de pregunta (MomentSeeker).
Perspectivas de Ablación:
- Calidad de los Datos: El pipeline de curación progresiva (consenso, verificación, refinamiento) aumenta significativamente el desempeño (de 42.0 a 45.8 mIoU) mientras reduce el tamaño del dataset en 7/8, demostrando que la calidad pesa más que la cantidad.
- Diseño de Recompensa: La recompensa de Wasserstein Temporal ( $R_{TW}$ ) rescata el 75.8% de los grupos de "tIoU de cero absoluto" en RL, proporcionando señales de aprendizaje necesarias donde el tIoU falla. Supera al NGIoU emparejado (usado en MUSEG) por 0.6 mIoU promedio, particularmente en escenarios de múltiples intervalos.
- Contexto Largo: Aumentar la longitud de la secuencia empaquetada a 100K tokens produce los mejores resultados, mejorando específicamente el desempeño en benchmarks de video largo como VUE-TR-V2.

Significancia

El artículo postula que para que los MLLMs de video se conviertan en interfaces fiables para archivos de video, sus salidas deben ser trazables a momentos específicos. TimeLens2 desplaza la localización temporal de una tarea de recuperación especializada a una capacidad nativa y auditable de los MLLMs de video generalistas. Al tratar consistentemente la evidencia como un conjunto de intervalos desde la supervisión hasta la optimización, el marco permite que modelos compactos superen a sistemas significativamente más grandes en escenarios de localización complejos y del mundo real. El trabajo destaca que la localización fiable en videos largos requiere no solo escala, sino un rediseño fundamental de cómo se verifica la evidencia y cómo se penalizan los errores geométricos.