💻 computer science

Seeing Fast and Slow: Learning the Flow of Time in Videos

Este artículo presenta un enfoque auto-supervisado para aprender a percibir y controlar el flujo del tiempo en videos, lo que permite detectar cambios de velocidad, crear el mayor conjunto de datos de cámara lenta hasta la fecha y desarrollar modelos de generación de video condicionados por velocidad y super-resolución temporal.

Autores originales: Yen-Siang Wu, Rundong Luo, Jingsen Zhu, Tao Tu, Ali Farhadi, Matthew Wallingford, Yu-Chiang Frank Wang, Steve Marschner, Wei-Chiu Ma

Publicado 2026-04-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yen-Siang Wu, Rundong Luo, Jingsen Zhu, Tao Tu, Ali Farhadi, Matthew Wallingford, Yu-Chiang Frank Wang, Steve Marschner, Wei-Chiu Ma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que el tiempo en los videos es como el ritmo de una canción. A veces la canción suena normal, a veces está acelerada (como un chipmunk) y a veces está en cámara lenta (como si estuvieras bajo el agua).

Hasta ahora, las computadoras y la Inteligencia Artificial (IA) eran como oyentes que solo conocían una sola velocidad: la normal. Si les mostrabas un video acelerado o muy lento, se confundían, alucinaban o simplemente no entendían qué estaba pasando.

Este paper, titulado "Ver Rápido y Lento", es como un curso intensivo para enseñarle a la IA a sentir el ritmo del tiempo. Los investigadores de universidades como Cornell y Taiwan han creado un sistema que no solo entiende si un video va rápido o lento, sino que puede crear videos a cualquier velocidad que tú desees.

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Problema: La IA es "Sorda" al Tiempo

Imagina que le pides a un robot que dibuje a alguien corriendo. Si le dices "corre muy rápido", el robot dibuja a alguien corriendo rápido, pero si le dices "corre en cámara lenta ultra-rápida", el robot suele fallar. ¿Por qué? Porque la IA solo ha visto millones de videos grabados a velocidad normal (como los de YouTube o las películas). Nunca ha visto cómo se mueve el mundo en realidad cuando se graba a 1000 cuadros por segundo.

2. La Solución: Dos Trucos de Magia

Para enseñarles a la IA sin tener que etiquetar millones de videos a mano (lo cual sería imposible), los investigadores usaron dos trucos inteligentes:

Truco A: La voz del video (El Audio)
Imagina que grabas a alguien hablando y luego aceleras la cinta. La voz se vuelve aguda (como un pajarito). Si la aceleras, la voz se hace grave.
Los investigadores usaron esto como una pista: "Si la voz cambia de tono, ¡el video cambió de velocidad!". Usaron el audio para enseñarles a la IA a detectar visualmente dónde un video se acelera o se ralentiza, sin necesidad de que un humano lo dijera. Es como usar el sonido para "calibrar" los ojos de la computadora.
Truco B: El juego de las copias (Auto-supervisión)
Imagina que tienes un video y le dices a la IA: "Mira este video, ahora mira este mismo video pero acelerado 2 veces". La IA debe aprender que si el video va el doble de rápido, su respuesta interna también debe duplicarse.
Al hacer esto una y otra vez con videos que la IA misma acelera o ralentiza artificialmente, la IA aprende la física del movimiento. Aprende que si algo cae, debe caer a cierta velocidad, no más rápido ni más lento, a menos que la IA decida cambiar el tiempo.

3. El Tesoro: La Base de Datos "SloMo-44K"

Usando estos trucos, los investigadores limpiaron internet y encontraron los mejores videos en cámara lenta que existen (de deportes, naturaleza, explosiones, etc.). Crearon un "gigante" de datos llamado SloMo-44K.

La analogía: Es como si antes la IA solo hubiera visto películas de acción en TV, y de repente le dieron acceso a una cámara de cine de alta velocidad que graba todo en ultra-lento. Ahora la IA sabe cómo se ve una gota de agua rompiéndose o un pájaro aleteando en cámara lenta real.

4. ¿Qué puede hacer esta IA ahora?

Con este entrenamiento, la IA puede hacer dos cosas increíbles:

Crear videos a la velocidad que tú quieras:
Si le das una foto de un pájaro y le dices "haz un video de este pájaro volando en cámara lenta extrema", la IA no solo ralentiza el video, sino que inventa los cuadros intermedios que faltan. Hace que el movimiento se vea suave y realista, como si realmente hubiera sido grabado a 1000 cuadros por segundo.
- Analogía: Es como si le dieras a un pintor una foto de un coche y le pidieras que pinte el movimiento del coche a 1/100 de velocidad. El pintor inventa los detalles que tus ojos no pueden ver, pero que la cámara rápida sí captaría.
Arreglar videos borrosos (Super-Resolución Temporal):
Si tienes un video viejo, borroso y a cámara lenta (como de una cámara de seguridad mala), la IA puede "inventar" los cuadros que faltan para convertirlo en un video nítido y fluido.
- Analogía: Es como tomar un dibujo a lápiz borroso y usar un pincel mágico para rellenar los espacios en blanco y hacerlo ver como una fotografía de alta definición.

5. ¿Para qué sirve esto?

Forensia: Puede detectar si un video ha sido manipulado (si alguien aceleró un video para ocultar un crimen o ralentizarlo para engañar).
Entretenimiento: Puedes crear efectos especiales increíbles donde el tiempo se detiene o se acelera a tu gusto.
Entender el mundo: Ayuda a las computadoras a entender cómo funciona la física real, no solo cómo se ve en una pantalla.

En resumen:
Este paper es como enseñarle a una computadora a tener sentido del tiempo. Antes, la IA veía el tiempo como una línea recta fija. Ahora, gracias a escuchar los sonidos y practicar con videos de alta velocidad, la IA puede doblar, estirar y controlar el tiempo en los videos, creando realidades que se ven perfectamente naturales.

1. El Problema

A pesar de los avances en visión por computadora, los modelos actuales carecen de una capacidad fundamental: razonar y controlar el flujo del tiempo en los videos.

Limitación de los modelos existentes: Los modelos modernos (incluyendo VLMs y generativos) se entrenan principalmente con videos a tasas de cuadros estándar (24-60 fps). Esto les impide aprender la noción de "velocidad temporal" real. Cuando se les pide predecir si un video está acelerado o ralentizado, o generar contenido a una velocidad específica, suelen alucinar, ignorar las instrucciones o generar tiempos imprecisos.
Falta de datos: Existe una escasez de datos a gran escala que abarquen el continuo de velocidades temporales (desde cámara lenta extrema hasta aceleración). Los conjuntos de datos existentes de cámara lenta son pequeños, están limitados a escenas específicas (como deportes) o carecen de metadatos fiables (tasa de cuadros, velocidad de reproducción).
Complejidad de la anotación: Anotar manualmente la velocidad de reproducción o los cambios de velocidad en videos "in-the-wild" (salvajes) es prohibitivamente costoso y poco preciso.

2. Metodología

Los autores proponen un enfoque en dos etapas: primero, aprender a percibir el tiempo mediante auto-supervisión para crear un conjunto de datos masivo; y segundo, utilizar esos datos para entrenar modelos capaces de manipular el tiempo.

A. Percepción del Flujo del Tiempo (Auto-supervisión)

Para superar la falta de etiquetas, el paper introduce dos mecanismos de aprendizaje auto-supervisado:

Detección de Cambios de Velocidad (Cues Multimodales): Se aprovecha el principio de escala tiempo-frecuencia. Cuando la velocidad de reproducción de un video cambia, el tono (pitch) del audio asociado se desplaza (acelerar eleva el tono, ralentizar lo baja).
- Se utiliza el audio para detectar automáticamente dónde ocurren cambios de velocidad (cambios de tono).
- Estos cambios se usan como señal de supervisión cruzada para entrenar un detector visual que identifica los momentos de cambio de velocidad sin necesidad de audio durante la inferencia.
Estimación de Velocidad (Equivariancia Temporal): Se basa en la propiedad de que la estimación de velocidad debe ser equivariante al remuestreo temporal.
- Si un video se acelera por un factor $k$ , la velocidad predicha por el modelo debe aumentar proporcionalmente por $k$ .
- Se entrena el modelo forzando esta relación proporcional entre el video original y sus versiones aceleradas, creando una señal de entrenamiento potente sin etiquetas de velocidad absolutas.
- Se añade una pequeña cantidad de datos con etiquetas reales (ground-truth) para calibrar la escala absoluta.
- Predicción Iterativa: Para videos de cámara lenta extrema, se utiliza un enfoque iterativo: se acelera el video predicho para acercarlo a la velocidad normal, se reestima la velocidad y se repite el proceso para refinar la predicción.

B. Creación del Dataset SloMo-44K

Utilizando los modelos de percepción entrenados, los autores curan automáticamente el conjunto de datos SloMo-44K:

Fuente: Videos extraídos de YouTube, Vimeo y Flickr.
Proceso: Filtrado de contenido (CGI, pantallas), segmentación de clips con velocidad homogénea y anotación automática de la velocidad de reproducción.
Escala: 44,632 clips, 18 millones de frames, con velocidades que van desde 0.01x hasta más de 10,000 fps reales. Es el conjunto de datos de cámara lenta más grande y diverso hasta la fecha.

C. Manipulación del Flujo del Tiempo

Con SloMo-44K, se desarrollan dos capacidades principales:

Generación de Video Condicionada a la Velocidad:
- Se basa en el modelo Wan2.1-I2V.
- Se introduce un mecanismo de condicionamiento explícito: la velocidad objetivo se discretiza en "buckets" logarítmicos y se codifica mediante embeddings posicionales sinusoidales que se suman a la información de tiempo del modelo.
- Esto permite generar dinámicas físicas realistas a velocidades específicas (desde cámara lenta extrema hasta velocidad normal).
Super-Resolución Temporal Extrema:
- Objetivo: Convertir videos de baja tasa de cuadros (FPS) y borrosos en secuencias de alta FPS y nítidas.
- Se entrena el modelo (basado en Wan2.1-VACE) con pares de datos sintéticos: entradas borrosas (simuladas promediando frames) y salidas de alta calidad.
- El modelo aprende a realizar interpolación de frames y desenfoque de movimiento simultáneamente.

3. Contribuciones Clave

SloMo-44K: El primer conjunto de datos de cámara lenta a gran escala y de propósito general, que cubre una amplia gama de escalas temporales y patrones de movimiento del mundo real.
Métodos de Auto-supervisión: Nuevas técnicas para inferir cambios de velocidad y velocidad absoluta utilizando señales de audio (pitch) y consistencia temporal, eliminando la dependencia de anotaciones manuales costosas.
Control Temporal Preciso: Modelos capaces de generar videos con dinámicas físicas realistas a velocidades arbitrarias y de recuperar detalles temporales finos en videos de baja calidad.
Validación Humana: Establecimiento de protocolos de evaluación rigurosos, incluyendo estudios de percepción humana, dado que no existían benchmarks estandarizados para estas tareas.

4. Resultados

Detección de Cambios de Velocidad: El modelo alcanza una precisión del 92.4%, superando significativamente a modelos VLMs (Gemini 2.5: 59.5%) y basados en flujo óptico.
Estimación de Velocidad: El modelo reduce la brecha con el juicio humano experto, logrando una correlación de Pearson de 0.735 y un error cuadrático medio (RMSE) de 0.649 (en espacio logarítmico), superando a baselines como SpeedNet y Pulse-of-Motion.
Generación Condicionada: El modelo genera videos con una correlación fuerte entre la velocidad solicitada y la magnitud del flujo óptico real. Supera a modelos base (Wan2.1) y controladores de trayectoria (ATI) en calidad (FID/FVD) y controlabilidad.
Super-Resolución Temporal:
- En entradas limpias, supera a los métodos state-of-the-art (FILM, LDMVFI) en métricas de video (FloLPIPS, FVD).
- En entradas borrosas (realistas), el modelo logra un 80.3% de tasa de victoria en preferencia humana frente a los baselines, demostrando una capacidad superior para reconstruir detalles finos y movimiento suave a partir de videos de baja calidad.

5. Significado e Impacto

Este trabajo establece el tiempo como una dimensión manipulable y perceptible en el aprendizaje de video.

Ciencia Forense: Permite la detección de manipulaciones de velocidad en videos (forensia temporal).
Modelos del Mundo: Contribuye a la creación de modelos del mundo más ricos que comprenden cómo se desarrollan los eventos físicos a lo largo del tiempo, no solo su apariencia estática.
Aplicaciones Prácticas: Habilita la generación de contenido de cámara lenta realista a partir de grabaciones normales, la restauración de videos antiguos o de baja calidad, y una interacción más intuitiva con el contenido multimedia.

En resumen, el paper demuestra que al exponer a los modelos a un continuo de velocidades temporales y utilizar señales multimodales para el aprendizaje auto-supervisado, es posible dotar a las máquinas de una intuición sobre el flujo del tiempo comparable a la humana.