Arbitrary Generative Video Interpolation

Each language version is independently generated for its own context, not a direct translation.

¡Claro que sí! Imagina que estás viendo una película y de repente te aburres porque la acción va muy lenta. O quizás quieres hacer un video para TikTok y necesitas que los movimientos sean súper fluidos, como si fuera una animación de dibujos animados.

Aquí es donde entra en juego este nuevo invento llamado ArbInterp. Vamos a explicarlo como si fuera una historia de cocina y magia.

🎬 El Problema: La "Receta Rígida"

Imagina que tienes dos fotos: una de un coche empezando a moverse y otra del coche frenando. Tu trabajo es dibujar los cuadros intermedios para que se vea como un video.

Hasta ahora, los artistas (o las computadoras viejas) tenían una receta rígida. Si te pedían "dibuja 3 cuadros entre medias", tenían que dibujar exactamente 3. Si querías 4, tenían que empezar de cero. Era como si un chef te dijera: "Solo puedo cocinar exactamente 3 huevos fritos, ni 2 ni 4". Si querías cambiar la velocidad del video, ¡no podías! Tenías que pedir una receta nueva.

✨ La Solución: ArbInterp, el "Chef de Tiempo Infinito"

Los autores de este paper (Guozhen Zhang y su equipo) crearon un nuevo sistema llamado ArbInterp. Imagina que este sistema no sigue una receta fija, sino que tiene un reloj mágico.

En lugar de decir "dibuja 3 cuadros", ahora puedes decirle:

"Dibuja un cuadro cuando el reloj marque el 25% del camino".
"Dibuja otro cuando marque el 73%".
"Dibuja 100 cuadros si quieres que sea súper lento".

¡Puedes pedirle cualquier cantidad de cuadros en cualquier momento exacto! Es como tener un control remoto que te permite acelerar o frenar el tiempo a tu gusto, sin que la imagen se rompa.

🔧 ¿Cómo lo hace? (Los dos trucos de magia)

Para lograr esta magia, usaron dos herramientas geniales:

1. El "GPS de Tiempo" (TaRoPE)

Las computadoras suelen contar los cuadros como si fueran escalones: 1, 2, 3, 4... Si saltas del 1 al 4, se pierden.
ArbInterp usa algo llamado TaRoPE. Imagina que en lugar de escalones, el video es una cinta métrica continua que va del 0 al 1.

El principio es el 0.
El final es el 1.
ArbInterp sabe exactamente dónde está en esa cinta métrica, sin importar cuántos cuadros haya. Si le pides un cuadro en el "0.345", la computadora sabe exactamente dónde ponerlo en la historia. Es como si el video supiera su propia ubicación en el tiempo, no solo su número de orden.

2. El "Dúo Dinámico: Cara y Movimiento"

Aquí viene la parte más difícil. Si tienes que hacer un video muy largo (digamos, 1 minuto de video), la computadora no puede hacerlo de un solo golpe porque se le olvida cómo se veía el principio. Tendría que hacerlo por trozos.
El problema es que, al unir los trozos, a veces el personaje cambia de ropa (la cara no coincide) o se mueve de forma extraña (el movimiento se traba).

Para arreglarlo, ArbInterp usa una estrategia de desacoplamiento (separar cosas):

La Apariencia (La Cara): Le dice a la computadora: "Oye, mira la última foto del trozo anterior. Asegúrate de que el personaje tenga la misma camisa y cara en el nuevo trozo". Es como si le dieras una foto de referencia al artista para que no cambie el dibujo.
El Movimiento (La Danza): Le dice: "Pero no copies la foto, copia la energía del movimiento". Usa un pequeño cerebro especial que analiza cómo se movía el personaje antes y le dice al nuevo trozo: "Sigue bailando igual que antes".

Al separar "qué se ve" de "cómo se mueve", logran que el video sea largo, fluido y que no se vea cortado ni borroso.

🏆 ¿Por qué es importante?

Antes, si querías hacer un video de videojuegos o animación, tenías que adivinar cuántos cuadros necesitabas. Si te equivocabas, el video se veía mal.
Con ArbInterp:

Puedes hacer videos más suaves (como si fueran de 120 cuadros por segundo) para juegos o cine.
Puedes acelerar o frenar videos existentes sin que se vean raros.
Funciona increíblemente bien, superando a todos los métodos anteriores en pruebas de calidad.

En resumen

Imagina que antes tenías que construir un muro de ladrillos y solo podías poner 10 ladrillos. Si querías 11, tenías que tirar todo y empezar de nuevo.
ArbInterp es como tener ladrillos de goma que puedes estirar o encoger a tu gusto, y que siempre encajan perfectamente, sin importar si quieres un muro corto o una muralla gigante. ¡Es la libertad total para crear videos!

Each language version is independently generated for its own context, not a direct translation.

Resumen Técnico: ArbInterp - Interpolación Generativa de Video Arbitraria

1. El Problema

La Interpolación de Fotogramas de Video (VFI) generativa tiene como objetivo sintetizar fotogramas intermedios coherentes a partir de un par de fotogramas inicial y final. Aunque los modelos generativos recientes (basados en difusión y transformers) han demostrado gran capacidad para crear videos realistas, las metodologías existentes de VFI adolecen de dos limitaciones críticas:

Rigidez Temporal: Los métodos actuales están restringidos a generar un número fijo de fotogramas intermedios. Esto impide a los usuarios ajustar dinámicamente la tasa de cuadros (FPS) o la duración del video durante el proceso de creación.
Falta de Continuidad en Secuencias Largas: Los enfoques que intentan generar videos largos dividiéndolos en segmentos a menudo sufren de discontinuidades en la apariencia y el movimiento entre segmentos debido a la naturaleza estocástica de los modelos generativos.
Modelado de Movimiento Continuo: Los paradigmas fijos no modelan adecuadamente el campo de movimiento continuo, ya que solo admiten entradas con tasas de fotogramas fijas, limitando la capacidad del modelo para razonar sobre transiciones espaciotemporales suaves.

2. Metodología Propuesta: ArbInterp

Los autores proponen ArbInterp, un nuevo paradigma de interpolación que permite generar fotogramas en cualquier marca de tiempo (timestamp) y de cualquier longitud. La arquitectura se basa en el modelo generativo de video Wan y introduce dos innovaciones clave:

A. TaRoPE (Timestamp-aware Rotary Position Embedding)

Concepto: En los modelos DiT (Diffusion Transformers) actuales, la posición temporal de un fotograma se determina mediante su índice absoluto en la secuencia (RoPE temporal estándar). ArbInterp reemplaza esto con marcas de tiempo continuas normalizadas en el rango $[0, 1]$ , donde $t=0$ es el fotograma inicial y $t=1$ es el final.
Mecanismo: Se modifica la codificación de posición rotatoria (RoPE) para que el modelo perciba la posición relativa real del fotograma según la marca de tiempo objetivo, en lugar de su índice en el tensor de entrada.
Ventaja: Esto permite al modelo aprender un campo de movimiento continuo e invariante a la longitud. El usuario puede especificar una lista de tiempos arbitraria (ej. $[0, 0.25, 0.5, 0.75, 1]$ ) para obtener interpolaciones de 4x, o cualquier combinación intermedia, sin reentrenar el modelo para cada factor de interpolación.

B. Estrategia de Condicionamiento Desacoplado de Apariencia y Movimiento
Para abordar la interpolación de larga duración (dividida en segmentos), se introduce una estrategia para mantener la coherencia entre segmentos adyacentes:

Coherencia de Apariencia: Se utiliza el último fotograma del segmento anterior como un "fotograma prefijo" en la entrada del modelo para garantizar que la apariencia visual (texturas, objetos) se mantenga consistente.
Coherencia de Movimiento: Se extraen "tokens de movimiento semántico" de los últimos $N$ fotogramas del segmento anterior utilizando un Extractor de Semántica de Movimiento (MSE). Este extractor (basado en CLIP mejorado temporalmente y Q-Former) comprime la información de movimiento en tokens fijos que se inyectan en el proceso de difusión mediante atención cruzada.
Resultado: Este doble mecanismo asegura transiciones suaves tanto en la apariencia visual como en la dinámica del movimiento entre segmentos.

C. Estrategias de Inferencia
El sistema soporta múltiples estrategias según la longitud de la secuencia:

Interpolación Directa: Para secuencias cortas (generación en un solo paso).
Interpolación Segmento a Segmento: Para secuencias largas, dividiendo los tiempos objetivo en segmentos no superpuestos.
Interpolación Jerárquica: Predice primero fotogramas ancla en intervalos temporales gruesos y luego refina interpolando entre ellos, lo que mejora la orquestación de trayectorias de movimiento globales.

3. Contribuciones Clave

Nuevo Paradigma de Interpolación: ArbInterp es el primer marco generativo que permite controlar la generación de fotogramas especificando marcas de tiempo continuas arbitrarias, superando la limitación de los factores de interpolación fijos.
TaRoPE: Una modificación eficiente de la posición rotatoria que permite al modelo percibir posiciones temporales continuas sin añadir parámetros significativos, facilitando la transferencia de modelos generativos preentrenados a tareas de interpolación.
Desacoplamiento Apariencia-Movimiento: Una estrategia novedosa para la generación de video a largo plazo que utiliza tokens de movimiento semántico y fotogramas prefijo para resolver problemas de discontinuidad entre segmentos.
MultiInterpBench: La construcción de un benchmark exhaustivo que evalúa la interpolación en múltiples escalas (de 2x a 32x y más allá), demostrando la generalización del método.

4. Resultados Experimentales

Los experimentos se realizaron sobre el modelo de generación de video Wan (1.3B parámetros) y se compararon con métodos state-of-the-art (LDMVFI, DynamiCrafter, TRF, GI).

Rendimiento Cuantitativo: ArbInterp supera a todos los métodos existentes en todas las métricas (FID, FVD, LPIPS, y métricas de VBench como consistencia de sujeto/fondo y suavidad de movimiento) en ratios de interpolación de 2x, 8x, 16x y 32x.
- Ejemplo: En interpolación 32x, ArbInterp logra un FID de 26.5 (vs 52.6 de LDMVFI) y un FVD de 319.9 (vs 753.6), indicando una fidelidad y continuidad temporal muy superiores.
Flexibilidad: El modelo puede generar fotogramas en cualquier tiempo intermedio (ej. $t=0.37$ ) sin reentrenamiento, demostrando una capacidad de modelado de movimiento continuo robusta.
Eficiencia: El entrenamiento requiere solo 20,000 pasos en 8 GPUs. La estrategia de inferencia segmentada reduce la complejidad computacional de la atención de $O(N^2)$ a $O(N^2/M)$ , donde $M$ es el número de segmentos.
Validación de Largo Alcance: Se demostró la capacidad de realizar interpolación en streaming y secuencias extremadamente largas (hasta 256x), manteniendo la coherencia visual y de movimiento.

5. Significado e Impacto

El trabajo ArbInterp representa un avance significativo en la creación de video generativa al eliminar la rigidez temporal de los métodos actuales.

Aplicabilidad Práctica: Permite a los creadores de contenido ajustar la velocidad de reproducción (slow-motion, time-lapse) y la duración de los videos de manera dinámica y precisa, algo imposible con los enfoques anteriores.
Fundamento Teórico: Demuestra que la inyección de marcas de tiempo continuas en la arquitectura de posición (RoPE) es una vía efectiva para dotar a los modelos de difusión de una conciencia temporal fina y generalizable.
Escalabilidad: La estrategia de desacoplamiento de movimiento y apariencia abre nuevas posibilidades para la generación de videos de larga duración con alta coherencia, un desafío persistente en la comunidad de visión por computadora.

En resumen, ArbInterp establece un nuevo estándar para la interpolación de video generativa, ofreciendo flexibilidad sin precedentes, alta fidelidad y una arquitectura escalable para aplicaciones de video de larga duración.