💻 computer science

FreqForcing: Autoregressive Long Video Generation via Spectral Self-Anchoring

Este artículo presenta FreqForcing, un marco de trabajo libre de entrenamiento que mitiga la acumulación de errores en la generación de videos largos autorregresivos mediante el empleo de Autoanclaje Espectral para estabilizar los componentes de baja frecuencia mientras se preserva el movimiento de alta frecuencia, permitiendo así la síntesis de videos de dos minutos de alta calidad a partir de modelos preentrenados en clips cortos.

Autores originales: Jiatong Li, Leo Liang, Linghe Kong, Yulun Zhang

Publicado 2026-07-30

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiatong Li, Leo Liang, Linghe Kong, Yulun Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde puedes escribir una frase y ver instantáneamente cómo se desarrolla una película, fotograma a fotograma, justo ante tus ojos. Este es el sueño de la "generación de video autorregresiva", un rincón de vanguardia de la inteligencia artificial donde las computadoras no solo predicen la siguiente palabra en una historia, sino la siguiente imagen en una película. Para hacer esto, la IA actúa como un narrador que observa las últimas pocas imágenes que dibujó para decidir qué viene después. Es un poco como un juego de "teléfono descompuesto" jugado con imágenes: la computadora toma el fotograma anterior, añade un poco de detalle nuevo y lo pasa a continuación. ¿El problema? Si la computadora comete un error diminuto en la primera imagen, ese error se transmite a la segunda, luego a la tercera, y así sucesivamente. A lo largo de una película larga, estos pequeños errores se acumulan como una bola de nieve rodando por una colina, convirtiendo eventualmente una escena hermosa en un desastre borroso y con deriva de color. Los científicos han estado tratando de solucionar esta "acumulación de errores" para que podamos generar videos largos y estables sin que la imagen se desmorone.

Este artículo, titulado "FreqForcing", aborda exactamente ese problema mirando la generación de video a través de un lente diferente: las ondas sonoras. Los autores se dieron cuenta de que cuando estas películas de IA comienzan a fallar, no es solo un error visual; es un cambio en la "frecuencia" de la imagen, de forma muy similar a cómo una canción podría desafinarse. Descubrieron que los intentos previos para solucionar esto, como mantener algunos fotogramas "ancla" en la memoria para recordarle a la IA el inicio, ayudaron un poco pero no detuvieron la deriva por completo. El equipo propuso un nuevo truco llamado "Spectral Self-Anchoring" (Autoanclaje Espectral). Piensa en esto como un sistema de cerebro dual para la IA: una parte del cerebro se enfoca en los detalles rápidos y emocionantes (como los movimientos rápidos de un personaje), mientras que la otra parte mantiene un "ancla" constante de baja frecuencia del inicio del video para evitar que los colores y el diseño se desvíen. Al mezclar estas dos señales, lograron evitar que el video colapsara. Su método, que no requiere reentrenar la IA desde cero, logró extender un modelo entrenado en clips cortos de 5 segundos para generar videos estables de dos minutos —un aumento de 24 veces en la longitud— sin que la calidad visual se desmoronara.

El Probleque: El juego del "Teléfono" del Video

Imagina que estás jugando un juego de "teléfono descompuesto" con un amigo, pero en lugar de susurrar una frase, estás dibujando una imagen. Dibujas un gato, se lo pasas a tu amigo, quien le añade una cola, y te lo devuelve. Si tu amigo accidentalmente dibuja la cola un poco torcida, y tú intentas arreglarlo pero la haces un poco más grande, y la siguiente persona la hace aún más grande, pronto tendrás un monstruo gigante y distorsionado en lugar de un lindo gato. Esto es exactamente lo que sucede en la generación de video autorregresiva. La IA genera un video un fragmento a la vez, utilizando el fragmento anterior para predecir el siguiente. A medida que el video se vuelve más largo, los errores diminutos en color, forma y movimiento se acumulan. ¿El resultado? El video comienza a "derivar". Los colores podrían cambiar de azul a púrpura, el personaje podría dejar de moverse o toda la escena podría disolverse en estática.

El Descubrimiento: Escuchando el "Zumbido" del Video

Los autores de este artículo decidieron investigar esta deriva no mirando las imágenes, sino escuchándolas. Utilizaron una herramienta matemática llamada Transformada de Fourier, que es como un prisma para el sonido o las imágenes. Así como un prisma divide la luz blanca en un arcoíris de colores, esta herramienta divide una imagen en diferentes "frecuencias".

Las altas frecuencias son como los detalles nítidos y crujientes: el parpadeo de una vela, la textura del pelaje o un rápido movimiento de mano.
Las bajas frecuencias son como las notas graves y profundas: la forma general de la habitación, el tono de color general y la disposición principal de la escena.

Cuando analizaron los videos que estaban fallando, encontraron un patrón extraño. A medida que la generación del video avanzaba, la "energía" en la parte de baja frecuencia de la imagen comenzaba a derivar. Era como si la nota grave de la canción estuviera cambiando lentamente de tono, causando que todo el video perdiera su estabilidad. Los detalles de alta frecuencia (el movimiento) también se volvieron erráticos, pero la causa raíz era esta deriva de baja frecuencia.

El Viejo Remedio: El "Ancla" que no era lo suficientemente fuerte

Antes de este artículo, los investigadores intentaron solucionar esto usando algo llamado "sumidero de atención" (attention sink). Imagina que estás tratando de recordar una historia larga. Si solo recuerdas las últimas pocas frases, podrás olvidar el principio. Un "sumidero de atención" es como mantener las primeras frases de la historia en tu mente permanentemente mientras cuentas el resto. En términos de video, la IA mantiene algunos de los primeros fotogramas, que son perfectos, en su memoria y se obliga a sí misma a prestarles atención.

Los autores probaron esto y descubrieron que sí ayudaba. Era como tener un ancla más fuerte; el video no derivaba tan rápido. Sin embargo, no era una solución perfecta. Incluso con el ancla, la energía de baja frecuencia todavía derivaba lentamente con el tiempo, y la calidad del video eventualmente sufría. El ancla estaba ahí, pero no tiraba con la fuerza suficiente para detener la corriente.

La Nueva Solución: FreqForcing y Spectral Self-Anchoring

El equipo se dio cuenta de que necesitaban una forma más inteligente de usar ese ancla. Propusieron un nuevo marco llamado FreqForcing, que utiliza una técnica que llamaron Spectral Self-Anchoring (SSA).

Así es como funciona, usando una analogía creativa:
Imagina que la IA es un pintor trabajando en un mural masivo.

El Pintor Local (Alta Frecuencia): Un pintor se enfoca en la acción inmediata. Está pintando los movimientos rápidos, las luces parpadeantes y los pequeños detalles. Es excelente capturando el "ahora", pero podría dejarse llevar y perder la visión general.
El Pintor de Anclaje (Baja Frecuencia): El segundo pintor es un maestro que solo mira el primer boceto perfecto del mural. No pinta los nuevos detalles; simplemente sostiene la "alma" constante y de baja frecuencia de la imagen: los colores, el diseño y la identidad de los personajes.
La Mezcla: En lugar de dejar que el Pintor Local se descontrole, la IA toma el trabajo del Pintor Local y mezcla suavemente la señal de baja frecuencia constante del Pintor de Anclaje. Es como un DJ mezclando una pista enérgica y en vivo con una línea de bajo profunda y constante para evitar que la pista de baile se vuelva caótica.

Esta "mezcla" ocurre en el dominio de la frecuencia. La IA toma las partes de movimiento rápido del fotograma actual y las partes estables de baja frecuencia de los fotogramas "ancla" y las fusiona. Esto evita que los colores deriven y mantiene el diseño estable, permitiendo al mismo tiempo que el video se mueva y cambie de forma natural.

Los Resultados: De 5 Segundos a 2 Minutos

El equipo probó este nuevo método en un modelo que originalmente fue entrenado para generar solo clips de video de 5 segundos. Sin su arreglo, el modelo se desmoronaría si intentaras hacerlo más largo. Con FreqForcing, pudieron extender la generación a dos minutos. ¡Eso es un aumento de 24 veces en la longitud!

Compararon su método con otras técnicas de alto nivel, incluyendo aquellas que requerían un reentrenamiento costoso de la IA. Sus resultados mostraron que FreqForcing producía videos más consistentes, con mejor movimiento y menos fallos visuales que la competencia. Logró que el video pareciera una película coherente en lugar de un sueño derretido.

Por Qué Importa

Esto es algo importante porque ofrece una forma de crear videos largos y de alta calidad sin necesidad de pasar meses reentrenando los modelos de IA, lo cual es increíblemente costoso y consume mucha energía. Simplemente cambiando la forma en que la IA "piensa" sobre su propio historial —usando un ancla basada en la frecuencia— desbloquearon la capacidad de generar contenido mucho más largo. Esto sugiere que no necesitamos modelos más grandes y complejos para resolver estos problemas; a veces, solo necesitamos escuchar la música de los datos con un poco más de cuidado.

Resumen Técnico: FreqForcing

Planteamiento del Problema
Los modelos de difusión de video autorregresivos, como Self-Forcing, permiten la generación de video en streaming en tiempo real mediante la generación secuencial de fotogramas mientras se reutilizan los estados de clave-valor (KV) almacenados en caché. Sin embargo, estos modelos sufren de acumulación de errores en horizontes largos. A medida que el modelo realiza su auto-ejecución (self-rollout) a lo largo del tiempo, los errores se retroalimentan repetidamente, lo que conduce a un colapso visual caracterizado por la deriva de color, el estancamiento del movimiento y la degradación eventual de la calidad visual. Las soluciones existentes se dividen en dos categorías: métodos basados en entrenamiento que mejoran la estabilidad mediante una mejor destilación (computacionalmente costosos) y métodos libres de entrenamiento que intervienen en la inferencia mediante ajustes de RoPE o gestión del caché de KV. No obstante, los enfoques actuales libres de entrenamiento tienen dificultades para garantizar la calidad visual en la generación de videos de un minuto de duración.

Metodología: Análisis en el Dominio de la Frecuencia y Auto-anclaje Espectral
Los autores caracterizan el fenómeno de la acumulación de errores desde una perspectiva del dominio de la frecuencia. Mediendo a través del análisis espectral tanto de las salidas en el espacio latente como en el espacio de píxeles, observan que la acumulación de errores se manifiesta como una pronunciada deriva de energía en las bandas de baja frecuencia (componente DC, tono de color, disposición y la identidad), mientras que los componentes de alta frecuencia (movimiento local, detalles finos) se vuelven inestables.

Aunque trabajos previos establecieron que el "atención sink" (retener los tokens iniciales en el caché de KV) alivia este tipo de deriva hasta cierto punto, los autores encuentran que es insuficiente para resolver completamente el problema, particularmente para la generación a escala de minutos.

Para abordar esto, el artículo propone FreqForcing, un marco de trabajo libre de entrenamiento centrado en el Auto-anclaje Espectral (SSA, por sus siglas en inglés). La metodología opera de la siguiente manera:

Atención de Doble Rama: Durante la inferencia, el modelo emplea dos ramas de atención paralelas:
- Atención Local: Sigue la atención causal de ventana deslizante estándar con un attention sink para capturar cambios recientes y detalles de alta frecuencia.
- Atención de Anclaje: Mantiene un caché separado de "fotogramas de anclaje" de alta calidad generados dentro del horizonte preentrenado del modelo (por ejemplo, los primeros 21 fotogramas). Este caché se congela una vez lleno y proporciona una guía estable de baja frecuencia.
Anclaje Espectral: Las salidas de las ramas local y de anclaje se fusionan en el dominio de la frecuencia.
- Las salidas de la atención local ( $A_{loc}$ ) y de la atención de anclaje ( $A_{anc}$ ) se transforman mediante la Transformada Rápida de Fourier (FFT) 3D.
- Se aplica un filtro de paso bajo Gaussiano espacio-temporal ( $H_{lp}$ ) para aislar los componentes de baja frecuencia.
- La salida fusionada ( $A_{fused}$ ) se construye inyectando el residuo de baja frecuencia de la atención de anclaje en la atención local:
  $\hat{A}_{fused} = \hat{A}_{loc} + \lambda H_{lp}(\hat{A}_{anc} - \hat{A}_{loc})$
- Aquí, $\lambda$ controla la fuerza del anclaje. Este proceso suprime la deriva espectral de baja frecuencia mientras preserva la dinámica del movimiento capturada en los componentes de alta frecuencia de la atención local.
Alineación Temporal de RoPE: Para evitar artefactos antinaturales causados por el aumento de las distancias temporales, el método desplaza los índices temporales tanto de los fotogramas sink como de los fotogramas de anclaje para alinearlos con la ventana deslizante actual, manteniendo las posiciones relativas dentro del rango preentrenado.
Optimización de Eficiencia: Para minimizar la sobrecarga computacional, el SSA se aplica solo durante los dos primeros pasos de eliminación de ruido (donde se establece la disposición global) y utiliza un tamaño de caché de anclaje pequeño ( $N_{anc}=6$ ). Esto resulta en solo un incremento del ~16.5% en la latencia de inferencia.

Contribuciones Clave

Caracterización en el Dominio de la Frecuencia: El artículo proporciona un análisis novedoso que vincula la acumulación de errores autorregresivos con la deriva de energía espectral, específicamente en las bandas de baja frecuencia.
Auto-anclaje Espectral (SSA): Un mecanismo libre de entrenamiento que fusiona las salidas de la atención local y de anclaje en el dominio de la frecuencia para estabilizar la calidad visual sin necesidad de reentrenamiento.
Capacidad de Generación Extendida: El marco extiende Self-Forcing, preentrenado en clips de 5 segundos, a una generación estable de dos minutos (una extrapolación de 24×), superando a los métodos libres de entrenamiento existentes y manteniéndose competitivo con los enfoques basados en entrenamiento.

Resultados
Experimentos extensos en el benchmark VBench-Long demuestran la eficacia de FreqForcing:

Desempeño Cuantitativo: FreqForcing logra resultados de vanguardia entre los métodos libres de entrenamiento y supera a los métodos basados en entrenamiento en "Grado de Dinamismo" (Dynamic Degree) y "Consistencia General" (Overall Consistency) tanto para generaciones de 60s como de 120s. Por ejemplo, en la generación de 120s, alcanza un Grado de Dinamismo de 58.97 y una Consistencia General de 20.98, superando a Self-Forcing (27.42 y 16.17) y Deep Forcing (41.78 y 20.80).
Estabilidad Cualitativa: Las comparaciones visuales muestran que, mientras Self-Forcing sufre de una severa deriva de color y desvanecimiento visual, y otros métodos exhiben parpadeo de movimiento o escenas repetitivas, FreqForcing produce videos visualmente estables con color consistente y dinámicas de movimiento preservadas.
Estudios de Ablación: Eliminar el SSA o el attention sink provoca caídas significativas en el desempeño. El análisis de hiperparámetros indica que equilibrar la fuerza de inyección de baja frecuencia ( $\lambda$ ) y el ancho del filtro ( $\sigma$ ) es crucial para mantener la consistencia temporal sin inducir una repetición visual excesiva.

Significancia
El artículo afirma que FreqForcing aborda una limitación fundamental en la generación de video autorregresivo: la acumulación de errores en horizontes largos. Al cambiar la perspectiva hacia el dominio de la frecuencia e introducir un mecanismo para "anclar" la estabilidad de baja frecuencia utilizando fotogramas históricos de alta calidad, el método permite una generación de video largo y robusta sin entrenamiento. Esto cierra la brecha entre el preentrenamiento de clips cortos y las demandas de aplicaciones que requieren síntesis de video a escala de minutos y en streaming, como modelos de mundo interactivos y toma de decisiones para agentes físicos (embodied decision-making), sin el costo computacional del reentrenamiento.