💻 computer science

AR-CoPO: Align Autoregressive Video Generation with Contrastive Policy Optimization

El artículo presenta AR-CoPO, un marco que alinea la generación de video autoregresiva en streaming mediante una optimización de política contrastiva a nivel de fragmentos y una estrategia de entrenamiento semi-en-política, logrando una mejor generalización y alineación con preferencias humanas sin recurrir a la explotación de recompensas.

Autores originales: Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

Publicado 2026-03-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Dailan He, Guanlin Feng, Xingtong Ge, Yi Zhang, Bingqi Ma, Guanglu Song, Yu Liu, Hongsheng Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que crear un video con inteligencia artificial es como dirigir una película. Hasta ahora, los directores (los modelos de IA) podían hacer dos cosas muy bien:

Hacer películas de alta calidad pero tardaban mucho en rodarlas (eran lentas).
Hacer películas rápidas (en tiempo real, como un streaming), pero a veces la calidad no era perfecta o les costaba seguir las instrucciones del guion.

El problema es que cuando intentamos "entrenar" a estos directores rápidos para que hagan las cosas mejor (usando la opinión de humanos, como en Netflix o TikTok), chocamos contra un muro. Los métodos actuales de entrenamiento son como intentar arreglar una película rodando escenas al azar y cambiando el ruido de la cámara en medio de la toma. En los modelos rápidos, esto no funciona porque la "magia" ocurre al principio, no en medio.

Aquí es donde entra AR-CoPO, la nueva solución propuesta en el artículo. Vamos a desglosarlo con analogías sencillas:

1. El Problema: "El director que no escucha"

Los modelos de video actuales funcionan en "trozos" (chunks). Imagina que el video se hace en bloques de 5 segundos.

El método viejo (SDE-GRPO): Intentaba mejorar el video cambiando el "ruido" (la estática) en medio de cada bloque.
La realidad: En los modelos rápidos, el video está casi totalmente determinado por la primera chispa (el ruido inicial). Cambiar el ruido a mitad del bloque es como intentar cambiar el sabor de un pastel horneado echando harina en el centro; no funciona. El modelo ignora esos cambios y el entrenamiento falla.

2. La Solución: AR-CoPO (El Director de Orquesta Inteligente)

AR-CoPO cambia las reglas del juego con dos ideas principales:

A. La "Bifurcación" en el Bloque Clave (Chunk-level Forking)

En lugar de intentar arreglar todo el video de golpe, AR-CoPO elige un momento específico (un "bloque" o chunk) y dice: "Aquí vamos a probar varias versiones".

La analogía: Imagina que estás escribiendo un libro. En lugar de reescribir todo el capítulo 100 veces, eliges una página clave (digamos, la página 50).
El truco: En esa página 50, creas 12 versiones diferentes del texto cambiando solo la "semilla" inicial de esa página, pero manteniendo todo lo que vino antes (capítulos 1-49) y todo lo que viene después (capítulos 51-100) exactamente igual.
El resultado: Si una versión es mejor, sabes con certeza que fue por el cambio en la página 50, no por suerte en el resto del libro. Esto permite al modelo aprender exactamente dónde mejorar sin perder tiempo ni energía.

B. La Estrategia de "Exploración y Explotación" (Semi-On-Policy)

El entrenamiento tiene dos modos, como un atleta que necesita tanto entrenar duro como descansar y perfeccionar su técnica:

Exploración (On-Policy): El modelo intenta cosas nuevas y arriesgadas cambiando las semillas iniciales. Es como un chef probando ingredientes nuevos. A veces sale genial, a veces es un desastre.
Explotación (Semi-On-Policy): Aquí está la magia. El modelo toma un "libro de recetas" (una versión previa y estable) y solo busca mejorar lo que ya sabe hacer bien, sin arriesgarse a arruinarlo todo. Es como un chef que ya sabe cocinar un plato perfecto y solo ajusta la sal para que quede aún mejor, sin cambiar los ingredientes principales.

¿Por qué es importante esto?
Si solo usas "Exploración", el modelo puede volverse loco: hace videos que cumplen la instrucción (ej. "un perro volando") pero el perro se convierte en una mancha de colores y el video se rompe.
Si solo usas "Explotación", el video es estable pero no mejora mucho.
AR-CoPO combina ambos: entrena dos "cerebros" (uno para explorar y otro para perfeccionar) y luego los fusiona. El resultado es un video que es estable, rápido y sigue las instrucciones perfectamente.

3. El Resultado Final

Gracias a AR-CoPO, los videos generados por IA ahora:

Son más rápidos (se pueden generar en tiempo real).
Tienen mejor calidad (menos errores, movimientos más naturales).
Escuchan mejor al usuario (si pides "un gato triste bajo la lluvia", el gato se ve triste y la lluvia es realista, no un caos de píxeles).

En resumen:
AR-CoPO es como un entrenador de cine que deja de intentar arreglar la película cambiando el ruido de la cámara a mitad de la escena. En su lugar, elige un momento clave, prueba varias versiones de esa escena específica, aprende cuál es la mejor, y luego combina esa creatividad con la estabilidad de un guionista experto. El resultado: películas de IA que son rápidas, bonitas y que realmente hacen lo que les pides.

Resumen Técnico: AR-CoPO

1. El Problema: Alineación de Generadores de Video Autoregresivos (AR)

Los generadores de video modernos basados en modelos de flujo (flow-matching) y difusión han logrado resultados de alta calidad, pero su inferencia es costosa y lenta. Para abordar esto, se han desarrollado generadores autoregresivos (AR) en flujo (streaming) que utilizan destilación de pocos pasos (few-step distillation) y solvers de Ecuaciones Diferenciales Ordinarias (ODE) o Modelos de Consistencia (CM). Estos modelos permiten una generación de baja latencia y de alta calidad.

Sin embargo, alinear estos modelos con preferencias humanas mediante Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) presenta desafíos críticos:

Incompatibilidad con métodos SDE: Los métodos existentes de optimización de política (como GRPO) suelen convertir el muestreo determinista de ODE en un proceso estocástico de Ecuaciones Diferenciales Estocásticas (SDE) para introducir exploración. Esto falla en generadores AR de pocos pasos porque:
1. Las trayectorias son cortas y tienen muy poca estocasticidad.
2. La diversidad de la muestra depende casi exclusivamente del ruido inicial, no del ruido intermedio inyectado por los solvers SDE.
3. Inyectar ruido en pasos intermedios (como hacen los métodos SDE) no genera variación significativa en la salida, haciendo que la exploración sea ineficaz y los gradientes de recompensa sean nulos.

2. Metodología: AR-CoPO

El artículo propone AR-CoPO (AutoRegressive Contrastive Policy Optimization), un marco que adapta la perspectiva de "Vecinos GRPO" (Neighbor GRPO) a la generación de video AR en flujo.

Componentes Clave:

Alineación a Nivel de Bloques (Chunk-level) mediante "Forking":
- En lugar de tratar la secuencia completa como una sola acción, AR-CoPO selecciona aleatoriamente un bloque pivote ( $p$ ) dentro de la secuencia de video.
- Genera un contexto compartido hasta el bloque $p-1$ .
- En el bloque $p$ , el modelo "bifurca" (forks) la generación creando un grupo de $G$ candidatos. Esto se logra perturbando el ruido inicial de ese bloque específico, mientras que el ruido de todos los demás bloques y pasos se comparte idénticamente entre todas las ramas.
- Cada rama completa el resto del video de forma determinista.
- Ventaja: Esto asegura que cualquier diferencia en la recompensa de la secuencia completa se atribuya únicamente a la elección del ruido en el bloque $p$ , resolviendo el problema de asignación de crédito (credit assignment) y reduciendo drásticamente el costo computacional de la retropropagación (solo se calcula el gradiente sobre el bloque $p$ ).
Función de Distancia para Modelos de Consistencia (CoPO):
- Para modelos basados en flujo (Flow-Matching), la distancia se mide entre latentes intermedios.
- Para Modelos de Consistencia (CM) como Self-Forcing, AR-CoPO redefine la distancia en el espacio de la predicción limpia ( $\hat{x}_0$ ) en un solo paso, en lugar de latentes intermedios, ya que los CM no siguen trayectorias ODE estándar.
Estrategia de Entrenamiento Semi-On-Policy:
- Exploración (On-Policy): Se generan nuevos candidatos perturbando el ruido inicial del modelo actual. Esto es bueno para mejorar la adherencia a la recompensa, pero puede llevar a "hacking de recompensa" (reward hacking) y degradar la coherencia temporal si se optimiza solo por recompensas semánticas globales.
- Explotación (Semi-On-Policy): Se utiliza un buffer de replay con rollouts pre-generados por una política de referencia fija (el modelo inicial). Se aplica el objetivo contrastivo sobre estos datos fijos para "explotar" las muestras de alta calidad sin necesidad de nueva exploración estocástica.
- Fusión LoRA: Se entrenan dos adaptadores LoRA independientes (uno para exploración on-policy y otro para explotación semi-on-policy) y se fusionan en la inferencia. Esto permite combinar la mejora en preferencias humanas con la estabilidad y calidad del modelo original.

3. Contribuciones Principales

Marco AR-CoPO: Un método de RLHF diseñado específicamente para generadores de video AR de pocos pasos, utilizando un objetivo contrastivo sobre candidatos de vecinos en lugar de exploración SDE ineficaz.
Espacio de Acción a Nivel de Bloque: Introduce un mecanismo de bifurcación (forking) en un bloque aleatorio que permite una asignación de crédito local y estable, resolviendo los problemas de costo y ruido en secuencias largas.
Estrategia Semi-On-Policy: Combina exploración activa con explotación de datos de referencia dentro de una región de confianza (trust region), mejorando tanto el rendimiento fuera de dominio como la calidad general de generación.

4. Resultados Experimentales

Los experimentos se realizaron sobre el modelo base Self-Forcing y Causal-Forcing, optimizando hacia la suite de recompensas VideoAlign (Alineación de Texto, Calidad de Video, Calidad de Movimiento).

Comparación con Baselines SDE-GRPO: Los métodos basados en SDE fallaron en mejorar la recompensa durante el entrenamiento debido a la naturaleza casi determinista de los modelos de pocos pasos. AR-CoPO mostró una mejora constante y significativa.
Rendimiento Cuantitativo:
- VBench (Calidad Semántica y Total): La estrategia semi-on-policy superó a los modelos base y a LongLive en métricas de calidad general.
- VideoAlign (Preferencia Humana): La fusión de los adaptadores mejoró la puntuación general de VideoAlign de 7.76 a 8.22.
- Validación de Alineación Real: A diferencia de otros métodos que sufren de "hacking de recompensa" (mejoran la puntuación de recompensa pero degradan la calidad visual), AR-CoPO logró mejorar las métricas de preferencia humana manteniendo o mejorando las métricas de calidad fuera de dominio (VBench), lo que indica una alineación genuina y no sobre-optimización.
Análisis de Ablación:
- El entrenamiento puramente on-policy para recompensas semánticas (Text Alignment) causó un colapso en la coherencia temporal y la calidad de movimiento.
- La estrategia semi-on-policy evitó este colapso, manteniendo la estabilidad del modelo mientras mejoraba la alineación.

5. Significado e Impacto

AR-CoPO resuelve una brecha fundamental en la alineación de modelos de generación de video de nueva generación (rápidos y autoregresivos). Al demostrar que la exploración basada en SDE es ineficaz para modelos de pocos pasos y proponer una alternativa basada en perturbación de ruido inicial y aprendizaje contrastivo, el trabajo:

Habilita el uso de RLHF en arquitecturas de baja latencia, esenciales para aplicaciones en tiempo real.
Proporciona una solución robusta al problema del "hacking de recompensa" en tareas de video, donde la optimización de recompensas globales suele destruir la coherencia temporal.
Establece un nuevo estándar para la alineación post-entrenamiento en generadores de video, combinando eficiencia computacional con alta calidad de salida.