Resumen Técnico: CreFlow: Reflujo Correctivo para RL de Difusión de Video Encarnado con Recompensas Escasas

1. Declaración del Problema

Los modelos de generación de video (VGM) entrenados con datos heterogéneos a escala web a menudo producen secuencias visualmente plausibles que violan las restricciones físicas cuando se aplican a tareas de manipulación encarnada. Si bien el aprendizaje por refuerzo (RL) post-entrenamiento ofrece una vía para alinear estos modelos con objetivos de recompensa específicos, los enfoques existentes enfrentan dos limitaciones críticas en el contexto de la manipulación:

1. Diseño de Recompensa Inadecuado: Las recompensas actuales de video-RL a menudo dependen de métricas visuales de bajo nivel (por ejemplo, calidad visual, suavidad del movimiento, alineación con el texto) o puntuaciones de una sola dimensión. Estas no logran capturar la naturaleza composicional de las tareas de manipulación, donde el éxito depende del cumplimiento simultáneo de múltiples condiciones lógicas (por ejemplo, persistencia del objeto, validez cinemática, orden causal). En consecuencia, un video puede recibir una puntuación de recompensa alta a pesar de contener errores sutiles pero decisivos (por ejemplo, teletransportación de objetos o violaciones cinemáticas) que conducen a fallos en la ejecución posterior.
2. Optimización Ineficiente en Altas Dimensiones: Los videos de manipulación son de alta dimensión, pero los errores críticos para la tarea a menudo ocupan solo regiones espaciotemporales escasas. Aplicar actualizaciones de RL uniformes en todo el tensor del video desperdicia gradientes en píxeles y pasos de tiempo irrelevantes para la recompensa. Esto puede perturbar regiones que ya son plausibles o no relacionadas con la tarea, lo que lleva a una deriva fuera de la variedad y al colapso de la política, especialmente al tratar con recompensas binarias escasas.

2. Metodología: CreFlow

Los autores proponen CreFlow (Corrective Reflow), un marco de RL en línea diseñado para post-entrenar modelos de difusión de video encarnado utilizando recompensas composicionales y escasas. El marco consta de dos componentes principales: un modelo de recompensa basado en restricciones composicionales y un objetivo de entrenamiento novedoso.

2.1 Monitor de Restricciones Composicionales

En lugar de depender de puntuaciones visuales holísticas, CreFlow formula el éxito de la tarea como un conjunto de restricciones de Lógica Temporal Lineal (LTL).

• Síntesis de Especificación: Para un contexto de tarea dado (instrucción y observación inicial), un agente de codificación sintetiza una fórmula LTL específica de la tarea $\Phi_c$. Esta fórmula es una conjunción de predicados atómicos (por ejemplo, GRASP(brazo, taza), IN(taza, cajón)) que cubren cuatro familias: persistencia, colocación terminal, acoplamiento causal y ordenamiento.
• Elevación de Estado y Evaluación: Para cada secuencia generada, el sistema eleva el video a una traza de estado utilizando modelos fundacionales de visión (SAM3 para máscaras/trajectorias, IDM para estados del robot, VLM para comprobaciones de atributos). Un monitor LTL de traza finita evalúa la secuencia contra $\Phi_c$.
• Salida: El monitor devuelve una etiqueta de éxito binaria ($r \in \{0, 1\}$) y, crucialmente, trazas de violación ($V$) que identifican exactamente qué restricciones se violaron, en qué entidades y en qué pasos de tiempo.

2.2 Objetivos de Entrenamiento

CreFlow convierte la retroalimentación binaria escasa en supervisión localizada y accionable a través de dos funciones de pérdida clave:

1. Pérdida NFT Consciente del Crédito:

   • La Ajuste Fino Negativo Consciente (NFT) estándar aplica actualizaciones de manera uniforme. CreFlow agrega las trazas de violación de un grupo de secuencias para construir una máscara espaciotemporal ($M$).
   • Esta máscara identifica las entidades y los fotogramas específicos responsables del fallo de la tarea.
   • La pérdida restringe el contraste de velocidad positivo-negativo a esta máscara, confinando las actualizaciones de RL a regiones relevantes para la recompensa. Esto evita que el modelo perturbe regiones irrelevantes y plausibles del video.

2. Pérdida de Reflujo Correctivo:

   • Los métodos existentes a menudo tratan las secuencias fallidas de forma aislada o utilizan un objetivo reflejado basado en un Promedio Móvil Exponencial (EMA) de la política, lo que introduce ruido.
   • CreFlow agrega secuencias exitosas dentro del grupo (generadas bajo la misma observación inicial e instrucción) para formar una media empírica ($\bar{x}^+_0$).
   • Esta media sirve como un objetivo correctivo explícito para las secuencias fallidas en sus regiones violadas. En lugar de simplemente suprimir muestras negativas, el modelo se guía explícitamente para moverse hacia la distribución de resultados exitosos dentro de la misma condición.

El objetivo final combina la pérdida NFT consciente del crédito, la pérdida de reflujo correctivo y un regularizador KL hacia una política de referencia congelada.

3. Contribuciones Clave

1. Modelo de Recompensa Basado en Restricciones Composicionales: Los autores introducen un modelo de recompensa que formula automáticamente los requisitos de la tarea como restricciones LTL. Esto proporciona no solo una señal de éxito binaria fiel alineada con la ejecución posterior, sino también información diagnóstica localizada (violaciones por restricción, entidad y fotograma) esencial para el aprendizaje con recompensas escasas.
2. Marco CreFlow: Un marco de RL en línea novedoso que transforma violaciones composicionales escasas en estimadores correctivos localizados. Combina de manera única:
   • Una pérdida NFT consciente del crédito que restringe las actualizaciones a regiones espaciotemporales relevantes para el fallo.
   • Una pérdida de reflujo correctivo que utiliza muestras positivas dentro del grupo como objetivos de corrección explícitos, estabilizando el entrenamiento y reduciendo la varianza.
3. Validación Empírica: Experimentos extensos en ocho tareas de manipulación bimanual (RoboTwin) demuestran que CreFlow supera a las líneas base existentes de video-RL y a las referencias a nivel de política.

4. Resultados Experimentales

El artículo evalúa CreFlow en ocho tareas de manipulación bimanual RoboTwin (por ejemplo, agarrar y colocar, manipulación articulada, disposición de múltiples objetos).

• Éxito en la Ejecución Posterior: CreFlow mejora el éxito de la ejecución posterior en un 23.8 puntos porcentuales en promedio en comparación con el modelo base Vidar y supera significativamente a otros métodos de post-entrenamiento por RL (DanceGRPO, DiffusionNFT) y líneas base de recompensa (EVA, WMReward).
• Fidelidad de la Recompensa: El modelo de recompensa composicional logra un 88.0% de acuerdo con las etiquetas de éxito humanas y un 91.0% de acuerdo con las etiquetas de ejecución del simulador, superando sustancialmente a los modelos de recompensa continua y a las líneas base de VLM como juez.
• Eficiencia de Entrenamiento: CreFlow converge más rápido y alcanza recompensas acumuladas más altas que las líneas base. Los estudios de ablación confirman que tanto la máscara consciente del crédito como la pérdida de reflujo correctivo son necesarias; eliminar cualquiera de ellas conduce a una degradación del rendimiento o a un entrenamiento inestable.
• Análisis Cualitativo: Las ablaciones visuales muestran que, sin la máscara consciente del crédito, las actualizaciones estándar de RL degradan las regiones fuera de la tarea (por ejemplo, objetos de fondo), mientras que CreFlow preserva el prior preentrenado en áreas no críticas mientras corrige los fallos específicos de la tarea.

5. Significado y Afirmaciones

El artículo afirma que CreFlow aborda una brecha fundamental en la generación de video encarnado: la discrepancia entre la plausibilidad visual global y los requisitos lógicos y composicionales de la manipulación física.

• Evaluación Fiel: Al pasar de métricas visuales de bajo nivel a verificación basada en lógica, CreFlow proporciona señales de recompensa que están verdaderamente alineadas con el éxito de la tarea, evitando la "alucinación" de éxito en videos que parecen bien pero fallan físicamente.
• Manejo de Recompensas Escasas: El marco demuestra que las recompensas binarias escasas pueden aprovecharse eficazmente para la generación de video de alta dimensión si la optimización se localiza en las regiones específicas de fallo y se guía mediante objetivos correctivos explícitos derivados de muestras exitosas.
• Impacto Práctico: El método permite el post-entrenamiento de modelos de video de propósito general para tareas robóticas específicas sin requerir recompensas densas y diseñadas a mano, mejorando significativamente las tasas de éxito de ejecución.

Limitaciones: Los autores reconocen que el monitor actual razona sobre estados del plano de imagen 2D y no puede resolver completamente las relaciones espaciales 3D de alta granularidad. Identifican la extensión de la evaluación de restricciones con estimación de profundidad o estado 3D como una dirección para trabajos futuros.