TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance

1. El Problema

En el aprendizaje por refuerzo (RL) para robótica, el diseño de funciones de recompensa densas es fundamental para guiar al agente hacia la tarea, pero su creación manual es laboriosa, requiere experiencia de dominio y no escala bien. Por otro lado, las recompensas esparsas (solo éxito/fracaso al final) hacen que el aprendizaje sea ineficiente.

La mayoría de los métodos actuales de aprendizaje a partir de demostraciones (Imitation Learning) intentan recuperar las acciones perdidas o modelar la dinámica inversa, lo cual es costoso en datos y computacionalmente inestable. Además, muchos enfoques basados en recompensas progresivas dependen de etiquetas de acciones o de modelos generativos complejos que sufren de inestabilidad o "hacking" de recompensas.

El objetivo es desarrollar un método que pueda generar señales de recompensa densas y significativas utilizando únicamente videos pasivos (demonstraciones de expertos o humanos) sin necesidad de etiquetas de acción ni acceso a la recompensa del entorno.

2. Metodología: TimeRewarder

TimeRewarder es un marco de trabajo que infiere el progreso de una tarea aprendiendo a predecir la distancia temporal entre pares de fotogramas en un video.

Concepto Central

La premisa es que el orden temporal de los fotogramas en una demostración experta refleja el progreso hacia la meta. Si se puede predecir qué tan lejos está un fotograma de otro en términos de tiempo (pasos hacia la meta), esa predicción puede servir como una señal de recompensa densa.

Componentes Clave del Método:

1. Modelado de Distancia Temporal:

   • Se entrena un modelo $F_\theta$ (usando una red neuronal basada en ViT-B preentrenado con CLIP) para predecir la distancia temporal normalizada $d_{uv}$ entre dos fotogramas ordenados $(o_u, o_v)$ de una trayectoria experta.
   • La distancia se define como $d_{uv} = \frac{v-u}{T-1}$, donde el rango es $[-1, 1]$. Un valor positivo indica progreso hacia la meta, y un valor negativo indica retroceso.

2. Muestreo de Pares Ponderado (Weighted Pair Sampling):

   • Para capturar tanto el progreso a largo plazo como los cambios finos entre pasos adyacentes, el método muestrea pares de fotogramas con una probabilidad inversamente proporcional a su intervalo temporal ($P(\Delta) \propto 1/\Delta$). Esto fuerza al modelo a aprender detalles locales finos.

3. Muestreo Negativo Implícito (Implicit Negative Sampling):

   • Al permitir que los pares de fotogramas se muestreen en orden inverso (de $v$ a $u$), el modelo aprende naturalmente a asignar recompensas negativas a comportamientos subóptimos o de retroceso, sin necesidad de datos de fallos explícitos. Esto evita que el modelo memorice trivialmente las trayectorias.

4. Discretización "Two-Hot":

   • En lugar de una regresión directa (que puede ser inestable), la distancia temporal se discretiza en $K$ bins (usualmente 20) utilizando una distribución "two-hot" suave. Esto mejora la estabilidad numérica y la precisión en los límites de progreso.

5. Entrenamiento y Uso en RL:

   • Fase 1 (Entrenamiento): El modelo se entrena de forma auto-supervisada solo con videos de expertos.
   • Fase 2 (RL): Durante la exploración del agente, el modelo calcula la distancia entre fotogramas adyacentes de la trayectoria del agente. Esta distancia se convierte en una recompensa densa paso a paso.
   • La recompensa final combina esta señal densa con la señal esparsa de éxito del entorno: $r_t = r_{TR}(o_t, o_{t+1}) + \alpha \cdot r_{success}(o_t)$.

3. Contribuciones Clave

• Aprendizaje de Recompensa sin Acciones: TimeRewarder es capaz de derivar recompensas densas informativas exclusivamente a partir de videos pasivos, sin necesidad de etiquetas de acción ni supervisión privilegiada.
• Generalización a Comportamientos Subóptimos: A diferencia de métodos anteriores que solo modelan progreso positivo, TimeRewarder asigna valores negativos a la regresión o estancamiento, guiando al agente a evitar comportamientos inútiles.
• Superioridad sobre Recompensas Manuales: Los experimentos muestran que las recompensas aprendidas por TimeRewarder superan incluso a las recompensas densas diseñadas manualmente en el entorno (Meta-World), capturando un progreso más fino (especialmente antes del contacto físico).
• Generalización Cross-Dominio: El método puede utilizar videos de humanos reales (con diferentes cuerpos y fondos) para mejorar el aprendizaje de robots, demostrando una gran capacidad de generalización.

4. Resultados Experimentales

Los autores evaluaron TimeRewarder en 10 tareas complejas de manipulación de Meta-World con 100 demostraciones por tarea.

• Rendimiento en RL: TimeRewarder logró un éxito casi perfecto (9/10 tareas) con solo 200,000 interacciones por tarea.
• Comparativa: Superó a todos los métodos de base (baselines) en tasa de éxito y eficiencia de muestras, incluyendo:
  • Métodos de aprendizaje de recompensa basados en progreso (PROGRESSOR, Rank2Reward, VIP).
  • Métodos de imitación desde observación (GAIfO, OT, ADS).
  • Incluso superó a las políticas entrenadas con las recompensas densas "ground-truth" diseñadas manualmente por los desarrolladores del entorno en 9 de las 10 tareas.
• Métricas de Calidad:
  • Correlación Valor-Orden (VOC): TimeRewarder mostró la mayor coherencia temporal, asignando valores monótonamente crecientes a trayectorias exitosas no vistas.
  • Discriminación de Fallos: Visualizaciones mostraron que el método distingue claramente entre intentos parciales exitosos y fallos completos, a diferencia de otros métodos que se saturan o se confunden por similitudes visuales.
• Generalización Cross-Dominio: Al combinar 1 demostración de robot con 20 videos de humanos, el rendimiento mejoró significativamente en comparación con usar solo uno de los dos tipos de datos, demostrando la capacidad de aprovechar datos heterogéneos.

5. Significado e Impacto

TimeRewarder representa un avance significativo hacia la escalabilidad del aprendizaje de habilidades robóticas. Al eliminar la necesidad de ingeniería manual de recompensas y permitir el uso de videos "in-the-wild" (incluyendo humanos), democratiza el acceso a señales de entrenamiento ricas.

• Viabilidad Práctica: Reduce la barrera de entrada para aplicar RL en robótica real, donde diseñar recompensas manuales es prohibitivo.
• Robustez: La capacidad de aprender de videos sin etiquetas de acción y generalizar a nuevos entornos y embodiments (robots vs. humanos) sugiere un camino viable hacia el aprendizaje de habilidades a gran escala ("watch-to-act").
• Limitaciones Futuras: El artículo reconoce que las tareas con movimientos de ida y vuelta frecuentes (que violan la suposición de observabilidad parcial) pueden ser desafiantes, sugiriendo que modelos jerárquicos o con memoria podrían ser la siguiente evolución.

En resumen, TimeRewarder demuestra que la estructura temporal inherente en los videos es una fuente poderosa y subutilizada de información de recompensa, capaz de superar a las soluciones diseñadas a mano y facilitar el aprendizaje autónomo de robots.