Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video

Resumen Técnico: Modelado de Preferencias Humanas mediante Predicción de Movimiento Visual

1. Planteamiento del Problema

El aprendizaje de habilidades robóticas a partir de demostraciones humanas en video (especialmente videos en primera persona o egocéntricos) enfrenta dos desafíos principales:

• La brecha de encarnación y entorno: Los robots deben transferir información de videos humanos a su propia realidad física, donde el cuerpo (efector) y el entorno difieren significativamente.
• Limitaciones de los métodos actuales de aprendizaje de recompensas: Las aproximaciones anteriores suelen estimar el valor de un estado visual basándose en la distancia temporal al estado final (objetivo) en el video de demostración.
  • Defectos de los métodos basados en distancia temporal: Son sensibles al ruido en los datos, se ven sesgados negativamente por pausas o distracciones del humano (ya que asumen que cada paso tiene un costo fijo), y tienen dificultades para generalizar la función de valor aprendida desde videos humanos a videos de robots. Además, a menudo premian movimientos que se parecen a la demostración pero no logran el resultado deseado.

El objetivo es reducir drásticamente la cantidad de demostraciones en el robot necesarias para aprender una habilidad, utilizando grandes conjuntos de datos de video humano para generar una señal de recompensa densa y robusta.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que modela las preferencias humanas a corto plazo mediante la predicción del movimiento de puntos visuales en objetos relevantes para la tarea. El proceso se divide en tres etapas principales:

A. Aprendizaje de Preferencias (Modelo de Predicción de Movimiento)

• En lugar de predecir el valor a largo plazo, el sistema aprende a predecir cómo se moverán los puntos rastreados en objetos de la tarea entre frames consecutivos.
• Entrada: Se utilizan videos egocéntricos (ej. Ego4D, Epic Kitchens). Se extraen máscaras de objetos relevantes y se rastrean una cuadrícula de puntos sobre ellos.
• Arquitectura: Se utiliza un Transformador de Predicción de Movimiento (basado en la arquitectura DiT - Diffusion Transformer) que toma una observación visual $o_t$, la posición actual de los puntos $P_t$ y un indicador de progreso de tarea normalizado $\tau$, para predecir la posición futura $P_{t+1}$.
• Características visuales: Se emplea un encoder de visión congelado (DinoV2) para extraer características visuales robustas que ayudan a predecir el movimiento de los puntos.

B. Definición de la Función de Recompensa

• Para una ejecución del robot, se comparan los desplazamientos de puntos predichos (basados en el modelo entrenado con humanos) con los desplazamientos de puntos observados (rastreados en el video del robot).
• La recompensa $r_t$ en cada paso se calcula como la alineación (similitud del coseno) entre el vector de movimiento predicho y el observado para los puntos en los objetos de la tarea.
• Ventaja clave: Esto recompensa al robot por lograr el resultado (movimiento del objeto) en lugar de imitar ciegamente la acción humana. Si el robot mueve el objeto correctamente pero con una trayectoria diferente, recibe recompensa; si mueve la mano como el humano pero el objeto no se mueve, no recibe recompensa.

C. Aprendizaje de Refuerzo Residual (Residual RL)

• Para optimizar la política del robot, se utiliza un marco de Aprendizaje por Refuerzo Residual combinado con Soft Actor-Critic (SAC).
• Política Base: Se entrena primero una política de clonación de comportamiento (Behavior Cloning) con un conjunto muy pequeño de demostraciones en el robot (10 demos). Esta política se mantiene congelada.
• Política Residual: El algoritmo SAC aprende una política residual ($\pi_{RL}$) que corrige las acciones de la política base.
• Estabilidad: Se implementan técnicas para evitar la inestabilidad típica del RL en el mundo real, como el uso de múltiples redes de críticos (min-Q), normalización por capas (LayerNorm) y pre-entrenamiento del crítico con datos en línea etiquetados con la nueva función de recompensa.

3. Contribuciones Clave

1. Nueva Función de Recompensa Visual: Introducción de un modelo de recompensa basado en la predicción del movimiento de puntos de objetos, que captura las preferencias humanas a corto plazo en lugar de la distancia temporal al objetivo.
2. Robustez ante la Brecha de Dominio: Al centrarse en el movimiento de los objetos de la tarea (invariantes de encarnación) en lugar de la trayectoria de la mano humana o la distancia temporal, el método reduce el sesgo causado por la diferencia entre humanos y robots.
3. Detección de Fallos Superior: El método es capaz de distinguir entre intentos que "parecen" correctos (movimientos humanos similares) pero fallan en el resultado (el objeto no se mueve), algo en lo que fallan los métodos basados en distancia temporal.
4. Eficiencia de Muestra en Hardware Real: Demostración de que se puede mejorar significativamente el rendimiento de un robot en el mundo real con solo 10 demostraciones iniciales y 1 hora de entrenamiento en línea.

4. Resultados Experimentales

Los autores evaluaron su método (denominado MPR - Motion Prediction Reward) frente a baselines como recompensas dispersas, recompensas densas manuales y el estado del arte VIP (Value Implicit Pretraining, basado en distancia temporal).

• Entorno Simulado (Franka Kitchen):
  • En la tarea "Abrir Microondas", MPR superó claramente a VIP y rastreó el rendimiento de la recompensa densa manual.
  • En "Abrir Armario", MPR y VIP tuvieron un rendimiento similar, pero MPR mostró señales de recompensa más estables y menos sesgadas.
• Hardware Real (Robot Franka Research 3):
  • Se probaron tres tareas: Abrir Microondas, Doblar Tela y Limpiar Encimera.
  • Rendimiento: MPR superó consistentemente a VIP en todas las tareas.
    • Abrir Microondas: MPR logró un 76.7% de éxito, frente al 23.3% de VIP (que incluso perdió rendimiento respecto a la política base, mostrando comportamiento de "olvido").
    • Doblar Tela: MPR alcanzó 73.3% vs 8.3% de VIP.
  • Análisis de Fallos: En la tarea de doblar tela, VIP premió al robot por mover el efector final a la posición de destino sin haber agarrado la tela primero (fallo en la lógica de la tarea), mientras que MPR no otorgó recompensa porque el objeto (la tela) no se movió como se esperaba.
  • Eficiencia: Con solo 100 episodios de interacción (aprox. 1 hora), MPR mejoró la tasa de éxito de la política base en más de un 30% en tareas clave.

5. Significado e Impacto

Este trabajo representa un avance significativo en el aprendizaje de robots a partir de datos de video no estructurados de internet.

• Cambio de Paradigma: Mueve el enfoque de "imitar la acción" o "medir el tiempo hasta el final" a "predecir y alinear el movimiento del objeto".
• Viabilidad Práctica: Demuestra que es posible realizar un ajuste fino (fine-tuning) de políticas robóticas en el mundo real de manera eficiente y estable, superando las limitaciones de los métodos anteriores que requerían grandes cantidades de datos o simulaciones complejas.
• Fundamento para Modelos Densos: Sugiere que el modelado de preferencias mediante características visuales dinámicas (movimiento) es una vía prometedora para crear modelos fundamentales de recompensa densa para la robótica, capaces de generalizar a nuevas tareas y entornos.

En conclusión, la propuesta demuestra que modelar las preferencias humanas a través de la predicción del movimiento de puntos en objetos permite transferir habilidades de videos humanos a robots físicos de manera más robusta, precisa y eficiente en términos de muestras que las técnicas anteriores basadas en distancia temporal.