Latent Policy Steering with Embodiment-Agnostic Pretrained World Models

El artículo presenta "Latent Policy Steering" (LPS), un enfoque que mejora las políticas visuomotoras en regímenes de pocos datos mediante el preentrenamiento de un modelo de mundo con representaciones de acción agnósticas al cuerpo (como el flujo óptico) y su posterior ajuste fino para guiar la selección de acciones, logrando mejoras significativas tanto en simulación como en robots reales.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a hacer tareas domésticas, como doblar una toalla o recoger objetos. El problema es que cada robot es diferente: uno tiene brazos largos, otro cortos, uno se mueve rápido y otro lento. Tradicionalmente, para que un robot aprenda, necesitas grabar miles de horas de ese mismo robot haciendo la tarea, lo cual es caro y lento.

Este paper propone una solución genial llamada "Latent Policy Steering" (LPS), que podemos traducir como "Dirección de Política Latente". Aquí te lo explico con una analogía sencilla:

1. El Problema: El "Idioma" de los Robots

Imagina que tienes un robot que es como un gato y otro que es como un perro. Si quieres enseñarle al perro a "sentarse", no puedes simplemente darle las órdenes que le das al gato, porque sus cuerpos son distintos.
En el mundo de la robótica, esto es el "gap de encarnación" (embodiment gap). Los datos que grabamos de un robot no sirven para otro porque sus "movimientos" (acciones) son diferentes.

2. La Idea Brillante: El "Lenguaje Universal" (Flujo Óptico)

Los autores se dieron cuenta de algo interesante: aunque un gato y un perro son diferentes, si ambos van a atrapar una pelota, sus cuerpos se mueven de una manera visualmente similar. La pelota se acerca, el cuerpo se estira, la mano (o pata) se cierra.

Para capturar esto, usan algo llamado Flujo Óptico.

• ¿Qué es? Imagina que pones una cámara y ves cómo se mueven los píxeles en la pantalla. No importa si es un brazo robótico o una mano humana; si ambos mueven un objeto de un punto A a un punto B, los "ríos de movimiento" en la pantalla se ven casi idénticos.
• La Analogía: Es como si, en lugar de enseñarle al robot a mover sus músculos específicos (que son diferentes), le enseñáramos a dibujar el movimiento en el aire. Es un lenguaje universal que tanto humanos como robots pueden entender.

3. El Proceso en 3 Pasos (El Viaje del Robot)

Paso 1: El Entrenamiento "Genérico" (Pre-entrenamiento)

En lugar de entrenar al robot directamente, primero entrenan un "Mundo Simulado" (World Model).

• La Analogía: Imagina un entrenador de fútbol muy sabio que ha visto miles de videos de jugadores de todos los equipos del mundo (humanos, robots grandes, robots pequeños). Este entrenador no se fija en los zapatos de cada jugador, sino en cómo se mueve el balón y el campo (el flujo óptico).
• El entrenador aprende las reglas del juego: "Si el balón va hacia la portería, el jugador debe correr así". Esto le permite entender la física y el movimiento sin estar atado a un robot específico.

Paso 2: El Ajuste Fino (Fine-tuning)

Ahora, traemos al robot real que queremos usar (digamos, el robot que tiene que doblar la toalla en tu casa).

• La Analogía: Llevamos al robot al entrenador sabio. El entrenador le dice: "Ya sé cómo se mueve el balón en general, pero ahora necesito que aprendas a usar tus piernas específicas".
• El robot solo necesita ver pocas demostraciones (30 a 100 veces) de alguien haciendo la tarea con su cuerpo. El entrenador adapta su conocimiento general a las piernas específicas del robot.

Paso 3: La "Dirección" (Steering) - El Truco Final

Aquí viene la magia. El robot tiene una "política base" (una primera idea de qué hacer), pero a veces se equivoca o se desvía.

• La Analogía: El robot tiene un GPS interno (el Valor o Value Function). Antes de ejecutar un movimiento, el robot piensa: "Si hago esto, ¿dónde voy a terminar en 5 segundos? ¿Estoy cerca de la meta o me voy a caer?".
• El sistema genera varios planes de acción posibles (como si el robot pensara: "¿Y si giro a la izquierda? ¿Y si giro a la derecha?").
• El GPS interno simula el futuro de cada opción y elige solo la mejor. Si el robot empieza a desviarse (por ejemplo, a tirar la toalla en lugar de doblarla), el GPS lo corrige inmediatamente antes de que ocurra el error.

¿Por qué es tan bueno esto?

1. Ahorro de tiempo y dinero: No necesitas grabar miles de horas de tu robot específico. Puedes usar videos de YouTube de humanos o datos de otros robots para "entrenar al cerebro" primero.
2. Funciona con pocos datos: En pruebas reales, mejoraron el rendimiento del robot en un 70% usando solo 30-50 demostraciones, comparado con métodos antiguos que fallaban mucho.
3. Es robusto: El sistema sabe cuándo el robot se está desviando del camino correcto y lo corrige, como un copiloto experto que te dice "¡Cuidado, te estás saliendo de la carretera!" antes de que tengas un accidente.

En resumen

Este paper nos dice: "No enseñes al robot a mover sus músculos desde cero. Enséñale a entender el movimiento visual (como un director de cine) usando datos de todo el mundo, y luego usa un GPS inteligente para guiar sus movimientos específicos hacia la meta."

Es como si le dieras a un robot la experiencia de vida de mil personas diferentes, para que luego, cuando tenga que hacer una tarea específica, solo tenga que ajustar un poco su estilo personal.

Resumen técnico

Resumen Técnico: Latent Policy Steering con Modelos del Mundo Preentrenados Agnósticos al Encarnamiento

1. El Problema

El aprendizaje de políticas visuomotoras para robots mediante Imitación (Behavior Cloning - BC) depende críticamente de la cantidad y calidad de los datos de entrenamiento. Existen dos desafíos principales:

• Escasez de datos: Recopilar demostraciones expertas para un robot específico es costoso y lento.
• Brecha de Encarnamiento (Embodiment Gap): Los grandes conjuntos de datos disponibles (robots diversos o videos humanos) tienen espacios de acción incompatibles con el robot objetivo. Por ejemplo, los datos de un brazo humanoide no se pueden usar directamente para entrenar un brazo robótico industrial debido a diferencias en la cinemática y la percepción.
• Limitaciones de la Pre-entrenamiento Actual: Los enfoques actuales que intentan pre-entrenar modelos en múltiples encarnaciones suelen generar representaciones demasiado dependientes de los encarnamientos específicos del conjunto de datos, lo que dificulta su adaptación (fine-tuning) a un nuevo robot con pocos datos.

2. Metodología

Los autores proponen un marco de trabajo en tres etapas que combina Modelos del Mundo (World Models - WM) y Dirigido de Políticas Latentes (Latent Policy Steering - LPS).

A. Representación de Acción Agnóstica al Encarnamiento (Optical Flow)

• Insight Clave: Las habilidades ejecutadas por diferentes encarnaciones (robots o humanos) producen patrones de movimiento visualmente similares.
• Solución: En lugar de usar acciones específicas del robot (como la posición del efector final), utilizan flujo óptico como representación de acción agnóstica.
• Ventaja: El flujo óptico captura el movimiento visual sin depender de la morfología del robot. Esto permite pre-entrenar un modelo en datos de múltiples fuentes (simulación, robots reales, videos humanos) sin necesidad de alinear sus espacios de acción.

B. Entrenamiento del Modelo del Mundo (WM)

• Pre-entrenamiento: Se entrena un WM basado en imágenes (arquitectura tipo Dreamer v3) utilizando el flujo óptico codificado como entrada de acción. El encoder convolucional aprende a comprimir el flujo óptico en un vector de dimensión $n$ (donde $n$ coincide con la dimensión del espacio de acción del robot objetivo), filtrando ruido y diferencias morfológicas.
• Fine-tuning (Ajuste Fino): Dado un pequeño conjunto de datos del robot objetivo (experto), el WM se ajusta utilizando las acciones reales del robot en lugar del flujo óptico. Esto alinea el modelo del mundo con la dinámica específica del robot objetivo.

C. Latent Policy Steering (LPS)

• Política Base: Se entrena una política base (usualmente una política de difusión) desde cero con los datos del robot objetivo.
• Función de Valor Robusta: Se entrena una función de valor ($V(s)$) en el espacio latente del WM. Esta función es clave porque:
  1. Evalúa estados futuros simulados por el WM.
  2. Se entrena no solo con datos expertos, sino también con estados que la política probablemente visitará durante la inferencia (simulados).
  3. Penalización de Desviación: Si la política simulada se desvía de la distribución de datos expertos, la función de valor aplica una penalización (recompensa reducida) basada en la similitud coseno entre los estados latentes.
• Inferencia: Durante la ejecución, el sistema genera múltiples planes de acción candidatos desde la política base. El WM simula el futuro de cada plan, y la función de valor selecciona el plan con la mayor recompensa esperada, corrigiendo así la deriva de distribución (distribution shift) antes de ejecutar la acción.

3. Contribuciones Clave

1. Flujo Óptico como Acción Agnóstica: Propone el uso del flujo óptico para pre-entrenar Modelos del Mundo a través de robots y humanos diversos, eliminando la dependencia de espacios de acción específicos.
2. Latent Policy Steering (LPS): Un nuevo algoritmo que utiliza el WM y una función de valor robusta para guiar una política base hacia la distribución de datos expertos, mitigando la deriva de distribución en tiempo de inferencia.
3. Eficacia en Regímenes de Pocos Datos: Demuestra que se puede mejorar significativamente el rendimiento de robots en tareas de manipulación a largo plazo utilizando grandes cantidades de datos de otras fuentes (incluso humanos) con solo un pequeño conjunto de datos del robot objetivo para el ajuste fino.

4. Resultados

Los experimentos se realizaron en entornos simulados (Robomimic) y en el mundo real (con un robot Franka).

• Mundo Real:
  • En tareas complejas (uso de herramientas, objetos deformables), LPS logró una mejora relativa del 70% con 30-50 demostraciones y del 44% con 60-100 demostraciones, comparado con una política de clonación de comportamiento (BC) sin pre-entrenamiento.
  • Superó a modelos pre-entrenados dependientes del encarnamiento (como HPT), los cuales fallaron al intentar ajustarse con pocos datos.
• Simulación (Robomimic):
  • Se observó una mejora promedio del 10.6% en la tasa de éxito sobre la política BC en cuatro tareas.
  • El método funcionó mejor cuando la política base era multimodal (generaba planes diversos), lo cual se logra con suficientes demostraciones (50+).
• Análisis de Ablación:
  • El uso de flujo óptico superó al uso de la posición del efector final (EEF) como representación de pre-entrenamiento, especialmente al incluir datos humanos.
  • La función de valor robusta (que penaliza la desviación de la distribución experta) fue crucial; sin ella, el rendimiento caía por debajo de la política base.

5. Significado e Impacto

Este trabajo es significativo porque ofrece una solución práctica al "cuello de botella" de la recolección de datos en robótica:

• Reutilización de Datos: Permite aprovechar masivamente datos existentes (videos de YouTube, datasets públicos como Open X-Embodiment, datos de simulación) que anteriormente eran inútiles para robots específicos debido a la incompatibilidad de acciones.
• Eficiencia de Muestras: Reduce drásticamente la cantidad de datos necesarios del robot objetivo para lograr un alto rendimiento, haciendo viable el aprendizaje de habilidades complejas en escenarios de pocos datos.
• Generalización: Al separar la dinámica visual (flujo óptico) de la acción específica del robot, el enfoque facilita la creación de políticas más generalizables y adaptables a nuevos entornos y morfologías robóticas.

En resumen, el artículo presenta un marco robusto que combina la visión por computadora (flujo óptico), la modelación del mundo y la planificación basada en valores para superar las limitaciones actuales del aprendizaje por imitación en robótica.