Resumen Técnico: Los Modelos de Acción de Mundo permiten el Aprendizaje de Imitación Continuo con Replay Generativo Recurrente

1. Formulación del Problema

El artículo aborda el desafío del aprendizaje de imitación continuo para políticas robóticas, centrándose específicamente en el olvido catastrófico. A medida que los Modelos de Acción de Mundo (WAMs, por sus siglas en inglés) surgen como políticas robóticas de propósito general capaces de unificar percepción, predicción y control, deben adaptarse a nuevas tareas de forma secuencial. Sin embargo, el ajuste fino (fine-tuning) secuencial estándar provoca que el modelo sobrescriba las habilidades previamente aprendidas.

Las soluciones tradicionales dependen del Experience Replay (ER), que almacena y reproduce demostraciones humanas reales de tareas anteriores. Los autores argumentan que este enfoque es cada vez más impráctico en la robótica moderna, donde las políticas suelen entrenarse en conjuntos de datos a gran escala y propietarios que no se publican, o donde el almacenamiento de demostraciones pasadas es inviable. El problema central es: ¿Cómo puede un robot retener las habilidades aprendidas previamente durante la adaptación continua sin tener acceso a las demostraciones humanas originales?

2. Metodología: Replay Generativo Recurrente (REGEN)

Los autores proponen el Replay Generativo Recurrente (REGEN), un marco que aprovecha las capacidades generativas intrínsecas de los WAMs para sintetizar trayectorias de pseudo-replay, eliminando la necesidad de almacenar demostraciones reales.

Mecanismo Central

Los WAMs se definen como políticas que modelan conjuntamente acciones futuras ($\tilde{a}$) y observaciones visuales futuras ($\tilde{o}$) condicionadas por instrucciones de lenguaje ($\ell$) y observaciones actuales ($o$). REGEN explota esto mediante la consulta recursiva del WAM para generar trayectorias "alucinadas" de tareas pasadas.

El proceso de generación para una tarea previa $T_i$ (dada solo su instrucción de lenguaje $\ell_i$) procede en tres etapas:

1. Inicialización: El despliegue (rollout) se siembra con una observación real muestreada de las demostraciones de la tarea actual ($D_k$) para proporcionar un contexto visual válido.
2. Generación Recurrente: El modelo predice un bloque de acción (action chunk) y una observación futura. Crucialmente, la observación futura generada ($\tilde{o}_t$) se retroalimenta como la entrada de observación para el siguiente paso, en lugar de utilizar datos reales. Este bucle recursivo continúa hasta que se cumple una condición de terminación.
3. Terminación: La generación se detiene en un horizonte máximo o cuando la cabeza de recompensa interna del modelo predice la finalización de la tarea (por ejemplo, recompensa > 0.99 para pasos consecutivos).

Objetivo de Entrenamiento

La política se actualiza mediante clonación de comportamiento en un conjunto de datos combinado $D^+_k = D_k \cup R_k$, donde $D_k$ son las demostraciones reales de la tarea actual y $R_k$ es el conjunto de trayectorias pseudo-sintetizadas para todas las tareas previas. La función de pérdida minimiza la diferencia entre las acciones predichas por la política y las acciones dentro de estas trayectorias pseudo, condicionadas a sus respectivas instrucciones de tarea.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco REGEN: El primer marco de aprendizaje de imitación continuo que utiliza el propio WAM como un mecanismo de replay generativo nativo, sintetizando trayectorias sin almacenar demostraciones reales pasadas.
2. Validación Empírica: Demostración de que REGEN mitiga sustancialmente el olvido catastrófico tanto en entornos simulados (benchmarks LIBERO) como en el mundo real (manipulador xArm7), preservando al mismo tiempo la transferencia hacia adelante (forward transfer) a nuevas tareas.
3. Análisis de Limitaciones: Identificación de los cuellos de botella específicos que impiden que el replay generativo iguale al de experiencia real: (i) degradación visual en horizontes largos durante la generación recursiva, y (ii) inconsistencias entre las observaciones futuras predichas y las acciones generadas correspondientes.

4. Resultados Experimentales

Simulación (Benchmarks LIBERO)

Los experimentos se realizaron en las suites LIBERO-Spatial, LIBERO-Object y LIBERO-Goal.

• Rendimiento: REGEN redujo el Backward Transfer Negativo (NBT) en más del 50% en comparación con el Ajuste Fino Secuencial (Seq-FT) ingenuo. Por ejemplo, en LIBERO-Goal, el NBT cayó de 100 (Seq-FT) a 44.9 (REGEN).
• Comparación: Aunque el Experience Replay (ER) utilizando datos reales sigue siendo el límite superior, REGEN superó significativamente a otros baselines sin replay (Seq-LoRA, EWC, PackNet) y se acercó al rendimiento de los métodos de ER privilegiados.
• Estabilidad de la Representación: El análisis de la deriva de la representación de la acción mostró que REGEN mantuvo una deriva significativamente menor (0.12) en comparación con Seq-FT (0.30), preservando la estructura interna de la política.

Manipulación en el Mundo Real

Las pruebas se realizaron con un robot xArm7 en tareas que consistían en colocar objetos (zanahorias, berenjenas) en cuencos o platos.

• Resultados: REGEN redujo el olvido (NBT) de 96.3 a 60.5 y mejoró la Transferencia hacia Adelante (FWT) de 50 a 80 en comparación con Seq-FT.
• Significancia: Esto confirma la viabilidad del método más allá de la simulación, ofreciendo un enfoque práctico para robots reales donde la recolocación de datos pasados es imposible.

5. Limitaciones y Direcciones Futuras

Los autores señalan explícitamente que REGEN aún no es un sustituto completo del replay de experiencia real. La brecha de rendimiento se atribuye a dos factores principales:

1. Degradación de la Fidelidad Visual: A medida que el modelo genera observaciones recursivamente, se acumulan artefactos visuales y desenfoque. Esta degradación se correlaciona con un mayor olvido (NBT), ya que la señal supervisora se debilita con el tiempo.
2. Inconsistencia Acción-Observación: Existe un desajuste entre el éxito "imaginado" (basado en visuales generados) y el éxito "real" (basado en la ejecución de acciones). El modelo a menudo predice resultados exitosos visualmente plausibles mientras genera acciones que son físicamente insuficientes.

El artículo concluye que mejorar la fidelidad y la consistencia de la generación del WAM es la dirección futura crítica necesaria para cerrar la brecha entre el pseudo-replay y el replay de experiencia real.

6. Significancia

El artículo postula que "Un robot que puede imaginar su pasado puede continuar aprendiendo su futuro". Al establecer los WAMs como una base para el aprendizaje continuo sin demostraciones almacenadas, REGEN ofrece un camino hacia el aprendizaje vitalicio en escenarios donde la privacidad de los datos o las restricciones de almacenamiento impiden el uso de buffers de replay tradicionales. El trabajo destaca que las capacidades generativas de los WAMs pueden servir como una forma efectiva de memoria implícita, siempre que se aborden las limitaciones de los modelos generativos actuales.