Resumen Técnico: EWAM – Un Modelo de Acción de Mundo Mejorado para la Adaptación en Línea de Bucle Cerrado

1. Declaración del Problema

El despliegue robótico en entornos abiertos se ve actualmente obstaculizado por el alto coste de recolectar demostraciones que cubran diversas poses de objetos, disposiciones de escenas y contingencias de ejecución. Si bien los Modelos de Acción de Mundo (WAMs) vinculan con éxito la predicción de estados futuros con la generación de acciones, los procesos estáticos fuera de línea siguen siendo vulnerables a desajustes a nivel de ejecución. Estos desajustes incluyen colisiones físicas, agarres vacíos y alucinaciones inducidas por la percepción, donde las predicciones visuales de alta confianza no se alinean con la realidad física. Además, una vez desplegados, los WAMs estáticos tienen dificultades para convertir eficientemente las experiencias locales exitosas en ventajas futuras sin arriesgar la degradación de la política mediante un aprendizaje en línea sin filtrar.

El desafío central abordado es cómo mejorar la calidad de la ejecución y la adaptabilidad en tareas robóticas ricas en contacto bajo un protocolo zero-shot (sin recolectar nuevos datos de demostración para la tarea objetivo) preservando al mismo tiempo las capacidades generales de un modelo fundacional preentrenado.

2. Metodología: La Arquitectura EWAM

La propuesta de Modelo de Acción de Mundo Mejorado (EWAM) es una arquitectura de adaptación en línea de bucle cerrado construida sobre una base congelada de Cosmos3-Nano-Policy-DROID. En lugar de reentrenar todo el modelo fundacional, EWAM inserta cuatro capas neuronales entrenables en la ruta de inferencia para permitir la recuperación de memoria, la detección de anomalías, el enrutamiento de estrategias y la corrección de acciones.

2.1 Componentes Principales

La arquitectura modifica el paso hacia adelante estándar de la base Cosmos3-Nano-Policy-DROID (que comprende un Codificador de Visión-Lenguaje, un Razonador Autorregresivo y un Transformador de Difusión) con las siguientes capas insertadas:

1. Capa de Memoria de Experiencia Neuronal: Insertada en una capa intermedia ($l_{mem}=6$) del Transformador de Difusión (DiT). Esta recupera contextos de ejecución relevantes para la tarea de una base de datos de memoria ($M$) e inyecta en las representaciones ocultas del DiT. Esto condiciona el proceso de difusión tanto al contexto actual como a la experiencia histórica sin modificar los pesos de la base.
2. Capa de Detección de Anomalías Neuronal: Ubicada después de la cabeza de predicción de estado, esta capa monitorea la divergencia entre los estados predichos y los realizados. Calcula un vector de anomalía ($\iota_t$) que contiene puntuaciones para:
   • Desajuste entre predicción y realización (residuales).
   • Riesgo de colisión.
   • Probabilidad de agarre vacío.
   • Alucinación de la percepción.
   • Violaciones de fuerza.
3. Capa de Enrutamiento de Política Neuronal: Basándose en el vector de anomalía y el contexto de la memoria, esta capa selecciona una estrategia de ejecución:
   • Ejecución Directa: Proceder si las anomalías están por debajo de un umbral.
   • Replanteamiento Conservador: Activar la corrección de acción si se detectan anomalías leves.
   • Recuperación de Rollback: Restaurar a un estado estable desde la memoria si ocurren anomalías severas.
4. Capa de Corrección de Acción Neuronal: Refina la salida de acción bruta ($a^0_{t:t+H}$) basándose en la decisión de enrutamiento y las señales de anomalía. Realiza una corrección durante el tiempo de eliminación de ruido para asegurar una ejecución segura y eficiente, o recupera una acción conservadora de la memoria durante el rollback.

.2 Aprendizaje en Línea de Bucle Cerrado

EWAM opera como un ciclo de bucle cerrado donde los resultados de la ejecución son evaluados por una Puerta de Calidad (Quality Gate).

• Filtrado de Experiencia: Solo las trayectorias que cumplen estrictos criterios de seguridad y eficiencia (por ejemplo, baja fuerza de agarre, longitud de trayectoria corta, alta puntuación de tarea) son admitidas en la memoria de experiencia ($M$). Las muestras de baja calidad se registran para diagnóstico pero se excluyen de las actualizaciones de la memoria para evitar el "olvido catastrófico" o la acumulación de comportamientos erróneos.
• Estrategia de Adaptación: El sistema adopta un enfoque de "primero la memoria, segundo el adaptador". La adaptación inmediata depende de la recuperación de la memoria. Las actualizaciones de parámetros se aplican solo intermitentemente a las capas insertadas ligeras y a los adaptadores, dejando la base Cosmos3-Nano-Policy-DROID preentrenada congelada.

3. Contribuciones Clave

El artículo reclama tres contribuciones principales:

1. Arquitectura: La formulación de EWAM como una arquitectura basada en Cosmos3-Nano-Policy-DROID que presenta cuatro capas neuronales insertadas (Memoria, Anomalía, Enrutamiento, Corrección) que forman una ruta de inferencia de bucle cerrado con módulos diferenciables entrenables y enrutamiento discreto supervisado.
2. Mecanismo de Seguridad: La introducción de un diseño de filtrado de experiencia y rollback sensible a las ramas que evita que las trayectorias inseguras o de bajo valor contaminen la base de datos de memoria y las actualizaciones en línea.
3. Validación Empírica: Resultados de simulación en tareas de manipulación zero-shot de RoboLab que demuestran una mejora en la calidad de la ejecución (eficiencia y reducción de fallos) preservando la base congelada.

4. Resultados Experimentales

Los experimentos se realizaron en el entorno de simulación RoboLab en tres tareas de manipulación zero-shot: BananaInBowlTask, BananasInBinOneMoreTask y BlockStackingOrderAgnosticTask.

4.1 Rendimiento en BananaInBowlTask

En la prueba local principal, EWAM logró una tasa de éxito del 100%, igualando a la línea de base Cosmos3-Nano-Policy-DROID. Sin embargo, superó significativamente a la línea de base en eficiencia y robustez:

• Tiempo de Completación de Tarea: Reducido de 25.60s a 9.27s (reducción del 63.8%).
• Longitud de Trayectoria: Reducida de 1.81m a 0.83m (reducción del 54.1%).
• Fallos de Ejecución: Reducidos de 13.5 a 2.2 por episodio (reducción del 83.7%).
  • Las colisiones se redujeron en un 90.6%.
  • Los agarres vacíos se redujeron en un 92.9%.

4.2 Generalización Multi-Tarea

En la más compleja BlockStackingOrderAgnosticTask, EWAM mejoró la tasa de éxito del 87.2% (línea de base) al 94.4%, reduciendo también el tiempo de la tarea en un 32.4% y la longitud de la trayectoria significativamente.

4.3 Estudios de Ablación

Los estudios de ablación confirmaron la necesidad de cada componente:

• Auto-aprendizaje (Self-Learning): Eliminar la acumulación de experiencia en línea causó la mayor degradación del rendimiento (el tiempo de la tarea aumentó de 9.27s a 46.53s).
• Memoria vs. Actualizaciones: Una variante de "Solo Memoria" (recuperación sin actualizaciones de parámetros) superó a una variante de "Solo Actualización" (actualizaciones de parámetros sin recuperación) por un 13.6%, validando la estrategia de "primero la memoria".
• Corrección de Errores: Eliminar esta capa aumentó el tiempo de la tarea en un 96.1%, resaltando su papel en el manejo de colisiones y agarres vacíos.

4.4 Sobrecarga Computacional

Las cuatro capas neuronales introdujeron una latencia adicional de 10.2ms (+15.4%) y 130MB de memoria GPU (+7.7%). El tiempo de inferencia total fue de 76.4ms, lo cual los autores señalan que está por encima de un presupuesto de servo de 20Hz, sugiriendo que la implementación actual es más adecuada para el replanteamiento por bloques (chunk-level) o la inferencia asíncrona.

5. Significación y Limitaciones

Significación:
El artículo postula que EWAM ofrece una arquitectura práctica para mejorar la generalización de tareas y reducir la presión de recolectar nuevos datos de despliegue. Al fusionar la memoria de experiencia, la corrección de errores en tiempo real y la recuperación de rollback en una ruta de inferencia de WAM congelada, el método mejora la eficiencia de ejecución y la seguridad incluso cuando las tasas de éxito ya están saturadas. Demuestra que la fusión de bucle cerrado puede generar ganancias sustanciales en la calidad de la ejecución sin comprometer las capacidades generales del modelo fundacional preentrenado.

Limitaciones (según los autores):

• Solo Simulación: Todos los resultados provienen de la simulación RoboLab; no se ha establecido la transferencia de simulación a realidad (sim-to-real).
• Alcance de la Tarea: La evaluación se limita a un pequeño conjunto de tareas de manipulación de contenedores y apilamiento. Las tareas de largo horizonte complejas, la interferencia dinámica y la ejecución en un mundo abierto sin restricciones siguen sin ser verificadas.
• Especificidad de la Arquitectura: Los módulos están diseñados específicamente para la base Cosmos3-Nano-Policy-DROID.
• Implementación de Rollback: La recuperación de rollback se valida mediante puntos de control (checkpoints) del simulador; las primitivas de recuperación de impedancia de un robot real aún no han sido validadas.
• Restricciones de Datos: Los umbrales de filtrado de experiencia son específicos para la configuración de RoboLab y pueden no ser universales.

Los autores concluyen que, si bien EWAM clarifica cómo debe admitirse la experiencia en línea para la adaptación, sigue dependiendo de una inicialización offline preentrenada y aún no resuelve los desafíos de la ejecución robótica en un mundo abierto sin restricciones.