Resumen Técnico: Repensar antes de ejecutar: Ejecución adaptativa para Modelos de Acción del Mundo

Planteamiento del problema

Los Modelos de Acción del Mundo (WAMs, por sus siglas en inglés) representan un paradigma para la manipulación robótica que predice conjuntamente las acciones futuras y la evolución del entorno. El despliegue estándar de un WAM implica generar un "chunk" (fragmento) de acciones futuras y ejecutar un prefijo fijo de dicho fragmento antes de activar un paso de replanificación. Los autores argumentan que este horizonte de ejecución fijo es fundamentalmente incompatible con la dinámica de ejecución.

Como ilustra el artículo, la fiabilidad de los fragmentos de acción es dependiente de la etapa:

• Etapas fáciles: Los fragmentos permanecen precisos durante muchos pasos, lo que hace que la replanificación frecuente sea computacionalmente costosa.
• Etapas difíciles: Los errores se acumulan rápidamente tras solo unos pocos pasos, lo que hace que un horizonte fijo sea propenso al fallo si no se replanifica lo suficientemente pronto.

Los métodos de ejecución adaptativa existentes dependen de métricas indirectas (proxies) como la entropía de la acción, la consistencia de la predicción o los pesos de atención. Los autores sostienen que estas son insuficientes porque no miden explícitamente el factor crítico para la ejecución: si la tarea está progresando realmente. Una secuencia puede ser suave (baja entropía) pero no progresar en la tarea, o tener alta entropía y aun así avanzar en la tarea. Además, muchos métodos existentes (por ejemplo, la verificación mediante la imaginación futura) introducen costes computacionales prohibitivos o requieren aprendizaje por refuerzo en línea, lo cual es impráctrico para el despliegue.

Metodología: TempoWAM

El artículo propone TempoWAM (Timing Execution by Monitoring Progress Online), un esquema de ejecución ligero, plug-and-play, que adapta el horizonte de ejecución basándose en el progreso estimado de la tarea en lugar de en el recuento de pasos. Consta de dos componentes principales:

1. Monitor de Progreso Recurrente (RPM)

El RPM es un módulo ligero que estima el progreso de la tarea ($v_t \in [0, 1]$) que se alcanzaría si se ejecutaran las acciones candidatas actuales. Toma los siguientes parámetros de entrada:

• Observación actual ($o_t$): Codificada mediante la columna vertebral visual (backbone) congelada del WAM base.
• Prefijo de acción candidata ($c^{rem}_t$): Las próximas $n_t$ acciones del fragmento restante, codificadas mediante un codificador recurrente.
• Historial de ejecución ($v_{t-1}$): La estimación de progreso previa, inyectada mediante una proyección aprendida para mantener el contexto temporal.
• Instrucción de la tarea ($\ell$): Incorporada desde el WAM base.

El módulo utiliza un núcleo GRU para agregar estas características y producir una estimación de progreso. Se entrena con trayectorias de demostración utilizando una pérdida de entropía cruzada binaria contra etiquetas de progreso basadas en el tiempo ($y_u = u/T_{ep}$), aumentada con regularizaciones de suavidad y consistencia histórica para garantizar la estabilidad y la robustez al ruido visual.

2. Protocolo de Ejecución Adaptativa (AEP)

El AEP decide si continuar ejecutando el fragmento actual o descartar el resto y replanificar. Opera comparando la tasa de progreso observada ($\rho^{cur}_t$) frente a una tasa de progreso requerida ($\rho^{need}_t$).

• Tasa de progreso: En lugar de progreso absoluto, el sistema evalúa la tasa de avance por paso.
• Calibración: Para cerrar la brecha entre la supervisión de entrenamiento y la realidad del despliegue, el protocolo emplea un factor de calibración de dos escalas temporales ($\kappa_{final}$):
  • Calibración fuera de línea (offline): Se deriva un factor específico de la tarea ($\kappa_{task}$) a partir de episodios de demostración mediante ajuste de mínimos cuadrados.
  • Adaptación en línea (online):
    • Intra-episodio: Una media móvil exponencial (EMA) actualiza el factor para rastrear la deriva dentro de un solo episodio.
    • Inter-episodio: Un factor de escala ($\delta'$) se ajusta basándose en la tasa de éxito respecto a un objetivo ($s^*$). Si el éxito es inferior al objetivo, el protocolo se vuelve más estricto (replanifica antes); si es superior, se relaja (replanifica menos) para mejorar la eficiencia.

La regla de decisión es: si la relación calibrada $r_t \ge 1$, la ejecución continúa; de lo contrario, el fragmento se descarta y se invoca al WAM para una nueva predicción.

Contribuciones Clave

1. Cambio de Criterio: Los autores demuestran que evaluar únicamente la racionalidad de la acción es insuficiente para la ejecución adaptativa. Argumentan que el progreso de la tarea es el criterio natural y necesario para decidir cuándo replanificar.
2. Arquitectura Plug-and-Play: TempoWAM está diseñado como un complemento ligero. No requiere modificar ni reentrenar el WAM base. Opera enteramente en la capa de ejecución, lo que lo hace compatible con diversas arquitecturas de WAM (demostrado en FastWAM y Motus).
3. Compromiso Eficiencia-Éxito: El método logra un equilibrio superior entre el coste computacional (llamadas de inferencia) y el éxito de la tarea al extender dinámicamente el reúso de fragmentos en etapas fáciles y activar la replanificación temprana en etapas difíciles.

Resultados Experimentales

Los autores evaluaron TempoWAM en entornos de simulación (LIBERO, RoboTwin 2.0) y tareas robóticas en el mundo real.

• RoboTwin 2.0:

  • Tareas de horizonte corto: TempoWAM preservó o mejoró ligeramente las tasas de éxito mientras reducía las llamadas de inferencia del WAM en comparación con los horizontes fijos.
  • Tareas de horizonte largo: Mejoró las tasas de éxito en 1.54 puntos (limpio) y 0.87 puntos (aleatorizado) mientras reducía los pasos ejecutados, superando a los horizontos fijos de 12 o 24 pasos.
  • Comparación: Superó significativamente a las líneas base adaptativas como Auto-Horizon (basada en atención) y AAC (basada en entropía), que o bien no lograron mejorar el éxito o incurrieron en costes computacionales excesivos.

• Benchmark LIBERO:

  • TempoWAM redujo las llamadas promedio de WAM de 14.88 a 12.46 mientras preservaba las tasas de éxito en las cuatro suites (Long, Spatial, Object, Goal).
  • En la suite LIBERO-10, mejoró el éxito del 95.00% al 95.60% reduciendo las llamadas.

• Robots en el Mundo Real:

  • En tres tareas (tomar bebidas, recoger y colocar, empaquetar crema de manos), TempoWAM redujo las llamadas en un 26.9% en la tarea más fácil ("take drinks") y mejoró el éxito en 13.3 puntos porcentuales en tareas difíciles en general (específicamente la tarea "pack hand cream", que es la más difícil del conjunto evaluado).
  • Generalización de la Columna Vertebral (Cross-Backbone): Al conectarse al WAM Motus sin reentrenamiento, TempoWAM mejoró el éxito en 59 puntos específicamente en la tarea "move_can_pot", confirmando su naturaleza agnóstica a la arquitectura.

• Sobrecarga Computacional:

  • El RPM añade una sobrecarga insignificante. Con la codificación visual, consume el 3.54% del tiempo de una llamada de inferencia optimizada de un WAM; con características compartidas, esto cae al 0.34%.

Significado y Reivindicaciones

El artículo afirma que TempoWAM aborda una limitación crítica en el despliegue actual de los WAM: la rigidez de los horizontes de ejecución fijos. Al fundamentar las decisiones de ejecución en el progreso estimado de la tarea, el sistema se adapta al estado real del entorno en lugar de depender de indicadores indirectos de incertidumbre o recuentos de pasos predeterminados.

Los autores enfatizan que su enfoque es consciente del progreso (progress-aware) y eficiente. No requiere de una costosa imaginación futura ni de entrenamiento de RL en línea. En su lugar, aprovecha un monitor recurrente ligero y un protocolo calibrado para ajustar dinámicamente el horizonte de ejecución. Los resultados sugieren que, para los WAM, la decisión de replanificar debe estar impulsada por si las acciones restantes siguen avanzando en la tarea, una capacidad que TempoWAM proporciona de manera consistente en dominios de simulación y del mundo real.

El artículo concluye que, si bien las etiquetas basadas en el tiempo son válidas para tareas no repetitivas y de progreso monotónico (lo que cubre sus entornos evaluados), se necesita trabajo futuro para manejar tareas periódicas o simétricas donde el mapeo observación-etiqueta no es uno a uno.