Resumen Técnico: APEX – Ejecución de Políticas Adaptativa para la Manipulación de Precisión

1. Definición del Problema: La Brecha de Ejecución en Tiempo de Prueba

Los sistemas modernos de aprendizaje por imitación, incluyendo las políticas visuomotoras y de Visión-Lenguaje-Acción (VLA), suelen producir referencias de acción de alto nivel (por ejemplo, objetivos de articulación o poses del efector final) que son ejecutadas por controladores de bajo nivel, tales como esquemas Proporcional-Derivativo (PD). Sin embargo, existe una discrepancia crítica entre la referencia comandada por la política y el movimiento real realizado por el robot, denominada la brecha de ejecución en tiempo de prueba (test-time execution gap).

Esta brecha surge de dos fuentes primarias:

1. Salidas de Alto Nivel Inadecuadas: Las salidas de la política a menudo carecen de señales de referencia de orden superior (velocidad, aceleración) y pueden contener discontinuidades, lo cual es insuficiente para un seguimiento de bajo nivel preciso.
2. Dinámicas de Bajo Nivel Imperfectas: Los controladores comerciales suelen operar con dinámicas no modeladas, incertidumbres de parámetros y parámetros de ganancia ($K_p, K_d$) inaccesibles.

Las soluciones existentes generalmente requieren modificaciones intrusivas, como alterar la arquitectura de la política, el reentrenamiento mediante aprendizaje residual, o cambiar el controlador mismo. Estos enfoques suelen ser poco prácticos para modelos preentrenados de gran escala o plataformas comerciales propietarias donde la política y el controlador son tratados como "cajas negras" inaccesibles. La pregunta central abordada es: ¿Se puede cerrar la brecha de ejecución sin modificar ni la política ni el controlador?

2. Metodología: El Marco APEX

Los autores proponen Adaptive Policy EXecution (APEX), un marco plug-and-play insertado entre la política de alto nivel y el controlador de bajo nivel. Inspirado en el control motor biológico —donde los bucles sensorimotores rápidos corrigen desviaciones sobre la marcha sin regenerar planes de alto nivel—, APEX opera como una capa de corrección en línea que deja intactos tanto a la política como al controlador.

APEX funciona en dos etapas:

A. Filtrado Pasivo Adaptativo (Reconstrucción de Señales)

Dado que las salidas de la política ($a_\pi$) a menudo carecen de las señales de velocidad ($\dot{a}$) y aceleración ($\ddot{a}$) requeridas para la viabilidad dinámica, APEX primero reconstruye una referencia suave y dinámicamente factible ($\bar{a}$) utilizando un filtro pasivo adaptativo.

• El filtro es impulsado por el error de seguimiento $e_a = a_\pi - a$.
• Genera internamente señales bien definidas de $\dot{\bar{a}}$ y $\ddot{\bar{a}}$, asegurando que la referencia suministrada al controlador sea suave y con ancho de banda limitado.

B. Corrección Adaptativa en Tiempo de Prueba

Para compensar las dinámicas desconocidas del sistema (inercia $J$) y las ganancias del controlador inaccesibles ($K_p, K_d$), APEX aumenta la referencia filtrada con términos adaptativos. El comando $a_r$ enviado al controlador se formula como:
$$a_r = \bar{a} + \hat{w}[\hat{J}\ddot{\bar{a}} + \alpha e_a] + \hat{w}_d \dot{\bar{a}}$$
Donde:

• $\hat{w}$, $\hat{w}_d$ y $\hat{J}$ son estimaciones variables en el tiempo de los parámetros desconocidos ($1/K_p$, $K_d/K_p$ y $J$).
• Estos coeficientes se actualizan en línea mediante una ley adaptativa impulsada por el error de seguimiento en tiempo real y la velocidad de la referencia filtrada, sin diferenciar la salida bruta de la política.

Garantías Teóricas

El artículo proporciona un análisis de estabilidad (Teorema 1) que demuestra que, para un sistema con parámetros desconocidos y perturbaciones acotadas, las señales del sistema de lazo cerrado permanecen acotadas y el error de seguimiento converge a un conjunto residual. Esto garantiza un rendimiento de seguimiento asintótico incluso sin el conocimiento exacto de la dinámica del robot.

3. Contribuciones Clave

1. Compatibilidad con Caja Negra: APEX es el primer marco que cierra la brecha de ejecución sin requerir modificaciones en la arquitectura de la política, reentrenamiento, o acceso a los parámetros internos del controlador.
2. Corrección de Doble Etapa: Combina de manera única un filtro pasivo para la reconstrucción de señales de orden superior con una ley adaptativa para la compensación de dinámicas desconocidas, abordando tanto los artefactos del lado de la política como las limitaciones del lado del controlador.
3. Convergencia Probable: El marco ofrece garantías de convergencia teórica bajo supuestos estándar de control adaptativo.
4. Generalizabilidad: El método es agnóstico a la clase específica de la política (determinista o generativa) y a la representación de la acción (espacio de articulaciones o espacio de la tarea).

4. Resultados Experimentales

Los autores evaluaron APEX en entornos de simulación y en el mundo real (UR5), probando cuatro clases de políticas: ACT, Diffusion Policy, Flow Matching y la VLA $\pi_{0.5}$.

• Aislamiento de la Brecha de Ejecución: En un experimento de "reproducción de demostración" (donde las trayectorias expertas se reproducen directamente al controlador, eliminando el error de la política), APEX redujo el error de seguimiento en un 41.2% (de 30.84 mrad a 18.15 mrad) e incrementó las tasas de éxito del 62.5% al 81.3%. Esto confirma que las imperfecciones del controlador de bajo nivel causan fallos significativos por sí solas.
• Puente entre Política y Controlador: Al emparejarse con políticas aprendidas, APEX mejoró las tasas de éxito entre 4.8 y 25.8 puntos porcentuales en todas las clases de políticas probadas.
  • Se observaron ganancias notables en la tarea de Inserción de Perno (PegInsertion) (claro radial de 3 mm), donde el éxito de Flow Matching mejoró del 20% al 35% en un UR5 real.
  • APEX demostró robustez ante variaciones en las ganancias de los controladores PD ($K_p, K_d$), superando las correcciones de parámetros fijos.
• Validación Multiplataforma: El marco se generalizó con éxito a través de diferentes simuladores (ManiSkill, LIBERO), representaciones de acción (articulación vs. efector final) y hardware real.

5. Significancia y Reivindicaciones

El artículo sostiene que la brecha de ejecución en tiempo de prueba es un cuello de botella fundamental en la manipulación sensible a la precisión, a menudo pasada por alto en favor de mejorar el entrenamiento de la política. La importancia de APEX radica en su capacidad para recuperar el rendimiento perdido de políticas bien entrenadas simplemente corrigiendo el flujo de ejecución.

Los autores enfatizan que:

• Incluso las referencias de acción de nivel experto fallan al ejecutarse con precisión en hardware comercial debido a las limitaciones del controlador.
• Una capa de corrección ligera y no intrusiva en la interfaz política-controlador es suficiente para cerrar esta brecha.
• La naturaleza adaptativa de APEX le permite funcionar eficazmente incluso cuando las dinámicas del sistema son desconocidas o cuando el controlador es una "caja negra", lo que lo hace altamente práctico para el despliegue de modelos de aprendizaje por imitación a gran escala en el mundo real.

Limitaciones Reconocidas: La implementación actual requiere el ajuste manual de las ganancias de adaptación, y el término de perturbación se trata como acotado en lugar de ser estimado explícitamente, lo que conduce a una convergencia de error acotado en lugar de cero. El trabajo futuro apunta a integrar mecanismos de autoajuste y observadores de perturbaciones.