Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

Resumen Técnico: Transformador de Tiempo de Ejecución Incremental para el Control Adaptativo Basado en Aprendizaje por Refuerzo

Planteamiento del Problema
El artículo aborda el desafío del control adaptativo basado en aprendizaje para manipuladores robóticos sujetos a la memoria de fricción no observable, específicamente la fricción de Stribeck. En tales sistemas, la fuerza de fricción depende de un estado interno oculto con un "horizonte de memoria" finito ($\tau_z$), lo que hace que el sistema de bucle cerrado sea no-markoviano con respecto a los estados medidos. Un trabajo previo de los autores (INCRT-1L) utilizó un codificador transformador de una sola capa con un número fijo de cabezales de atención ($K$) para procesar una ventana deslizante de mediciones pasadas. Sin embargo, este enfoque dependía de un procedimiento de dos fases (Fase-1/Fase-2) fuera de línea para seleccionar $K$ mediante un análisis de operador sustituto. Aunque fue efectivo para horizontes de memoria cortos y medios ($\tau_z \in \{1, 2\}$ s), este enfoque de capacidad fija sufrió fallos catastróficos en el 40% de las semillas de entrenamiento para horizontes de memoria largos ($\tau_z = 5$ s). Los fallos se atribuyeron a atractores locales en el paisaje de optimización del aprendizaje por refuerzo (RL) que eran invisibles para el análisis sustituto fuera de línea.

Metodología: Runtime-INCRT
El artículo introduce Runtime-INCRT, un mecanismo que aumenta y poda dinámicamente los cabezales del codificador transformador durante el bucle de entrenamiento del aprendizaje por refuerzo, eliminando la necesidad de una búsqueda de arquitectura fuera de línea.

1. Arquitectura de Cabezales Variables: El meta-controlador emplea un bloque transformador con una capacidad máxima de $K_{max}$ cabezales. En cualquier paso de entrenamiento $t$, una máscara activa determina el número actual de cabezales $K(t)$.
2. Disparadores de Tiempo de Ejecución (Runtime Triggers):
   • Crecimiento (Growth): Se activa cuando el rango efectivo ($\hat{\rho}_\alpha$) de la distribución de tokens de contexto on-policy excede la capacidad actual escalada por un umbral ($K(t)(1+\epsilon_{grow})$). Esto indica que la capacidad de representación actual es insuficiente para capturar la complejidad de la distribución de entrada de la política.
   • Poda (Pruning): Se activa cuando la magnitud relativa de salida de un cabezal activo cae por debajo de un umbral ($\epsilon_{prune}$), marcando al cabezal como redundante.
3. Restricciones Operativas:
   • Periodo de Enfriamiento (Cooldown): Se impone un número mínimo de pasos ($\Delta_{grace}$) entre eventos para permitir que la política se adapte.
   • Inicialización Suave (Soft Initialization): Cuando se añade un nuevo cabezal, su matriz de proyección de salida ($W^O$) se inicializa en cero. Esto asegura que el nuevo cabezal contribuya con cero salida inicialmente, preservando la continuidad de la política.
   • Límite de Poda: Cuando se elimina un cabezal, el cambio en la salida de la política está acotado por el umbral de poda.

Garantías Teóricas
Los autores establecen tres garantías analíticas para asegurar la estabilidad del proceso de aprendizaje:

• Pérdida Cero en el Crecimiento (Proposición 7): Debido a la inicialización suave ($W^O=0$), la adición de un cabezal resulta en ningún cambio en la salida de la política en el momento del crecimiento.
• Límite de Continuidad de la Política (Teorema 9): La discontinuidad acumulada introducida por los eventos de poda está acotada linealmente por el número de eventos de poda y el umbral $\epsilon_{prune}$.
• Convergencia del Número de Cabezales (Proposición 11): Siempre que el rango efectivo empírico de la distribución de contexto se estabilice, el número de cabezales activos $K(t)$ converge a un intervalo de estado estacionario determinado por los umbrales de crecimiento y poda.

Resultados Experimentales
El método fue evaluado en un manipulador de 2-DOF con fricción de Stribeck a través de tres regímenes de memoria ($\tau_z \in \{1, 2, 5\}$ s) utilizando 10 semillas aleatorias por régimen (30 ejecuciones en total).

• Tasa de Éxito: Runtime-INCRT logró una tasa de éxito del 100% (30/30 ejecuciones), eliminando con éxito el modo de fallo de horizonte largo observado en el modelo base de $K$ fijo.
• Rendimiento: Logró el éxito total en todos los regímenes de memoria con un único conjunto de hiperparámetros, superando el enfoque de $K$ fijo que fallaba en $\tau_z = 5$ s.
• Dinámica de Capacidad: Contrario a la expectativa de que el controlador adaptaría $K(t)$ a la complejidad de la tarea, el mecanismo saturó el tope máximo de cabezales ($K_{max}=8$) en todas las ejecuciones. El disparador de poda nunca se activó.
• Perspectivas de Ablación:
  • Variar $K_{max}$ en $\tau_z = 2$ s mostró que los topes más pequeños ($K_{max}=2$) produjeron un mejor rendimiento medio y menor varianza que los topes más grandes ($K_{max}=16$), sugiri lo que sugiere que una mayor capacidad no mejora inherentemente el rendimiento.
  • El rendimiento fue no monótono con respecto al parámetro de enfriamiento ($\Delta_{grace}$), siendo el valor por defecto el óptimo.
  • Conclusión sobre el Mecanismo: Los autores concluyen que el beneficio de Runtime-INCRT proviene de la trayectoria de entrenamiento más que de la capacidad terminal. La activación gradual de los cabezales actúa como un currículo de capacidad implícito dentro de una única ejecución de RL, guiando al optimizador lejos de los malos atractores locales.

Significancia y Reivindicaciones
El artículo afirma que Runtime-INCRT ofrece una alternativa fundamentada a la búsqueda de arquitectura fuera de línea para el control adaptativo en entornos no-markovianos. Su contribución principal es la demostración de que la adaptación en tiempo de ejecución de la capacidad del modelo, impulsada por el rango efectivo de la distribución de datos on-policy, puede resolver los fallos de optimización asociados con horizontes de memoria largos. Los autores enfatizan que el método elimina la necesidad de una búsqueda de hiperparámetros por tarea para el número de cabezales y proporciona garantías analíticas sobre la continuidad de la política, distinguiéndose de los enfoques estándar de "reiniciar y redimensionar". El trabajo sugiere que el proceso de crecimiento de la capacidad sirve como un sesgo inductivo crítico para un entrenamiento de RL exitoso en tareas de control complejas, en lugar de que el tamaño final del modelo sea el único determinante del éxito.