Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning

Título: Supresión de Varianza en el Lado de Entrada bajo Amplificación Transitoria No Normal en Aprendizaje por Refuerzo de Control Continuo

1. El Problema

El aprendizaje por refuerzo (RL) de control continuo ha demostrado un rendimiento empírico sólido en robótica, pero los controladores aprendidos a menudo exhiben problemas críticos en tiempo de ejecución:

• Alta varianza de lazo cerrado: Fluctuaciones significativas en los estados del sistema.
• Jitter (tambaleo) de control de alta frecuencia: Señales de actuación irregulares.
• Sensibilidad a perturbaciones: Pequeñas inyecciones de ruido en la entrada pueden provocar grandes desviaciones en el estado.

La explicación convencional atribuye estos fenómenos únicamente a las fuentes de perturbación (ruido de acción, perturbaciones de exploración, no suavidad de la política o errores de aproximación de funciones). Sin embargo, este enfoque ignora una cuestión fundamental: ¿por qué pequeñas perturbaciones en la entrada pueden generar una varianza de estado desproporcionadamente grande incluso cuando el lazo cerrado es nominalmente estable?

El artículo identifica que la geometría no normal del operador de transición de estado en bucle cerrado actúa como un amplificador transitorio. En sistemas no normales, la norma del operador puede crecer temporalmente (amplificando perturbaciones) incluso si el radio espectral (estabilidad asintótica) es menor que 1.

2. Metodología

El trabajo propone una descomposición causal Fuente-Amplificador y utiliza intervenciones controladas para aislar los efectos de cada componente.

• Modelo Teórico: Se utiliza un modelo linealizado discreto del lazo cerrado: $x_{t+1} = A_{cl}x_t + Gw_t$.

  • Fuente: Perturbaciones ($\eta_t$) como ruido de acción o jitter de política.
  • Amplificador: La geometría de la matriz $A_{cl}$ (específicamente su no normalidad, cuantificada por el número de condición de los autovectores $\kappa(V)$).
  • Objetivo: Reducir la covarianza de estado ($\Sigma_x$) sin reestructurar el amplificador.

• Capa de Supresión de Varianza (Input-Side Suppressor):

  • Se introduce una capa post-entrenamiento entre la política aprendida ($\pi_\theta$) y la entrada de la planta.
  • Funcionamiento: No modifica la política ni la estructura del amplificador ($A_{cl}$). En su lugar, altera las estadísticas de la entrada aplicada ($u^{app}_t$).
  • Implementación: Se utiliza un suavizador temporal causal de primer orden:
    $$u^{app}_t = (1 - \beta)u^{app}_{t-1} + \beta(u^\pi_t + \eta_t)$$
    Donde $\beta \in (0, 1]$ controla la tasa de actualización. Un $\beta$ bajo suaviza más la señal, reduciendo la varianza de la entrada inyectada al sistema.

• Herramientas de Análisis:

  • Se utilizan surrogados de Koopman/ALE exclusivamente para diagnóstico, certificación de estabilidad y análisis de la estructura de propagación local, no como parte directa del camino de rendimiento del controlador.

3. Contribuciones Clave

1. Interpretación Fuente-Amplificador: Se introduce una nueva perspectiva que identifica la no normalidad como un amplificador de perturbaciones subestimado en lazos cerrados nominalmente estables.
2. Supresor de Entrada Post-Entrenamiento: Se propone una intervención simple que actúa sobre las estadísticas de la entrada aplicada sin reentrenar el controlador ni modificar la estructura dinámica del sistema.
3. Evidencia de Intervención Controlada:
   • CI-1 (Aislamiento del Amplificador): Se mantiene fija la estabilidad espectral y la fuente de ruido, variando solo la geometría de los autovectores. Se demuestra que aumentar la no normalidad eleva sistemáticamente la varianza de estado y la ganancia pico transitoria.
   • CI-2 (Intervención Solo en la Fuente): Se mantiene fija la geometría no normal del amplificador y se varía la estadística de la entrada (ruido blanco vs. filtrado). Se demuestra que la supresión en la fuente reduce la covarianza de estado sin alterar la ganancia pico estructural.
4. Validación Externa: Se valida el mecanismo en tareas de un cuadrotor planar (navegación, carga pesada, picada ágil), mostrando consistencia en entornos no lineales.

4. Resultados

Los experimentos cuantitativos respaldan la hipótesis de que la supresión en el lado de la fuente es efectiva incluso con amplificadores no normales fijos:

• En Intervención Controlada 2 (CI-2):

  • Reducción de Varianza de Acción: Disminución del 92.0% (de 0.0399 a 0.00317).
  • Reducción de Covarianza de Estado: Disminución del 21.8% (de 15.85 a 12.39).
  • Reducción de la Norma de Estado Pico Esperada: De 7.42 a 5.56.
  • Ganancia Pico Estructural: Permaneció invariable (5.55), confirmando que la mejora no provino de cambiar el amplificador, sino de reducir la inyección de perturbaciones.

• En Validación de Cuadrotor (CI-3):

  • Bajo niveles de perturbación alta (0.20), la intervención redujo la varianza de acción en un 87.67% y la varianza de estado en un 37.47% en promedio a través de diferentes escenarios (hover nominal, carga pesada, etc.).
  • Los resultados muestran que la intervención es robusta y consistente en sistemas no lineales, validando el mecanismo identificado en los experimentos sintéticos.

5. Significado e Impacto

• Cambio de Paradigma: El artículo desafía la visión centrada exclusivamente en la "suavización de la fuente" (regularización de acción, exploración suave) al demostrar que la geometría del sistema (amplificador) juega un papel crucial en cómo se propagan las perturbaciones.
• Eficiencia Computacional y Práctica: La solución propuesta es una capa ligera de post-procesamiento que no requiere reentrenamiento ni modificación de la arquitectura de la red neuronal, lo que la hace fácilmente desplegable en sistemas reales.
• Fundamento Teórico: Proporciona una justificación teórica controlada para por qué el suavizado de entrada funciona en RL, separando claramente los efectos de la fuente de los efectos del amplificador dinámico.
• Alcance: El trabajo no es una comparación "cabeza a cabeza" con otros métodos de RL suave, sino una demostración de mecanismo que complementa y explica el comportamiento de dichos métodos, sugiriendo que la supresión de varianza en la entrada es una estrategia viable para mitigar la amplificación transitoria en sistemas no normales.

En resumen, el paper demuestra que en entornos de RL de control continuo, la varianza de ejecución no es solo un problema de "ruido sucio", sino también de cómo la dinámica del sistema amplifica ese ruido, y que intervenir en la estadística de la entrada es una estrategia efectiva para mitigar este fenómeno sin alterar la estructura del controlador.