Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning

Titolo: Soppressione della Varianza sul Lato Input sotto Amplificazione Transitoria Non-Normale nell'Apprendimento per Rinforzo a Controllo Continuo

1. Il Problema

L'apprendimento per rinforzo (RL) a controllo continuo ha dimostrato ottime prestazioni empiriche nella robotica, ma i controller appresi spesso presentano problemi significativi al momento del deployment:

• Alta varianza dello stato chiuso: Fluttuazioni elevate nelle traiettorie dello stato.
• Jitter ad alta frequenza: Azionamenti di controllo irregolari e "scattosi".
• Sensibilità alle perturbazioni: Amplificazione sproporzionata di piccoli rumori di input.

Le spiegazioni esistenti tendono a focalizzarsi esclusivamente sulle fonti di disturbo (rumore d'azione, perturbazioni di esplorazione, non-smoothness della politica). Tuttavia, questo approccio trascura un fattore cruciale: anche in sistemi nominalmente stabili, piccole perturbazioni in ingresso possono subire un'amplificazione transitoria se il sistema a ciclo chiuso è fortemente non-normale. In tali sistemi, la geometria dell'operatore di transizione di stato può amplificare temporaneamente i disturbi, portando a una varianza dello stato molto più alta di quanto previsto dalla sola stabilità spettrale (raggio spettrale < 1).

2. Metodologia

Il paper introduce una decomposizione concettuale Fonte-Amplificatore e propone un intervento tecnico basato su questa visione:

• Decomposizione Fonte-Amplificatore:
  • Fonte: Rumore d'azione, esplorazione, jitter della politica.
  • Amplificatore: La geometria non-normale della matrice di transizione a ciclo chiuso ($A_{cl}$). Anche se il raggio spettrale $\rho(A_{cl}) < 1$, un alto numero di condizione degli autovettori ($\kappa(V)$) può generare un guadagno di picco transitorio ($G_{peak}$) elevato.
• Intervento Proposto (Livello di Soppressione):
  • Viene introdotta un'unità di soppressione della varianza sul lato input posizionata tra la politica appresa e l'ingresso del sistema (pianta).
  • Questa unità non modifica la struttura del controller o la dinamica del sistema ($A_{cl}$ rimane invariata).
  • Implementa un filtro temporale causale del primo ordine (smussatore) che agisce sulle statistiche dell'input applicato ($u_{app}$), riducendo la varianza e il jitter prima che il segnale entri nell'amplificatore non-normale.
  • La formula di aggiornamento è: $u_{app}^t = (1-\beta)u_{app}^{t-1} + \beta(u_{raw}^t + \eta_t)$, dove $\beta$ controlla il tasso di aggiornamento.
• Validazione tramite Interventi Controllati:
  Per isolare i meccanismi, l'autore utilizza tre protocolli sperimentali (CI):
  1. CI-1 (Isolamento dell'Amplificatore): Mantiene fisse autovalori, raggio spettrale e statistiche del disturbo, variando solo la geometria degli autovettori. Dimostra che l'aumento della non-normalità aumenta la varianza dello stato e il guadagno di picco.
  2. CI-2 (Intervento Solo sulla Fonte): Mantiene fissa la geometria non-normale dell'amplificatore e varia solo le statistiche dell'input (input bianco vs. filtrato). Dimostra che la riduzione della varianza dell'input riduce la covarianza dello stato senza modificare il guadagno strutturale di picco.
  3. CI-3 (Validazione Esterna): Applicazione su un quadrotore planare in scenari non lineari (hover, carico pesante, ecc.) per verificare la coerenza del meccanismo.
• Ruolo degli Strumenti di Analisi: I surrogati Koopman/ALE sono utilizzati esclusivamente per la diagnosi e la certificazione della struttura di propagazione locale, non come percorsi diretti per la riduzione delle prestazioni.

3. Risultati Chiave

I risultati sperimentali supportano la tesi che la non-normalità è un contributore sottostimato alla varianza:

• Evidenza CI-1 (Amplificatore): Esiste una forte correlazione (Pearson 0.970 per la traccia della covarianza e 0.996 per il guadagno di picco) tra la non-normalità ($\kappa(V)$) e l'aumento della varianza dello stato, mantenendo il raggio spettrale costante.
• Evidenza CI-2 (Fonte): Applicando il soppressore su un sistema non-normale fisso:
  • La varianza dell'azione applicata è stata ridotta del 92.0% (da 0.0399 a 0.00317).
  • La traccia della covarianza dello stato è diminuita del 21.8% (da 15.85 a 12.39).
  • La norma di picco attesa dello stato è scesa da 7.42 a 5.56.
  • Cruciale: Il guadagno di picco strutturale ($G_{peak}$) è rimasto invariato (5.55), confermando che la riduzione della varianza deriva dall'intervento sulla fonte, non da un cambiamento dell'amplificatore.
• Validazione Quadrotore (CI-3): In scenari non lineari con diversi livelli di disturbo, l'intervento ha mostrato riduzioni coerenti della varianza dell'azione (fino all'87.67% a rumore alto) e della covarianza dello stato, validando il meccanismo anche al di fuori dei modelli lineari sintetici.

4. Contributi Principali

1. Interpretazione Meccanicistica: Introduce una visione "Fonte-Amplificatore" per la varianza a ciclo chiuso nell'RL, identificando la non-normalità transitoria come un amplificatore critico spesso ignorato in sistemi nominalmente stabili.
2. Metodo di Soppressione: Propone un semplice strato di soppressione post-addestramento che agisce sulle statistiche dell'input applicato senza richiedere la riprogettazione del controller o la modifica della struttura del sistema.
3. Evidenza Controllata: Fornisce prove sperimentali rigorose che isolano separatamente gli effetti dell'amplificatore (geometria) e della fonte (statistiche), dimostrando che la riduzione della covarianza può avvenire senza alterare il guadagno strutturale di picco.
4. Validazione Esterna: Convalida il meccanismo su un banco di prova non lineare (quadrotore planare), mantenendo i surrogati matematici (Koopman/ALE) in un ruolo puramente analitico.

5. Significato e Implicazioni

Questo lavoro sposta il paradigma di analisi della varianza nell'RL da una visione puramente basata sulla "lisciatura della fonte" a una comprensione duale che include la geometria dell'amplificatore.

• Implicazione Teorica: Dimostra che la stabilità nominale non garantisce un comportamento transitorio benigno in presenza di non-normalità.
• Implicazione Pratica: Offre una soluzione leggera e compatibile con l'addestramento esistente (post-training) per ridurre il jitter e la varianza durante l'esecuzione, senza dover ri-addestrare politiche complesse o modificare l'architettura del controller.
• Posizionamento: Il paper non si pone come un benchmark diretto contro metodi di regolarizzazione esistenti, ma come un complemento che spiega perché certi disturbi vengono amplificati e come mitigarli agendo specificamente sul lato input in presenza di dinamiche non-normali.