Sintesi Tecnica: Sintesi del Controllo con Reinforcement Learning: Una Prospettiva di Modellazione

Definizione del Problema

Il documento affronta il "gap sim-to-real" nel reinforcement learning (RL) per i sistemi di controllo. Sebbene l'RL offra una strada promettente per la progettazione di controllori, le policy addestrate in ambienti virtuali spesso falliscono quando vengono implementate su hardware fisico a causa del disallineamento del modello (model mismatch). Gli autori indagano se la progettazione di controllori utilizzando modelli semplificati e inaccurati (nello specifico, modelli Lineari Tempo-Invarianti o LTI) rispetto a modelli ad alta fedeltà basati su primi principi (modelli di laboratorio) influenzi la robustezza e la capacità di implementazione dei controllori neurali risultanti. L'ipotesi centrale è che i controllori addestrati su modelli inaccurati possano performare bene in simulazione, ma fallire in esperimenti fisici a causa della sensibilità alle perturbazioni e ai disallineamenti dei parametri.

Metodologia

Lo studio utilizza il classico sistema del pendolo inverso su carrello come benchmark. La metodologia prevede tre componenti primarie:

1. Modellazione del Sistema:

   • Modello di Laboratorio (Lab Model): Un sistema dinamico ad alta fedeltà derivato dalla meccanica lagrangiana, che incorpora parametri dettagliati come lo smorzamento viscoso ($B_c, B_p$), l'inerzia del motore, i rapporti di riduzione e le costanti elettromagnetiche.
   • Modello Lineare (Linear Model): Un modello LTI semplificato ottenuto linearizzando il sistema attorno all'equilibrio verticale e trascurando lo smorzamento viscoso e l'energia cinetica rotazionale.

2. Framework di Reinforcement Learning:

   • Gli autori impiegano l'algoritmo REINFORCE (un metodo di policy gradient) per addestrare un controllore continuo.
   • Il controllore è parametrizzato da una rete neurale a due strati completamente connessi con funzioni di attivazione ReLU.
   • La rete produce la media ($\mu$) e la deviazione standard ($\sigma$) di una distribuzione Gaussiana dalla quale viene campionato l'azione della tensione del motore.
   • La funzione di ricompensa è binaria: +1 se la posizione del carrello e l'angolo del pendolo rimangono entro $\pm 0.2$ unità dal centro/verticale, e 0 altrimenti.
   • L'addestramento viene condotto separatamente in ambienti che simulano il Modello di Laboratorio e il Modello Lineare.

3. Tecniche di Analisi:

   • Validazione Sperimentale: I controllori addestrati vengono implementati su una configurazione fisica di pendolo inverso per osservare la stabilità e la robustezza contro le perturbazioni (ad esempio, un colpo manuale).
   • Analisi di Sensibilità Locale: Viene eseguita un'analisi di sensibilità basata sui derivati utilizzando il metodo del complesso-step per valutare come le variabili di stato rispondano alle perturbazioni nei parametri del modello. Questo viene confrontato con la differenziazione automatica in modalità inversa (JAX).
   • Stima della Regione di Attrazione (ROA): Una simulazione Monte Carlo viene utilizzata per stimare empiricamente il volume della regione di attrazione per tre scenari: (a) controllore LTI su modello LTI, (b) controllore LTI su modello Lab, e (c) controllore Lab su modello Lab.

Risultati Chiave

Performance di Simulazione vs. Fisica

• Simulazione: Entrambi i controllori (addestrati su modelli LTI e Lab) hanno stabilizzato con successo il sistema nelle rispettive simulazioni di addestramento. Il controllore addestrato su LTI sembrava stabilizzare il modello Lab con solo un leggero aumento delle oscillazioni.
• Implementazione Fisica:
  • Controllore Addestrato su LTI: È fallito in 3 esperimenti fisici su 5. Negli altri 2, il sistema ha mostrato oscillazioni rapide e instabili e non è riuscito a mantenere l'equilibrio per periodi prolungati. Il controllore era altamente sensibile al rumore e incapace di gestire lo smorzamento e le non linearità intrinseche del sistema fisico.
  • Controllore Addestrato su Lab: Ha stabilizzato con successo il pendolo fisico in tutti i test. Ha dimostrato robustezza contro le perturbazioni esterne (ad esempio, un colpo di 14 gradi), ripristinando rapidamente la posizione verticale del pendolo.

Analisi di Sensibilità

• Sensibilità ai Parametri: L'analisi di sensibilità ha rivelato che il controllore addestrato su LTI è altamente sensibile ai parametri trascurati durante la riduzione del modello, specificamente il coefficiente di smorzamento del carrello ($B_c$) e la costante EMF del motore ($K_m$).
• Discrepanze di Classifica: Nel sistema addestrato su LTI, $B_c$ era classificato come il 5° parametro più sensibile, mentre nel sistema addestrato su Lab, scendeva al 9°. Ciò suggerisce che il controllore LTI si affida a una mancanza idealizzata di smorzamento che non esiste nella realtà, rendendolo fragile quando implementato.
• Nota Metodologica: Gli autori hanno osservato che, sebbene il metodo del complesso-step sia efficiente per funzioni regolari, la non regolarità introdotta dalle funzioni di attivazione ReLU nella rete neurale porta a errori di approssimazione più elevati rispetto alla differenziazione basata su JAX, sebbene il metodo del complesso-step sia rimasto computazionalmente più veloce.

Regione di Attrazione (ROA)

• La stima empirica della ROA ha mostrato una differenza significativa nella robustezza:
  • Controllore LTI su Modello Lab: Solo il ~20% delle condizioni iniziali campionate ha portato a un controllo stabile.
  • Controllore Lab su Modello Lab: Circa il ~57% delle condizioni iniziali campionate ha portato a un controllo stabile.
• Il controllore addestrato su Lab possiede una regione di attrazione significativamente più ampia, indicando una probabilità molto più alta di stabilizzazione di successo da un più vasto intervallo di stati iniziali.

Significato e Rivendicazioni

Il documento afferma che la fedeltà dell'ambiente di addestramento è un determinante critico del successo dell'implementazione del controllo tramite RL. Gli autori dimostrano che:

1. L'Addestramento ad Alta Fedeltà è Essenziale: Progettare controllori in ambienti virtuali con modelli inaccurati (come i modelli LTI semplificati) non è adatto per l'implementazione fisica, anche se i risultati della simulazione appaiono soddisfacenti.
2. Robustezza tramite Modellazione: I controllori addestrati su modelli ad alta fedeltà derivati dai primi principi sono robusti contro le perturbazioni e il disallineamento del modello, richiedendo alcuna calibrazione (fine-tuning) al momento dell'implementazione.
3. La Sensibilità come Strumento Diagnostico: L'analisi di sensibilità locale funge da metodo efficace per giustificare le discrepanze tra simulazione e realtà, identificando specifici parametri trascurati (come lo smorzamento) che causano il fallimento nei modelli semplificati.
4. Validazione Empirica: Lo studio fornisce prove empiriche, attraverso esperimenti fisici e stima della ROA, che il "gap sim-to-real" può essere mitigato allineando il modello di addestramento con la dinamica dell'hardware fisico piuttosto che fare affidamento solo sulla randomizzazione del dominio o su approssimazioni semplificate.

Gli autori concludono che, sebbene l'RL sia uno strumento potente, la sua affidabilità nelle applicazioni del mondo reale dipende fortemente dall'allineamento tra il modello di simulazione e il sistema fisico, mettendo in guardia contro l'implementazione ingenua di controllori addestrati su cattive approssimazioni.