GIFT: Global stabilisation via Intrinsic Fine Tuning

Riassunto Tecnico: GIFT (Global stabilisation via Intrinsic Fine Tuning)

1. Il Problema: Instabilità e Caos nei Sistemi di Controllo Deep RL

Nonostante il successo del Deep Reinforcement Learning (DRL) in ambienti simulati, la sua applicazione nel mondo reale è limitata dalla mancanza di garanzie di stabilità. Il problema principale risiede nel fatto che le policy apprese spesso inducono dinamiche di stato caotiche.

Questa instabilità deriva principalmente dall'underspecificity (sottospecificazione) delle funzioni di ricompensa (reward functions) standard. Spesso, la ricompensa è progettata per ottimizzare solo un sottoinsieme delle dimensioni dello stato (ad esempio, mantenere un robot in piedi), lasciando altre dimensioni non vincolate. Di conseguenza, piccole perturbazioni nelle condizioni iniziali possono amplificarsi esponenzialmente, portando a comportamenti divergenti e imprevedibili a lungo termine.

2. Metodologia: Il Framework GIFT

Gli autori propongono GIFT, un framework di fine-tuning leggero e general-purpose che non richiede la modifica dell'algoritmo di RL originale o della dinamica del sistema, ma introduce un nuovo paradigma di addestramento chiamato Stabilising Markov Decision Process (S-MDP).

Il processo si articola in tre fasi sequenziali:

1. Pre-training della Baseline: Una policy ($\pi_\theta$) viene addestrata utilizzando un metodo standard (come SAC o PPO) per massimizzare la ricompensa del compito originale in un MDP classico.
2. Generazione dell'S-MDP: Viene creato un MDP stabilizzante che mantiene le stesse dinamiche e spazi di azione dell'originale, ma sostituisce la funzione di ricompensa con una ricompensa intrinseca task-agnostic ($\hat{R}$).
   • Per generare questa ricompensa, il sistema esegue dei rollout (simulazioni) della policy pre-addestrata partendo da diverse condizioni iniziali.
   • Viene selezionata la traiettoria di osservazione ($T$) che ha ottenuto il punteggio più alto.
   • La nuova funzione di ricompensa $\hat{R}$ incentiva la policy a minimizzare la distanza tra l'osservazione corrente e il "prossimo passo ideale" della traiettoria di riferimento $T$, penalizzando la divergenza in tutte le dimensioni dello spazio delle osservazioni.
3. Fine-tuning per la Stabilità: La policy pre-addestrata viene ulteriormente ottimizzata nell'S-MDP. In questa fase, l'obiettivo non è più il compito specifico, ma la massimizzazione della ricompensa intrinseca, che forza la policy a sopprimere le dinamiche instabili che prima non venivano penalizzate.

3. Contributi Chiave

• Approccio Task-Agnostic: A differenza di altri metodi (come il controllo basato su Lyapunov) che richiedono funzioni di Lyapunov specifiche o modifiche strutturali, GIFT può essere applicato a qualsiasi policy DRL esistente e in qualsiasi ambiente di controllo continuo.
• Vincolo Globale dello Stato: La funzione di ricompensa di GIFT è definita su tutte le dimensioni dello spazio delle osservazioni, garantendo che l'intero sistema sia regolato e non solo una parte di esso.
• Efficienza: Il framework è descritto come "lightweight", poiché si limita a una fase di fine-tuning su una traiettoria di riferimento pre-calcolata.

4. Risultati Sperimentali

Il framework è stato testato su ambienti complessi del DeepMind Control Suite (Walker e Humanoid) utilizzando gli algoritmi SAC e PPO.

• Stabilità (Maximal Lyapunov Exponent - MLE): Il risultato più significativo è la riduzione del MLE di circa un ordine di grandezza. Un MLE più basso indica che le traiettorie che partono da condizioni iniziali vicine rimangono vicine, confermando la drastica riduzione del comportamento caotico.
• Performance del Task: L'applicazione di GIFT non compromette la performance originale. In molti casi, la performance migliora (ad esempio, nel caso di SAC su Humanoid Walk, la ricompensa aumenta del 9%) perché la maggiore stabilità impedisce al robot di cadere prematuramente a causa di oscillazioni incontrollate.
• Visualizzazione delle Traiettorie: I grafici mostrano che, mentre la policy standard (SAC) produce traiettorie che divergono rapidamente dopo una minima perturbazione, la policy con GIFT (SAC + GIFT) mantiene traiettorie coerenti e convergenti.

5. Significato e Conclusioni

Il lavoro di Young e Pugeault colma un divario critico tra la ricerca teorica sul RL e l'ingegneria del controllo reale. Dimostrando che è possibile "iniettare" stabilità globale in policy pre-esistenti senza sacrificare l'efficacia nel compito, GIFT rende il Deep RL un candidato molto più affidabile per l'implementazione in sistemi robotici e industriali dove la prevedibilità e la sicurezza sono requisiti fondamentali.