Riepilogo Tecnico: Apprendimento per Rinforzo Multi-Agente Gerarchico Sicuro e Generalizzabile tramite il Controllo di un Manifold di Vincolo

Definizione del Problema

I sistemi multi-agente (MAS) sono critici per applicazioni sensibili alla sicurezza come la robotica nei magazzini, i veicoli autonomi e gli sciami di droni. Questi scenari richiedono che gli agenti collaborino in modo efficiente pur rispettando rigorosi vincoli di sicurezza, come l'evitamento delle collisioni. Gli approcci esistenti affrontano un compromesso fondamentale:

• I metodi basati sull'apprendimento (ad es., Processi Decisionali di Markov Vincolati, CMDP) ottengono forti prestazioni empiriche ma mancano di garanzie di sicurezza formali e spesso soffrono di instabilità nell'addestramento.
• I metodi basati sulla teoria del controllo (ad es., Funzioni di Barriera di Controllo, CBF) forniscono garanzie di sicurezza ma spesso risultano in comportamenti eccessivamente conservativi, selezione di percorsi subottimali e stalli (deadlock). Inoltre, molti approcci basati su CBF richiedono la risoluzione di un Programma Quadratico (QP) ad ogni istante temporale, introducendo un carico computazionale significativo che ostacola l'efficienza dell'addestramento.
• Gli approcci gerarchici tentano di separare coordinazione e sicurezza, ma spesso ereditano i problemi di non-stazionarietà del RL gerarchico o i costi computazionali dei solver QP.

La sfida centrale è sviluppare un framework che garantisca simultaneamente garanzie di sicurezza teorica, efficienza dell'addestramento (evitando la risoluzione di QP per ogni step) e coordinamento scalabile in contesti multi-agente complessi.

Metodologia: Hierarchical Manifold Multi-Agent PPO (HMM)

Gli autori propongono HMM, un framework di apprendimento per rinforzo gerarchico che separa la cooperazione dalla sicurezza attraverso due livelli:

1. Alto Livello: Pianificazione di Subgoal Cooperativi

• Architettura: Utilizza un paradigma di Addestramento Centralizzato con Esecuzione Decentralizzata (CTDE) basato su Multi-Agent PPO (MAPPO).
• Funzione: Ad ogni epoca decisionale (ogni $\tau$ passi temporali), la politica di alto livello genera un obiettivo intermedio (una posizione target) per ogni agente.
• Coordinazione: La politica impiega una Rete Neurale a Grafo (GNN) con passaggio di messaggi basato sull'attenzione per aggregare le informazioni dagli agenti vicini e dagli ostacoli. Ciò garantisce l'invarianza per permutazione e la generalizzazione rispetto a un numero variabile di agenti e ostacoli.
• Obiettivo: Massimizzare il ritorno scontato atteso sul processo decisionale semi-Markoviano (CSMDP) trattando la sicurezza come un vincolo rigido gestito dal basso livello.

2. Basso Livello: Controller Sicuro su Manifold di Vincolo

• Meccanismo: Invece di risolvere un QP, il controller di basso livello impone la sicurezza proiettando le azioni nominali su un manifold di vincolo.
• Formulazione del Vincolo: I vincoli di sicurezza (ad es., l'evitamento delle collisioni) sono definiti come vincoli di disuguaglianza $h(s) \leq 0$. Questi vengono convertiti in vincoli di uguaglianza $c(s, \mu) = h(s) + \mu = 0$ utilizzando variabili di slack $\mu$, definendo un manifold $\mathcal{M}$ in uno spazio di stato aumentato.
• Legge di Controllo: Il controller assicura che lo stato del sistema rimanga su $\mathcal{M}$ limitando le azioni allo spazio tangente del manifold. L'input di controllo $u_s$ è calcolato tramite una soluzione in forma chiusa:
  $$u_s = \underbrace{-J_u^\dagger \psi}_{\text{Compensazione del Drift}} - \underbrace{\lambda J_u^\dagger c}_{\text{Contrazione del Manifold}} + \underbrace{B_u u_{\text{ref}}}_{\text{Azione Tangente}}$$
  • Compensazione del Drift: Cancella il drift naturale del sistema.
  • Contrazione del Manifold: Retrae lo stato verso il manifold nel caso si verifichino errori numerici.
  • Azione Tangente: Permette all'agente di seguire liberamente il subgoal di alto livello ($u_{\text{ref}}$) all'interno dello spazio tangente sicuro.
• Efficienza: Questo approccio sostituisce i solver QP iterativi con proiezioni nello spazio tangente efficienti tramite pseudo-inverse.

Contributi Chiave

1. Framework Innovativo: Introduzione di HMM, un framework di MARL gerarchico che integra una politica di coordinamento di alto livello apprendibile con un controller di basso livello basato su modelli e su manifold di vincolo.
2. Garanzie di Sicurezza Teoriche: Il paper fornisce prove formali che, sotto deboli assunzioni, la traiettoria congiunta di tutti gli agenti rimane all'interno dell'insieme sicuro globale in ogni istante temporale, sia durante l'addestramento che l'esecuzione.
3. Dinamiche di Apprendimento Stazionarie: Delegando la sicurezza a un controller di basso livello fisso, il framework elimina la non-stazionarietà tipicamente causata dalle evoluzioni delle politiche di basso livello nel RL gerarchico. Ciò riduce il problema a un MDP di alto livello stazionario, garantendo una convergenza stabile.
4. Efficienza Computazionale: Il metodo evita la risoluzione di QP per ogni istante temporale, utilizzando proiezioni in forma chiusa.

Risultati Sperimentali

Gli autori hanno valutato HMM su sei ambienti basati su LiDAR (2D e 3D), inclusi compiti di navigazione con dinamiche variabili (massa puntiforme, bicicletta, quadrotor).

• Performance e Sicurezza: HMM ha raggiunto tassi di sicurezza quasi perfetti (spesso >99%) in tutti gli ambienti, superando significativamente i baseline come DGPPO, InforMARL e MAPPO-Lagrangian. A differenza dei baseline basati sull'apprendimento che spesso violano la sicurezza durante le prime fasi dell'addestramento, HMM ha mantenuto la sicurezza durante l'intero processo di addestramento.
• Tasso di Successo: HMM ha dimostrato tassi di successo nei compiti superiori, indicando che il pianificatore di alto livello coordina efficacemente gli agenti per evitare stalli e percorsi subottimali, a differenza della variante "Nominal + Manifold" che mancava di coordinazione di alto livello.
• Efficienza Computazionale: Su una GPU NVIDIA H200, HMM ha ottenuto un incremento di velocità di 14,4× nel throughput di addestramento rispetto ai baseline CBF basati su QP. Una sessione di addestramento che richiedeva circa 5 giorni per il baseline CBF è stata completata da HMM in 8–10 ore.
• Generalizzazione: Le policy addestrate con 3 agenti e 3 ostacoli si sono generalizzate efficacemente a scenari con fino a 21 agenti o ostacoli. Mentre i baseline hanno subito un degrado significativo in termini di sicurezza e tassi di successo all'aumentare del numero di agenti/ostacoli, HMM ha mantenuto alte prestazioni.

Significato e Rivendicazioni

Il paper sostiene che HMM colmi il divario tra il successo empirico dei metodi basati sull'apprendimento e il rigore della sicurezza dei metodi basati sulla teoria del controllo. Integrando il coordinamento basato sull'apprendimento con meccanismi di sicurezza basati sulla teoria del controllo, il framework offre una soluzione scalabile e affidabile per i sistemi multi-agente.

Gli autori evidenziano che il loro approccio:

• Fornisce garanzie di sicurezza formali senza l'onere computazionale dei solver QP.
• Permette un addestramento stabile inducendo dinamiche di apprendimento stazionarie.
• Dimostra una forte generalizzazione a diverse scale di task, rendendolo adatto al deployment nel mondo reale dove il numero di agenti e la complessità ambientale possono fluttuare.

Il paper riconosce un limite: la policy di basso livello si affida a meccanismi della teoria del controllo che potrebbero essere meno adatti a compiti che coinvolgono interazioni fisiche complesse, come la manipolazione ricca di contatti o il trasporto di oggetti, dove i vincoli di sicurezza sono più difficili da definire analiticamente.