Robust Receding Horizon Games with Additive Uncertainty

Sintesi Tecnica: Giochi a Orizzonte Recedente Robusti con Incertezza Additiva

Formulazione del Problema
Questo articolo affronta la sfida del controllo di sistemi multi-agente che operano in ambienti condivisi e incerti. Gli autori considerano un contesto con $N$ agenti, ciascuno dei quali controlla un sistema lineare a tempo discreto soggetto a disturbi additivi limitati. Gli agenti devono soddisfare sia i vincoli privati di stato/input, sia vincoli di accoppiamento condivisi che dipendono dagli stati e dagli input dei vicini.

A differenza del controllo distribuito cooperativo, in cui gli agenti minimizzano un obiettivo globale, questo lavoro si concentra sui Giochi a Orizzonte Recedente (RHG - Receding Horizon Games). In questo contesto, ogni agente è auto-interessato e cerca di minimizzare il proprio costo di inseguimento (deviazione da un target di stato stazionario) rispettando al contempo i vincoli. La difficoltà principale risiede nel fatto che gli agenti non possono rivelare la propria dinamica privata, i propri costi o i propri vincoli agli altri, pur dovendo soddisfare collettivamente i vincoli condivisi sotto incertezza. L'obiettivo è progettare un framework di controllo distribuito che garantisca la fattibilità ricorsiva per ogni realizzazione del disturbo e garantisca la convergenza verso un equilibrio di tipo game-theoretic.

Metodologia
Il framework proposto integra il Controllo Predittivo del Modello (MPC) basato su Tube (Tube-Based MPC) con la teoria dell'Equilibrio di Nash Generalizzato (GNE). La metodologia procede attraverso i seguenti passaggi:

1. Decomposizione basata su Tube:
   Lo stato e l'input previsti di ciascun agente sono decomposti in una traiettoria nominale e una componente di errore ($x = s + e$, $u = v + K_p e$). La traiettoria nominale è la variabile decisionale, mentre la dinamica dell'errore è governata da un guadagno di feedback pre-stabilizzante $K_p$. Questa decomposizione confina lo stato effettivo all'interno di un "tubo" attorno alla traiettoria nominale, definito da un insieme minimo di Invarianza Positiva Robusta (mRPI, minimal Robust Positively Invariant set) ($Z^\infty_i$).

2. Restringimento dei Vincoli (Constraint Tightening):
   Per garantire la soddisfazione robusta dei vincoli nonostante i disturbi, i vincoli originali vengono ristretti:

   • Vincoli Privati: Gli insiemi di stato e di input sono ristretti tramite l'insieme mRPI e il guadagno di pre-stabilizzazione.
   • Vincoli Condivisi: I vincoli condivisi sono ristretti sottraendo il contributo peggiore (worst-case) dei termini di errore dei vicini. Fondamentalmente, ciò viene ottenuto tramite un protocollo che preserva la privacy, dove gli agenti trasmettono solo termini di restrizione scalari (funzioni di supporto dei loro insiemi mRPI) anziché le loro intere dinamiche o funzioni di costo.

3. Ingredienti Terminali:
   Per garantire la fattibilità ricorsiva e la stabilità, gli autori costruiscono tre componenti terminali specifiche:

   • Un costo terminale derivato da un'Equazione Riccati Discreta (DARE).
   • Una legge di controllo terminale basata sul guadagno di feedback ottimale della DARE.
   • Un insieme terminale positivamente invariante e disaccoppiato. Per gestire l'accoppiamento nel vincolo terminale senza richiedere una coordinazione completa, il limite condiviso ristretto viene suddiviso in quote per agente. Ogni agente impone la quota più restrittiva richiesta dalla propria partecipazione in vari vicinati.

4. Soluzione Game-Theoretic:
   Ad ogni passo temporale, gli agenti risolvono in parallelo un problema di ottimizzazione a orizzonte finito (un GNEP). La funzione di costo è un costo di inseguimento verso un equilibrio di Nash Generalizzato Variazionale (vGNE) pre-calcolato. Il problema viene risolto utilizzando algoritmi di splitting di operatore distribuiti, sfruttando il fatto che il gioco è un gioco potenziale (potential game).

Contributi Chiave
L'articolo presenta tre contributi primari:

1. Formulazione di RHG Robusto: Formula un gioco a orizzonte recedente robusto per sistemi lineari con disturbi additivi e vincoli condivisi. Introduce uno schema di restrizione dei vincoli basato su tube in cui gli agenti scambiano solo termini di restrizione scalari, preservando la privacy delle loro dinamiche locali e dei loro costi, a differenza degli schemi cooperativi che scambiano le traiettorie.
2. Garanzie di Fattibilità Ricorsiva: Gli autori costruiscono un set specifico di ingredienti terminali (costo basato su DARE, insieme invariante disaccoppiato e schema di allocazione delle risorse per i vincoli condivisi) che garantiscono rigorosamente la fattibilità ricorsiva per ogni realizzazione di disturbo limitato.
3. Analisi di Stabilità e Convergenza: Sfruttando la struttura di gioco potenziale del GNEP, il documento stabilisce che la funzione potenziale agisce come una funzione di Lyapunov congiunta. Ciò dimostra la convergenza asintotica della traiettoria nominale di ogni agente verso il vGNE stazionario. Inoltre, mostra che la traiettoria effettiva converge verso un vicinato del vGNE determinato dall'insieme mRPI.

Risultati
L'analisi teorica conferma che:

• Se lo stato iniziale è ammissibile, il problema di ottimizzazione rimane ammissibile in tutti i passi temporali futuri per qualsiasi realizzazione di disturbi limitati (Fattibilità Ricorsiva).
• Le traiettorie nominali di tutti gli agenti convergono asintoticamente al vGNE stazionario.
• Le traiettorie chiuse a ciclo reale convergono verso un vicinato minimo di invarianza positiva robusta (RPI) del vGNE stazionario.
• Tutti i vincoli privati e condivisi originali sono soddisfatti in modo robusto per tutte le realizzazioni dei disturbi.

Significatività e Dichiarazioni
Gli autori posizionano questo lavoro come la prima indagine rigorosa sui giochi a orizzonte recedente sotto incertezza con queste specifiche garanzie. Evidenziano che i lavori precedenti sugli RHG si basavano su modelli deterministici o vincoli di uguaglianza terminale, mentre la letteratura esistente sull'MPC multi-agente robusto si concentrava su contesti cooperativi.

L'articolo sostiene la propria significatività nel colmare il divario tra il controllo robusto e la teoria dei giochi per agenti non cooperativi. Dimostrano che è possibile ottenere la soddisfazione robusta dei vincoli e la stabilità in un contesto distribuito e auto-interessato senza richiedere agli agenti di condividere informazioni sensibili sul proprio modello. Gli autori notano con modestia che estendere questi risultati a costi economici generali (dove i costi sono accoppiati) o incorporare vincoli di probabilità (chance constraints) rimane una sfida aperta per la ricerca futura.