Multi-Agent Guided Policy Search for Non-Cooperative Dynamic Games

Titolo: Ricerca di Politiche Guidata da Multi-Agenti per Giochi Dinamici Non Cooperativi

1. Il Problema

Il lavoro affronta le sfide intrinseche nell'apprendimento di equilibri di Nash in giochi dinamici non cooperativi, dove agenti con obiettivi non allineati interagiscono strategicamente.

• Limiti dei metodi esistenti: I metodi basati sui dati, come il Multi-Agent Policy Gradient (MA-PG), soffrono spesso di instabilità e comportamenti ciclici (limit cycles), fallendo nel convergere verso un equilibrio di Nash stabile a causa della non stazionarietà e degli obiettivi conflittuali.
• Limiti dei metodi basati su modello: Gli approcci classici basati su modelli (es. approssimazioni Lineari-Quadratiche o LQ) garantiscono stabilità ma scalano male con il numero di agenti e diventano computazionalmente proibitivi per sistemi non lineari complessi o con obiettivi intricati.
• Obiettivo: Sviluppare un metodo ibrido che combini la scalabilità del Reinforcement Learning Multi-Agente (MARL) con la stabilità dell'ottimizzazione basata su modelli, evitando i cicli limite e garantendo una convergenza rapida.

2. Metodologia Proposta: MA-GPS

Gli autori propongono un nuovo framework chiamato Multi-agent Guided Policy Search (MA-GPS). L'idea centrale è incorporare un "prior" basato su modello (una soluzione approssimata di equilibrio di Nash) direttamente nella funzione di ricompensa come termine di regolarizzazione.

• Meccanismo di Regolarizzazione:
  Invece di affidarsi solo all'esplorazione basata sull'entropia (che aumenta la varianza e rallenta l'apprendimento), MA-GPS aggiunge un termine di costo che penalizza la deviazione della politica corrente da una politica guida $\check{\pi}$.
  La funzione di costo regolarizzata per l'agente $i$ è:
  $$\hat{c}_i^\rho(x, u) = c_i(x, u) + \rho \| u_i - \check{\pi}_i(x, \pi_\theta) \|^2$$
  Dove $\rho$ è il peso della guida e $\check{\pi}_i$ è la politica guida derivata da un modello locale.

• Approssimazione Locale per Giochi Non Lineari:
  Per gestire giochi non lineari, il metodo non calcola un equilibrio globale complesso a ogni passo. Invece:

  1. Genera traiettorie nominali utilizzando le attuali politiche delle reti neurali.
  2. Costruisce approssimazioni Lineari-Quadratiche (LQ) a breve orizzonte lungo queste traiettorie (simile al metodo iLQGames, ma senza iterare fino alla convergenza completa a ogni stato).
  3. Calcola l'equilibrio di Nash di questo gioco LQ locale.
  4. Utilizza il primo controllo di questo equilibrio come segnale di guida ($\check{u}_0$) per aggiornare la politica globale.

• Algoritmo:
  L'algoritmo alterna fasi di simulazione (rollout) con le politiche attuali, calcolo della guida basata sull'approssimazione LQ locale, e aggiornamento della politica e della funzione valore tramite discesa del gradiente sulla funzione di costo regolarizzata. Il peso $\rho$ può essere decrescente nel tempo per permettere alla politica di rifinire la soluzione oltre il prior iniziale.

3. Contributi Chiave

1. Garanzie Teoriche per Giochi LQ: Per giochi lineari-quadratici, gli autori dimostrano teoricamente che l'aggiunta di un termine di guida (anche se non è un equilibrio di Nash perfetto) stabilizza la dinamica del gradiente della politica. Viene provato che il metodo converge esponenzialmente in modo locale a un equilibrio di Nash approssimato, a condizione che la politica guida sia stabilizzante.
2. Estensione a Giochi Non Lineari: Viene introdotto MA-GPS, che estende il concetto di guida ai giochi non lineari sfruttando le approssimazioni LQ locali costruite dinamicamente dalle traiettorie delle reti neurali, eliminando la necessità di politiche guida pre-calcolate.
3. Superiorità Sperimentale: Il metodo è stato validato su scenari complessi, dimostrando una convergenza più rapida e stabile rispetto agli stati dell'arte (IPPO, MA-PPO, MA-DDPG).

4. Risultati Sperimentali

Il metodo è stato valutato su tre scenari principali:

• Gioco LQ a due agenti: Ha dimostrato che senza guida ($\rho=0$) i metodi MA-PG falliscono in cicli limite. Con una piccola regolarizzazione $\rho$, la dinamica si stabilizza e converge vicino all'equilibrio di Nash vero, anche se la guida è imperfetta.
• Platooning di veicoli (3 veicoli): In un ambiente non lineare, MA-GPS ha mostrato una convergenza accelerata e una varianza ridotta rispetto alle baselines, raggiungendo politiche ad alte prestazioni in meno tempo di training.
• Formazione Strategica di Basket (6 agenti): In uno scenario con 6 agenti e spazi di stato/azione continui, MA-GPS ha superato i metodi esistenti in termini di velocità di convergenza e qualità della politica finale, gestendo efficacemente le non linearità e le non differenziabilità lievi negli obiettivi.

5. Significato e Impatto

• Stabilità senza Sacrificare la Scalabilità: MA-GPS risolve il compromesso tra la stabilità dei metodi basati su modello e la scalabilità dei metodi basati su dati.
• Efficienza Computazionale: A differenza dei metodi puramente basati su modello (come iLQGames) che richiedono calcoli intensivi in tempo reale, MA-GPS sposta il carico computazionale sulla fase di training offline, producendo politiche in rete neurale eseguibili in tempo reale.
• Nuovo Paradigma di Stabilizzazione: Sposta l'attenzione dalla stabilizzazione tramite esplorazione stocastica (entropia) alla stabilizzazione tramite guida strutturale, offrendo un approccio più robusto per l'apprendimento di equilibri in giochi competitivi complessi.

In sintesi, il paper introduce un ponte fondamentale tra l'ottimizzazione basata su modelli e il Reinforcement Learning, fornendo un metodo pratico e teoricamente fondato per risolvere problemi di decisione strategica multi-agente in ambienti dinamici e non cooperativi.