A Self-Evolving Default Action for Cooperative Tasks with Continuous Action Space

Sintesi Tecnica: SAFE (Self-Evolving Default Action From Experiences)

Problematica
L'apprendimento per rinforzo multi-agente (MARL) ha ottenuto successi negli spazi di azione discreti (ad es. StarCraft II), ma affronta ostacoli significativi nei compiti di controllo continuo del mondo reale, come il networking veicolare autonomo. Gli approcci esistenti incontrano tre sfide primarie:

1. Spazi di Azione Continui: Molti schemi di assegnazione del credito sono progettati per spazi discreti e non possono essere applicati direttamente al controllo continuo.
2. Requisiti di Decentralizzazione: Le applicazioni del mondo reale richiedono spesso politiche completamente decentralizzate per la sicurezza e la latenza, eppure molti metodi scalabili si affidano a input centralizzati che non scalano bene con l'aumentare del numero di agenti.
3. Assegnazione del Credito in Domini Continui: Sebbene il Counterfactual Multi-Agent Policy Gradients (COMA) assegni efficacemente il credito negli spazi discreti marginalizzando l'azione di un agente, estendere questo processo agli spazi continui tramite campionamento Monte Carlo introduce bias. Le azioni campionate negli spazi continui sono spesso sottotrainate, il che significa che il critico centralizzato non ha appreso sufficientemente i loro valori. Di conseguenza, l'aspettativa del baseline è non nulla sotto la politica congiunta, portando a gradienti di politica distorti e a una mancanza di garanzie di convergenza verso ottimi locali.

Metodologia
Il documento propone SAFE (Self-Evolving Default Action From Experiences), un nuovo framework MARL progettato per affrontare queste limitazioni all'interno del paradigma CTDE (Centralized Training with Decentralized Execution).

• Meccanismo Core: SAFE introduce un baseline controfattuale condizionato su un'azione di default auto-evolutiva. A differenza dei metodi precedenti che si affidano ad azioni di default definite dall'utente o a simulazioni aggiuntive, SAFE campiona questa azione di default ($\bar{a}_i$) direttamente dal buffer di replay dell'esperienza di ciascun agente ($D_t$).
• Costruzione del Baseline: Per un dato agente $i$, il baseline $b_i$ viene calcolato sostituendo l'azione effettiva dell'agente $a_i$ con un'azione di default campionata $\bar{a}_i(t)$ nell'input del critico centralizzato, mantenendo costanti le azioni degli altri agenti ($a_{-i}$):
  $$b_i = Q(s, a_{-i}, \bar{a}_i(t)), \quad \bar{a}_i(t) \sim D_t$$
• Auto-Evoluzione: Man mano che l'addestramento procede, l'azione di default campionata evolve naturalmente per riflettere la prestazione media dell'agente. La distribuzione delle azioni campionate nel buffer si sposta verso le azioni eseguite più frequentemente dall'agente, garantendo che il baseline sia derivato da valori sufficientemente addestrati.
• Garanzia Teorica: Gli autori dimostrano matematicamente (Lemma 0.1) che questo baseline introduce zero bias nel gradiente di politica deterministico. Trattando la politica deterministica come un caso limite di una politica stocastica, dimostrano che l'aspettativa del termine del baseline svanisce, garantendo la convergenza verso ottimi locali.
• Architettura: Il framework utilizza un critico centralizzato condizionato sullo stato globale e sulle storie congiunte di osservazione-azione, mentre gli attori decentralizzati si condizionano solo sulle proprie storie locali. Il partaggio dei parametri (parameter sharing) è impiegato tra gli attori per ruoli cooperativi.

Contributi Chiave

1. Estensione agli Spazi Continui: SAFE estende naturalmente l'assegnazione del credito controfattuale agli spazi di azione continui senza richiedere simulazioni aggiuntive, modelli di ricompensa o priori specifici dell'ambiente.
2. Convergenza Senza Bias: Il documento fornisce una prova teorica che il baseline dell'azione di default auto-evolutiva non introduce bias nei gradienti di politica deterministici, garantendo la convergenza verso ottimi locali—una proprietà spesso assente nelle estensioni Monte Carlo naive.
3. Adattamento Dinamico: Il baseline si adatta dinamicamente man mano che il comportamento dell'agente evolve, con l'azione di default campionata che riflette sempre più la prestazione media dell'agente durante l'addestramento.
4. Validazione Empirica: Estesi esperimenti su compiti di guida autoinclusiva cooperativa (Highway-Env) dimostrano che SAFE supera costantemente i modelli allo stato dell'arte (VDN, QMIX, IQL, COMA, MAPPO) in scenari con variazioni nel numero di veicoli e ostacoli.

Risultati Sperimentali

• Performance: Negli scenari di guida autoinclusiva cooperativa (2V1O a 7V2O), SAFE ha ottenuto prestazioni superiori rispetto ai benchmark. I modelli a azione discreta (VDN, QMIX, IQL) non sono riusciti a evitare collisioni in scenari complessi a causa della granularità grossolana delle meta-azioni discrete. COMA e MAPPO non sono riusciti a convergere verso politiche ottimali, principalmente a causa dell'inefficienza del campionamento nell'addestramento on-policy.
• Studi di Ablazione:
  • Assegnazione del Credito vs. Continuità: I confronti con i baseline che si adattano agli spazi continui ma utilizzano diversi schemi di assegnazione del credito (ad es. Centralized_critic, COMA_cont) hanno confermato che i guadagni di prestazione di SAFE derivano specificamente dal suo meccanismo di assegnazione del credito, e non semplicemente dalla sua capacità di gestire azioni continue.
  • Singolo vs. Multipli Campionamenti: L'analisi dei parametri ha rivelato che l'utilizzo di un singolo' azione di default campionata (SAFE1) produce risultati migliori rispetto alla media di più campioni (SAFE30 a SAFE100). La media di più campioni introduceva ulteriori bias e riduceva l'accuratezza della stima.
  • Fonte dell'Azione di Default: Sostituire l'azione campionata dall'esperienza con un'azione zero fissa (SAFE_a=0) o con una media di batch (SAFE_batch_mean) ha portato a prestazioni inferiori, validando la necessità della selezione auto-evolutiva basata sull'esperienza.
• Analisi del Comportamento: Le visualizzazioni della densità di probabilità dell'azione di default hanno mostato che le azioni campionate si sono evolute nel tempo per corrispondere alle strategie apprese dagli agenti (ad es. passando da uno sterzo neutro a specifiche manovre di evitamento), confermando l'allineamento del baseline con la politica effettiva dell'agente.

Significatività
Il documento posiziona SAFE come una soluzione efficace per i sistemi multi-agente del mondo reale che richiedono il controllo continuo. Risolvendo i problemi di bias e convergenza associati all'assegnazione del credito controfattuale nei domini continui, SAFE consente l'implementazione di politiche cooperative decentralizzate e scalabili in ambienti complessi come il networking veicolare autonomo. Il lavoro stabilisce che un'accurata assegnazione del credito negli spazi continui può essere ottenuta attraverso l'auto-evoluzione basata sull'esperienza piuttosto che tramite modellazione esterna o simulazione.