Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

1. Il Problema

Il Reinforcement Learning Multi-Agente Cooperativo (MARL) adotta spesso il paradigma "addestramento centralizzato ed esecuzione decentralizzata" (CTDE). In questo setting, metodi di fattorizzazione del valore (come VDN, QMIX, QTRAN) sono utilizzati per garantire il principio IGM (Individual-Global-Maximum). L'IGM assicura che le azioni greedy individuali di ogni agente, basate solo sulla loro storia locale, collettivamente massimizzino il valore dell'azione congiunta del team, permettendo un'esecuzione decentralizzata senza comunicazione in tempo reale.

Tuttavia, l'affidabilità di questo approccio nei contesti reali è compromessa da incertezze ambientali (gap sim-to-real, disallineamento dei modelli, rumore di sistema). Quando l'ambiente di deployment differisce da quello di addestramento, le piccole discrepanze possono causare fallimenti di coordinamento catastrofici a causa della parziale osservabilità e dell'accoppiamento tra agenti.
La sfida principale è estendere le tecniche di Robustezza Distribuzionale (DR-RL) al MARL cooperativo: definire funzioni di valore individuali robuste che siano sia ottimali nel caso peggiore (worst-case) che compatibili con il principio IGM per l'esecuzione decentralizzata. Un approccio ingenuo (definire il valore robusto di ogni agente come il minimo sul suo spazio di incertezza individuale) fallisce perché il modello avversario che minimizza il valore di un singolo agente non coincide necessariamente con quello che minimizza il valore congiunto del team.

2. Metodologia Proposta: DrIGM

Gli autori introducono un nuovo principio chiamato DrIGM (Distributionally robust IGM).

Definizione di DrIGM

DrIGM richiede che le azioni greedy robuste individuali di ogni agente coincidano con l'azione congiunta ottimale robusta del team. Formalmente, date le funzioni di valore individuale robuste $Q^{rob}_i$, esse devono soddisfare:
$$\left( \arg\max_{a_1} Q^{rob}_1, \dots, \arg\max_{a_N} Q^{rob}_N \right) \subseteq \arg\max_{a} Q^{rob}_{tot}$$
dove $Q^{rob}_{tot}$ è il valore congiunto ottimale nel caso peggiore.

Il Teorema Fondamentale (Teorema 1)

Il contributo teorico centrale è la dimostrazione che DrIGM è garantito se le funzioni di valore individuali robuste sono definite non in modo indipendente, ma ancorate al modello del caso peggiore globale valutato sull'azione congiunta ottimale robusta.
Invece di cercare il minimo per ogni agente separatamente, si definisce:
$$Q^{rob}_i(h_i, a_i) := Q^{P_{worst}(h, \bar{a})}_i(h_i, a_i)$$
dove $P_{worst}(h, \bar{a})$ è il modello di transizione nell'insieme di incertezza $\mathcal{P}$ che minimizza il valore congiunto $Q_{tot}$ per l'azione congiunta ottima $\bar{a}$.
Questo approccio risolve il problema di disallineamento: tutti gli agenti si coordinano contro un unico modello avversario condiviso legato all'esito peggiore del team, preservando la struttura decentralizzata.

Compatibilità con Architetture Esistenti

Il paper dimostra (Teorema 2) che se le funzioni di valore individuali soddisfano le condizioni strutturali di VDN (additività), QMIX (monotonicità) o QTRAN (vincoli di consistenza), allora le loro varianti robuste costruite secondo la definizione sopra soddisfano automaticamente DrIGM. Questo permette di integrare la robustezza in architetture esistenti senza ridisegnare completamente i meccanismi di fattorizzazione.

Operatori di Bellman Robusti

Per l'addestramento, gli autori derivano operatori di Bellman robusti specifici per due insiemi di incertezza comuni:

1. $\rho$-contamination: Modella la possibilità che la distribuzione di transizione sia contaminata da una distribuzione arbitraria con probabilità $\rho$.
2. Total Variation (TV): Modella perturbazioni limitate dalla distanza TV rispetto al modello nominale.
   Questi operatori permettono di calcolare target di addestramento robusti che tengono conto dell'incertezza senza richiedere comunicazione aggiuntiva durante l'esecuzione.

3. Contributi Chiave

1. Principio DrIGM: Una nuova formulazione teorica che garantisce l'allineamento tra azioni greedy decentralizzate e ottimalità congiunta robusta, superando i limiti degli approcci ingenui basati su minimi individuali.
2. Algoritmi Scalabili: Derivazione di varianti robuste per VDN, QMIX e QTRAN. Questi algoritmi:
   • Addestrano su target Q robusti.
   • Mantengono la scalabilità e la struttura CTDE.
   • Si integrano con codebase esistenti senza necessità di reward shaping specifico per agente.
3. Garanzie Teoriche: Prove che, se l'ambiente di test rientra nell'insieme di incertezza definito, il valore congiunto robusto è un limite inferiore garantito per il valore reale, fornendo una garanzia di performance nel caso peggiore.
4. Validazione Empirica: Sperimentazione su benchmark realistici che dimostrano miglioramenti significativi nelle performance fuori distribuzione (OOD).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due ambienti: SustainGym (controllo HVAC per edifici intelligenti) e SMAC (StarCraft II).

• SustainGym (Controllo HVAC):

  • Scenario: Addestramento su un clima specifico (es. Tucson) e test su climi diversi (es. New York, Honolulu) e su shift stagionali.
  • Risultati: I metodi proposti (DrIGM-based) hanno mostrato una performance costantemente superiore rispetto ai metodi non robusti (VDN/QMIX/QTRAN standard) e rispetto a un baseline robusto esistente (GroupDR).
  • Osservazione: A differenza del RL robusto single-agent, dove la conservatività spesso penalizza le performance in-distribution, qui la robustezza ha migliorato sia la stabilità che l'adattabilità, mantenendo o migliorando le performance anche nell'ambiente di addestramento.
  • I metodi hanno mitigato efficacemente il degrado delle performance causato da shift climatici e stagionali.

• SMAC (StarCraft II):

  • Scenario: Mappa "3s vs 5z" con rumore aggiunto alle osservazioni delle posizioni nemiche (shift distribuzionale).
  • Risultati: Per piccoli valori del parametro di robustezza $\rho$, gli algoritmi robusti hanno superato significativamente i baselines non robusti in termini di tasso di vittoria. Tuttavia, valori di $\rho$ troppo elevati hanno portato a un comportamento eccessivamente conservativo, degradando le performance, confermando la necessità di una calibrazione accurata del parametro di incertezza.

5. Significato e Impatto

Questo lavoro colma un divario critico tra la teoria del RL robusto e le applicazioni pratiche del MARL cooperativo.

• Praticità: Fornisce un framework sistematico per rendere i sistemi multi-agente resilienti a incertezze di modello senza sacrificare la decentralizzazione, un requisito fondamentale per sistemi reali (es. reti energetiche, robotica di sciame).
• Generalità: La metodologia è agnostica rispetto all'architettura di fattorizzazione, rendendo facile l'adozione da parte della comunità esistente.
• Nuova Prospettiva: Dimostra che la robustezza in un contesto cooperativo non richiede che ogni agente sia "robusto" in isolamento, ma che il team si coordini contro un modello di incertezza condiviso, offrendo una soluzione elegante al problema della disallineamento nelle decisioni decentralizzate sotto incertezza.

Il codice e i dati sono disponibili pubblicamente, facilitando la riproducibilità e l'ulteriore sviluppo di algoritmi robusti per il MARL.