Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

1. Definizione del Problema

Il documento affronta una limitazione critica nell'Apprendimento per Rinforzo Multi-Agente (MARL) nota come Coordinazione Zero-Shot (ZSC).

• Il Problema Centrale: Gli agenti MARL tradizionali, addestrati tramite Self-Play, sviluppano spesso convenzioni o strategie specifiche che falliscono quando accoppiati con agenti addestrati con gli stessi obiettivi ma con diversi semi casuali, algoritmi o storie di addestramento.
• Il Divario: Le soluzioni ZSC esistenti (ad esempio Other-Play, TrajeDi, MAZE) presuppongono che tutti gli agenti condividano una funzione di ricompensa identica. Tuttavia, in scenari reali (ad esempio, veicoli autonomi di produttori diversi), gli agenti possono condividere un obiettivo sparso (ad esempio, "raggiungere la destinazione") ma utilizzare diverse forme di ricompensa (reward shapings) (diversi pesi assegnati alle caratteristiche ambientali per densificare la ricompensa sparsa).
• La Sfida: Come addestrare un agente a cooperare efficacemente con partner sconosciuti che hanno gli stessi obiettivi sparsi ma diverse strutture di ricompensa interne, senza un ulteriore addestramento sul partner specifico.

2. Metodologia

Gli autori propongono un framework che addestra un insieme di agenti (ensemble) utilizzando diverse forme di ricompensa per migliorare la generalizzazione.

A. Formulazione della Forma di Ricompensa (Reward Shaping)

Gli autori definiscono la forma di ricompensa come una combinazione ponderata di caratteristiche ambientali aggiunte a una ricompensa base sparsa:
$$R(s_t, a_t) = \text{sparse}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$$
Dove $w_k$ sono pesi selezionati per caratteristiche specifiche $f_k$ (ad esempio, distanza da una pentola, raccolta di un piatto).

B. Quattro Algoritmi di Selezione

Per generare una popolazione di forme di ricompensa diverse ($P$), il documento introduce quattro metodi di selezione:

1. Basato su LLM: Utilizza un LLM (Claude Sonnet 4.5) istruito con esempi di forme di ricompensa e le loro prestazioni per generare nuovi insiemi diversi di pesi che bilanciano prestazioni e diversità della politica.
2. Rete Surrogata: Addestra una Perceptron a Strati Multipli (MLP) per prevedere la ricompensa sparsa totale basandosi su una data forma di ricompensa. Successivamente, campiona 1.000 forme casuali e seleziona quelle con le migliori prestazioni in base alle previsioni della rete surrogata.
3. Griglia Stratificata: Utilizza il Campionamento Iper-cubico Latino per garantire che i pesi selezionati coprano l'intero intervallo possibile (0–10) in modo uniforme. Questo garantisce la rappresentatività statistica dello spazio delle ricompense.
4. Casuale: Campiona i pesi uniformemente dall'intervallo possibile senza vincoli.

C. Framework di Addestramento Ensemble

Basandosi sull'algoritmo TrajeDi (Trajectory Diversity):

1. Generazione della Popolazione: Per ogni forma di ricompensa selezionata, viene addestrata una popolazione di agenti utilizzando TrajeDi, che include un termine di Divergenza di Jensen-Shannon per incoraggiare la diversità delle politiche all'interno della popolazione.
2. Costruzione dell'Ensemble: L'agente finale è un modello ensemble composto dagli agenti "Migliore Risposta" (BR) di ciascuna delle $P$ popolazioni addestrate.
3. Selezione dell'Azione: L'ensemble seleziona l'azione che è la moda (scelta più frequente) tra tutti gli agenti BR nell'ensemble.

3. Contributi Chiave

1. Nuova Formulazione del Problema: Estende la ZSC a scenari in cui i partner hanno obiettivi sparsi identici ma diverse forme di ricompensa, un vincolo più realistico rispetto a quanto assunto dalla letteratura precedente.
2. Quattro Metodi di Selezione: Introduce e valuta quattro algoritmi distinti (LLM, Rete Surrogata, Griglia Stratificata, Casuale) per generare diverse forme di ricompensa.
3. Framework Ensemble: Propone un metodo per combinare modelli addestrati su diverse forme di ricompensa in una singola politica robusta.
4. Validazione Empirica: Dimostra che la diversità nelle forme di ricompensa, non solo la diversità delle politiche, è cruciale per la generalizzazione nella ZSC.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti nell'ambiente Overcooked (nello specifico Random0_Medium, Random3 e Unident_S) contro partner addestrati con forme di ricompensa sconosciute utilizzando MAPPO standard.

• Miglioramenti delle Prestazioni:

  • I metodi proposti hanno superato significativamente gli algoritmi ZSC di base (inclusi TrajeDi standard e Hidden-Utility Self-Play).
  • Intervallo di Miglioramento: I miglioramenti nella ricompensa sparsa sono variati dal 62,2% al 119,2% rispetto agli algoritmi di base.
  • Migliori Esecutori: Griglia Stratificata e Rete Surrogata hanno costantemente ottenuto i migliori risultati.
    • Griglia Stratificata: Ha raggiunto la massima generalizzazione, probabilmente grazie alla sua copertura uniforme dello spazio delle ricompense.
    • Rete Surrogata: Ha prestazioni eccezionali nonostante una diversità inferiore, suggerendo che la selezione di forme di ricompensa ad alte prestazioni è più critica della pura casualità.
  • Effetto Ensemble: L'approccio ensemble stesso ha fornito un miglioramento del 40–70% rispetto alle basi non ensemble.
  • Basato su LLM: Ha mostrato prestazioni solide ma è stato leggermente meno coerente della Griglia Stratificata.
  • Casuale: Ha superato le basi (+27% a +51%) ma è stato il metodo più debole tra quelli proposti, evidenziando che la diversità non guidata è insufficiente.

• Diversità vs Prestazioni:

  • Griglia Stratificata ha avuto la massima copertura dell'intervallo (96,7%) e un'alta deviazione standard.
  • Rete Surrogata ha avuto la deviazione standard e la copertura dell'intervallo più basse, ma ha raggiunto le prestazioni più elevate in alcuni ambienti. Ciò indica che la qualità della forma di ricompensa (trovare pesi ad alte prestazioni) può talvolta superare la pura diversità statistica.

5. Significato e Conclusione

• Realismo: Il documento colma il divario tra la ZSC teorica e il dispiegamento nel mondo reale, riconoscendo che gli agenti provenienti da fonti diverse ottimizzeranno probabilmente lo stesso obiettivo in modo diverso.
• Robustezza: L'approccio ensemble crea agenti resilienti al problema del "mismatch delle convenzioni", capaci di cooperare immediatamente con partner sconosciuti.
• Direzioni Future: Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi sull'ibridazione dei metodi (ad esempio, utilizzando il focus sulle prestazioni della Rete Surrogata con i vincoli di diversità della Griglia Stratificata) e sull'espansione ad ambienti più complessi.

In sintesi, il documento dimostra che addestrare agenti su un insieme diversificato di forme di ricompensa e combinarli tramite un ensemble è una strategia altamente efficace per ottenere una Coordinazione Zero-Shot robusta in ambienti a ricompensa sparsa.