Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO

Il paper presenta "Territory Paint Wars", un ambiente di apprendimento per rinforzo multi-agente competitivo in Unity, per identificare e mitigare le modalità di fallimento dell'algoritmo PPO, in particolare l'adattamento competitivo eccessivo che compromette la generalizzazione, proponendo come soluzione efficace una semplice tecnica di miscelazione degli avversari.

L'essenziale

Immagina di organizzare un torneo di "Guerra dei Territori" tra due robot, chiamiamoli Rosa e Verde.

1. Il Gioco: Una battaglia su una scacchiera

Il gioco si svolge su una griglia 10x10.

• L'obiettivo: Rosa e Verde devono correre per dipingere le caselle del pavimento del loro colore.
• La regola speciale: Ogni tanto, un robot può "bloccare" una casella. Una volta bloccata, diventa un muro: nessuno può più riprenderla. È una mossa definitiva, come piantare un palo nel terreno.
• La vittoria: Vince chi alla fine ha più caselle dipinte.

Sembra semplice, vero? In teoria, un'intelligenza artificiale (un "cervello" digitale) dovrebbe imparare a vincere facilmente. Ma qui è dove le cose si complicano.

2. Il Disastro Iniziale: I Robot Imparano Male

L'autore del paper ha creato questo gioco per testare un algoritmo famoso chiamato PPO (un metodo che insegna agli AI a imparare dai propri errori, un po' come un cane che impara i comandi con le crocchette).

Il risultato iniziale fu umiliante: Dopo 84.000 partite di allenamento, il robot Rosa vinceva solo il 26,8% delle volte contro un avversario che si muoveva a caso (come se fosse ubriaco).
Peggio ancora: il robot ubriaco avrebbe dovuto perdere quasi sempre contro un avversario intelligente, e invece vinceva quasi il 75% delle volte!

Perché è successo?
L'autore ha fatto un'analisi forense e ha trovato 5 bug (errori) nel codice, come se avesse trovato 5 buchi nella barca:

1. Premi sbagliati: Il sistema dava troppi punti per le azioni sbagliate (come se premiare un bambino per aver rotto un vaso fosse più importante che averlo pulito).
2. Segnali confusi: Non diceva mai al robot "Hai vinto" o "Hai perso" alla fine della partita, solo "hai guadagnato 0,1 punti".
3. Memoria corta: Il robot dimenticava troppo velocemente cosa aveva fatto all'inizio della partita.
4. Numeri troppo grandi: I dati che il robot leggeva erano in scale diverse (come misurare la temperatura in gradi e la distanza in anni luce insieme), confondendo il suo cervello.
5. Chi ha vinto? Il sistema a volte dichiarava vincitore chi aveva fatto più punti, non chi aveva più caselle (e i punti erano sbagliati per il bug n. 1).

3. La Sorpresa: L'Effetto "Specchio" (Overfitting Competitivo)

L'autore ha riparato tutti e 5 i bug. Il robot Rosa è diventato bravissimo: vinceva il 73,5% delle volte contro un avversario casuale.
Ma poi, ha continuato ad allenarsi... e ha iniziato a peggiorare.
Dopo altre 4.000 partite, la sua vittoria contro il robot casuale è crollata al 21,6%.

Come è possibile?
Immagina due pugili che si allenano insieme (Self-Play).

• All'inizio, Rosa impara a colpire Verde.
• Verde impara a schivare i colpi di Rosa.
• Dopo un po', Rosa impara un trucco specifico per colpire quel Verde specifico.
• Verde impara un trucco specifico per schivare quel Rosa specifico.

Alla fine, sono diventati iper-specializzati l'uno contro l'altro. Sono diventati due geni in un gioco di specchi, ma se li metti contro un pugile casuale (o un umano), non sanno più combattere perché le loro mosse sono strane e inutili contro chiunque altro.
Il problema: Se guardi solo le partite tra Rosa e Verde, sembrano pari (50% - 50%). Nessuno si accorge che stanno perdendo la capacità di vincere contro il mondo reale. È come se due amici che giocano a scacchi imparassero una mossa assurda che funziona solo contro di loro, ma che li fa perdere contro un principiante.

4. La Soluzione Magica: Il "Mix" di Avversari

Come si risolve? Con una soluzione semplicissima, quasi ridicola.
L'autore ha detto: "Ok, durante l'allenamento, 20 volte su 100, invece di far giocare Rosa contro Verde, facci giocare Rosa contro un robot che si muove a caso".

È come se, durante l'allenamento di un calciatore, invece di farlo giocare sempre contro il suo compagno di squadra (che conosce ogni sua mossa), lo facessimo giocare ogni tanto contro un bambino che corre a caso.
Questo costringe il robot a imparare strategie generali che funzionano contro chiunque, non solo contro il suo partner di allenamento.

Il risultato?
La vittoria contro il robot casuale è risalita dal 21,6% al 77,1%. Un successo enorme con una sola riga di codice modificata.

5. Le Scoperte Chiave (in parole povere)

L'autore ha fatto anche degli esperimenti per capire cosa fosse davvero importante:

• Senza la "memoria lunga" (GAE): Il robot diventava stupido e vinceva pochissimo. È fondamentale per capire le conseguenze delle mosse iniziali.
• Senza la "normalizzazione" (ordinare i numeri): Il robot sembrava imparare velocemente, ma in realtà stava solo "memorizzando" il partner e falliva contro chiunque altro.
• Senza il "premio finale" (vincita/perdita): Sorprendentemente, il robot vinceva comunque bene! Significa che i piccoli premi passo-passo (dipingere una casella) sono sufficienti se gli altri sistemi funzionano.

Conclusione

Questa ricerca ci insegna due cose fondamentali:

1. Non fidarsi ciecamente dell'allenamento da soli: Se due intelligenze artificiali si allenano solo tra loro, possono diventare "strane" e perdere contro il mondo reale, anche se sembrano perfette l'una contro l'altra.
2. La diversità è salute: Per imparare davvero, bisogna allenarsi contro avversari diversi, non solo contro il proprio "gemello".

L'autore ha reso pubblico il gioco ("Territory Paint Wars") per aiutare tutti a evitare questi errori e a capire meglio come funzionano (e falliscono) le intelligenze artificiali competitive. È un lavoro fatto da un ricercatore indipendente (uno studente delle superiori!) che dimostra come piccoli errori di codice possano rovinare tutto, e come una piccola correzione possa salvare il progetto.

Sommario tecnico

1. Problema e Contesto

Il campo dell'Apprendimento per Rinforzo Multi-Agente (MARL) competitivo si basa spesso sull'uso del self-play (gioco contro se stessi) per generare agenti capaci di superare le prestazioni umane. Tuttavia, i ricercatori e i praticanti riportano frequentemente che algoritmi standard, come il Proximal Policy Optimization (PPO), falliscono nel imparare compiti competitivi semplici quando applicati in ambienti multi-agente.

Il paper identifica che i fallimenti sono spesso attribuiti a cause diffuse e difficili da isolare (come la specifica errata delle ricompense, difficoltà nell'assegnazione del credito o instabilità dell'addestramento). L'obiettivo dello studio è rendere concreti questi fallimenti, identificando e correggendo specifiche modalità di errore implementative e un nuovo fenomeno emergente: l'overfitting competitivo.

2. Metodologia: L'Ambiente "Territory Paint Wars"

Per condurre un'analisi sistematica, gli autori hanno sviluppato Territory Paint Wars, un ambiente minimale e deterministico implementato in Unity con un'interfaccia TCP personalizzata per Python (senza dipendenze da ML-Agents).

• Meccaniche di gioco: Due agenti (Rosa e Verde) giocano su una griglia 10x10. Ogni agente può muoversi in quattro direzioni o "bloccare" (lock) la casella in cui si trova. Una casella bloccata non può essere riconquistata dall'avversario.
• Obiettivo: Controllare il maggior numero di caselle dopo 250 passi.
• Ricompense:
  • Guadagno territoriale: +0.1 per ogni nuova casella conquistata.
  • Bonus blocco: +0.5 per ogni nuovo blocco effettuato.
  • Ricompensa terminale: +1.0 per la vittoria, -1.0 per la sconfitta.
• Osservazioni: Vettori di stato normalizzati che includono posizione, stato della mappa (proprietà e maschera di blocco) e passi rimanenti.

3. Analisi delle Modalità di Fallimento

Lo studio ha identificato sei modalità di fallimento. Le prime cinque sono bug implementativi nel baseline v1, mentre la sesta è un fenomeno emergente scoperto dopo aver corretto i primi.

A. Cinque Bug Implementativi (v1 Baseline)

Un agente PPO non corretto (v1) ha ottenuto un tasso di vittoria del 26,8% contro un avversario casuale (peggiore del caso). I bug corretti nel v2 sono:

1. Esplosione della scala delle ricompense: Un bug cumulativo nel calcolo del bonus per i blocchi ha generato ricompense totali dell'ordine di ±10.000, sovrastando completamente il segnale di vittoria/sconfitta. La correzione ha limitato le ricompense a un intervallo ragionevole [+5, +30].
2. Mancanza di segnale terminale: Senza un bonus esplicito di vittoria/sconfitta alla fine dell'episodio, l'agente non aveva un segnale chiaro sull'esito del gioco.
3. Assegnazione del credito inefficace (Monte Carlo vs GAE): In episodi lunghi (250 passi) con un fattore di sconto $\gamma=0.99$, le ricompense Monte Carlo pure riducono il segnale di gradiente dei primi passi a un fattore di circa 0.08. L'uso della Generalized Advantage Estimation (GAE) con $\lambda=0.95$ è stato cruciale per distribuire il segnale di gradiente lungo tutto l'episodio.
4. Osservazioni non normalizzate: La miscelazione di dati con scale diverse (posizioni 0-9 e passi rimanenti 0-250) ha destabilizzato gli aggiornamenti del gradiente. La normalizzazione di tutti gli input nell'intervallo [0, 1] è stata essenziale.
5. Rilevamento errato della vittoria: Il vincitore era inizialmente determinato confrontando le ricompense cumulative (corrotte dal bug di scala) invece di contare le caselle sulla mappa.

B. Overfitting Competitivo (v2 -> v3)

Dopo aver corretto i cinque bug, l'agente v2 ha raggiunto un tasso di vittoria del 73,5% contro un avversario casuale. Tuttavia, continuando l'addestramento in self-play, il tasso di vittoria è crollato al 21,6% (peggiore del baseline rotto v1).

• Meccanismo: Gli agenti co-adattano le loro strategie l'uno contro l'altro, specializzandosi eccessivamente contro la politica specifica dell'avversario corrente. Questo porta a un equilibrio di Nash tra due politiche iper-specializzate che non generalizzano affatto contro avversari fuori distribuzione (come un agente casuale).
• Il problema del monitoraggio: Il tasso di vittoria in self-play rimaneva stabile intorno al 50% durante il crollo, rendendo il fallimento invisibile ai metrici standard.

4. Soluzione Proposta: Opponent Mixing

Per mitigare l'overfitting competitivo, gli autori propongono una soluzione minimale: Opponent Mixing.

• Implementazione: In una frazione $\epsilon = 0.2$ (20%) degli episodi di addestramento, l'avversario co-adattivo viene sostituito da una politica uniformemente casuale.
• Effetto: Questo forza l'agente a mantenere strategie che generalizzano oltre la politica co-adattiva specifica, prevenendo la specializzazione eccessiva.
• Risultato: Non richiede architetture complesse (come il population-based training) né overhead computazionale aggiuntivo significativo.

5. Risultati Sperimentali

Gli esperimenti sono stati condotti su 10 semi (seed) diversi per garantire la robustezza statistica.

• Recupero della Generalizzazione: L'uso dell'Opponent Mixing (v3) ha ripristinato il tasso di vittoria medio contro un avversario casuale dal 21,6% (v2 collassato) al 77,1% (±12,6%). Il miglior singolo seed ha raggiunto il 93,9%.
• Studio di Ablazione: Rimuovendo singole correzioni dal sistema v3 completo:
  • Rimozione di GAE: Crollo a 9,6% (l'agente impara una politica dannosa).
  • Rimozione della Normalizzazione delle Osservazioni: Crollo a 12,6% (l'overfitting competitivo accelera).
  • Rimozione dell'Opponent Mixing: Crollo a 21,6% (ritorno all'overfitting competitivo).
  • Rimozione della Ricompensa Terminale: Risultato di 87,1% (ancora molto alto). Questo dimostra che la ricompensa terminale è complementare ma non strettamente necessaria se le altre tre correzioni sono presenti; il segnale denso dei passi è sufficiente.
• Significatività Statistica: Il miglioramento rispetto al baseline rotto e all'overfitting è statisticamente significativo ($p < 10^{-7}$).

6. Contributi Chiave e Significato

1. Benchmark Open Source: Il rilascio di Territory Paint Wars come benchmark riproducibile per studiare i fallimenti del MARL competitivo.
2. Diagnosi Sistematica: Identificazione e correzione di cinque bug implementativi che, combinati, rendevano un agente PPO performante peggio del caso.
3. Caratterizzazione dell'Overfitting Competitivo: Dimostrazione che il self-play puro può portare a un collasso della generalizzazione che è invisibile ai metrici di monitoraggio standard (tasso di vittoria in self-play stabile al 50%).
4. Soluzione Minimale: Dimostrazione che una semplice modifica (20% di episodi contro un avversario casuale) risolve il problema senza bisogno di infrastrutture complesse.
5. Gerarchia delle Correzioni: L'analisi di ablazione rivela che GAE, normalizzazione e opponent mixing sono critici individualmente (la loro rimozione causa un fallimento catastrofico), mentre la ricompensa terminale è secondaria in questo contesto.

Conclusione

Il paper conclude che in ambienti competitivi, il self-play da solo non è sufficiente per garantire una generalizzazione robusta. Mantenere la diversità degli avversari (tramite opponent mixing) è essenziale. Inoltre, il lavoro sottolinea l'importanza critica di diagnosticare i fallimenti non solo attraverso le metriche di performance interna, ma attraverso valutazioni periodiche contro baseline esterne fisse, poiché i sistemi co-adattivi possono nascondere collassi nella capacità di generalizzazione.