🤖 machine learning

Feedback Attribution and Representation Geometry: Metrics for Comparing Individual and Shared Rewards in MARL

Questo articolo propone metriche a basso overhead, EffRank/ $n$ e $D_\text{act}$ , per dimostrare che, nel reinforcement learning multi-agente cooperativo, la geometria delle rappresentazioni apprese è determinata principalmente dalle informazioni sul ruolo osservate piuttosto che dall'attribuzione del premio, mentre l'attribuzione del premio si manifesta principalmente nelle differenze comportamentali.

Autori originali: Tasha Pais, Richard Higgins

Pubblicato 2026-07-21

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tasha Pais, Richard Higgins

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui un gruppo di amici cerca di risolvere insieme un puzzle gigante. Nel mondo dell'intelligenza artificiale, questo si chiama Multi-Agent Reinforcement Learning (MARL). Pensatelo come l'insegnare a uno sciame di robot come giocare a calcio o a una squadra di personaggi digitali come combattere contro un drago. La parte complicata è capire come dare loro il "feedback". Nei vecchi tempi, se la squadra vinceva, tutti ricevevano una stella d'oro, indipendentemente dal fatto che avessero effettivamente calciato la palla o stessero solo fermi. Questo si chiama "ricompensa condivisa" (shared reward). Ma cosa succederebbe se dessimo una stella d'oro solo al robot che ha effettivamente segnato il gol? Quella è una "ricompensa individuale" (individual reward).

Gli scienziati si sono spesso chiesti: conta davvero come distribuiamo queste stelle d'oro? Il fatto di dare a tutti la stessa ricompensa rende i cervelli dei robot (le loro "rappresentazioni" interne) una massa noiosa e identica dove tutti pensano allo stesso modo? O dare credito individuale costringe i loro cervelli a rimanere distinti e specializzati? Questo articolo approfondisce questa domanda, chiedendosi se il modo in cui premiamo una squadra lasci un'impronta visibile su come sono strutturati i cervelli della loro IA, o se cambi solo il loro modo di agire.

Il Grande Esperimento delle Ricompense

I ricercatori hanno deciso di fare i detective con una squadra di guerrieri IA in un videogioco chiamato SMACv2. Immaginate un campo di battaglia dove cinque unità amichevoli (chiamiamole "Protoss") combattono contro cinque nemici. Ogni unità amichevole ha un compito specifico: alcune sono esploratrici veloci, altre sono colpi pesanti e altre ancora sono giganti carri armati. Nel gioco, l'IA può vedere esattamente che tipo di unità è.

Il team ha addestrato questi agenti IA utilizzando un algoritmo di apprendimento intelligente chiamato MAPO. Hanno eseguito due esperimenti principali:

La Modalità "Giocatore di Squadra": Ogni agente riceveva esattamente la stessa ricompensa basata sul fatto che la squadra vincesse o perdesse, a prescindere da ciò che faceva.
La Modalità "Stella del Team": Ogni agente riceveva una ricompensa basata solo sui danni che personalmente aveva inflitto.

La grande domanda era: se passiamo da "Stella del Team" a "Giocatore di Squadra", la mappa cerebrale dell'IA collasserà? Il cervello dello scout inizierà a sembrare esattamente quello del carro armato perché stanno tutti ricevendo lo stesso biscotto?

La Sorpresa: La Mappa Cerebrale Non È Cambiata

Ecco il colpo di scena trovato dai ricercatori. Gli scienziati si aspettavano che la modalità "Giocatore di Squadra" rendesse i cervelli dell'IA molli e identici. Si sbagliavano.

Hanno misurato la "forma" del cervello dell'IA usando uno strumento matematico sofisticato chiamato EffRank/n (che fondamentalmente controlla in quante direzioni diverse sta pensando il cervello) e una sonda (un test semplice per vedere se è possibile indovinare il compito di un'unità guardando solo l'attività del suo cervello).

I risultati sono stati sorprendenti:

Con Ricompense Individuali: I cervelli dell'IA erano distinti. Gli esploratori, i carri armati e i colpi pesanti vivevano in "quartieri" diversi nella mappa cerebrale. La sonda riusciva a indovinare il compito dell'unità correttamente circa il 73% delle volte (molto meglio del 33% di probabilità di indovinare casualmente).
Con Ricompense Condivise: I cervelli dell'IA sembravano quasi esattamente uguali. La sonda indovinava ancora il compito correttamente il 75% delle volte. La "forma" del cervello non era affatto collassata.

Quindi, il modo in cui distribuivano le stelle d'oro non ha cambiato la struttura del cervello dell'IA. La geometria è rimasta la stessa.

Il Vero Colpevole: Ciò Che Potevano Vedere

Se la ricompensa non ha cambiato la forma del cervello, cos'altro l'ha fatto? I ricercatori hanno capito che la risposta si nascondeva proprio sotto i loro occhi: l'osservazione.

Nel gioco, ogni agente IA veniva informato: "Tu sei uno Scout" o "Tu sei un Carro Armato" fin dall'inizio. Era come indossare una divisa con il proprio lavoro scritto sopra. Poiché l'IA poteva vedere il proprio ruolo, il suo cervello si organizzava naturalmente per gestire quel compito specifico, anche se tutti ricevevano la stessa ricompensa.

Per dimostrare questo, i ricercatori hanno fatto un trucco. Hanno "mascherato" l'osservazione, il che significa che hanno detto all'IA: "Tu sei uno Scout", ma poi hanno coperto la parte dello schermo che mostrava all'IA che tipo di unità fosse. Non hanno detto all'IA cosa fosse; l'hanno solo lasciata capire da sola dal caos della battaglia.

Il risultato è stato drammatico.

Quando hanno nascosto il tipo di unità, l'accuratezza della sonda è scesa dal ~74% al 49% (che è a malapena meglio di un indovinare casuale).
I "quartieri" distinti nella mappa cerebrale sono collassati in un unico, disordinato ammasso.
Questo è accaduto sia per il gruppo "Giocatore di Squadra" che per il gruppo "Stella del Team".

Questo ha dimostrato che la struttura cerebrale chiara e organizzata non era causata dal sistema di ricompensa. Era causata dal fatto che l'IA poteva vedere il proprio ruolo. Una volta tolto l'indizio visivo, il sistema di ricompensa non poteva magicamente creare un cervello specializzato da solo.

Comportamento vs Struttura Cerebrale

Quindi, il sistema di ricompensa non ha fatto nulla? Non proprio. Sebbene la struttura del cervello sia rimasta la stessa, il comportamento è cambiato.

Quando gli agenti ricevevano ricompense individuali (la modalità "Stella del Team"), agivano in modo più diverso tra loro. I ricercatori hanno misurato questo con una metrica chiamata Dact, che controlla quanto differiscono le mosse degli agenti.

Ricompense Individuali: Gli agenti erano più diversificati nelle loro azioni (1.23 sulla scala Dact).
Ricompense Condivise: Gli agenti erano un po' più simili nelle loro azioni (1.07 sulla scala Dact).

In breve, dare ricompense individuali rendeva gli agenti più creativi e diversi nel gioco, ma non costringeva i loro cervelli a riorganizzarsi in nuove forme. La forma era già lì perché potevano vedere cosa dovevano essere.

La Conclusione

L'articolo conclude che se volete sapere se un team di IA sta davvero specializzando i propri ruoli, non potete limitarti a guardare come sono organizzati i loro cervelli se indossano delle "uniformi" (ovvero vedono i propri ruoli). L'organizzazione potrebbe essere solo un riflesso di ciò che possono vedere, non di come vengono ricompensati.

Per testare davvero se un sistema di ricompensa crea ruoli specializzati, bisogna togliere gli indizi visivi. In questo specifico gioco, il sistema di ricompensa ha cambiato come il team giocava (il loro comportamento), ma la struttura delle loro menti era dettata dalle informazioni che gli venivano date da vedere. I ricercatori suggeriscono che i test futuri devono utilizzare "ruoli nascosti" — dove l'IA non sa qual è il suo compito — per vedere davvero se le ricompense possono costruire cervelli specializzati partendo da zero.

Hanno testato questo anche su un gioco diverso e più grande chiamato "Tribal Village" con 48 agenti, e hanno trovato risultati simili: le metriche potevano misurare la competenza degli agenti, ma il tipo di ricompensa non creava una differenza netta nella geometria del cervello. Gli strumenti che hanno costruito (EffRank/n e Dact) sono veloci e facili da usare, aggiungendo meno del 5% di lavoro extra, il che li rende ottimi per controllare se i team di IA stiano davvero imparando a lavorare insieme o se stiano solo memorizzando le loro uniformi.

Riepilogo Tecnico: Attribuzione del Feedback e Geometria delle Rappresentazioni in MARL

Definizione del Problema

Nel Reinforcement Learning Multi-Agente (MARL) cooperativo, i praticanti sostituiscono frequentemente i segnali di contributo per singolo agente con un unico segnale di ricompensa media del team. Sebbene ciò allinei gli agenti a un obiettivo congiunto, crea un problema di attribuzione del feedback in cui ogni agente riceve un feedback identico indipendentemente dal contributo specifico della propria azione al risultato.

La questione centrale affrontata da questo lavoro è se questa scelta di attribuzione della ricompensa (individuale vs condivisa) lasci una firma misurabile sulle rappresentazioni apprese (geometria) o sul comportamento degli agenti competenti. Un'ipotesi motivante, derivata dai fallimenti su larga scala nel MARL in ambienti come Neural MMO, suggerisce che il feedback condiviso possa comprimere gli encoder condivisi al di sotto della dimensionalità necessaria per la differenziazione dei ruoli, portando a strategie omogenee. Tuttavia, gli autori postulano che l'informazione sul ruolo osservata nell'input dello stato possa confondere le analisi geometriche, rendendo difficile distinguere se la struttura del ruolo derivi dall'attribuzione della ricompensa o dall'osservazione diretta.

Metodologia

Diagnostica

Il documento propone due diagnostiche a basso overhead per valutare gli effetti dell'attribuzione della ricompensa:

EffRank/n (Rango Effettivo Normalizzato per Numero di Agenti): Questo metrico stima la dimensionalità dello spazio di embedding dell'encoder condiviso. È calcolato come il rango effettivo dei valori singolari degli embedding degli agenti, normalizzato per il numero di agenti ( $n$ $n$ ).
- Interpretazione: Un valore vicino a $k/n$ (dove $k$ è il numero di ruoli) suggerisce direzioni geometriche distinte per ogni ruolo. Un valore vicino a $1/n$ indica un collasso verso una singola direzione condivisa. Il metrico è calcolato su centroidi di embedding GRU mediati nel tempo per riflettere la geometria dell'agente/ruolo piuttosto che i timestep transitori.
Dact (Divergenza KL Media a Coppie): Questo misura la diversità comportamentale calcolando la media della divergenza di Kullback-Leibler a coppie tra le distribuzioni delle azioni degli agenti.
- Interpretazione: Cattura la divergenza delle azioni a un passo temporale. Poiché la policy è condivisa, i valori assoluti riflettono la diversità delle osservazioni tanto quanto la specializzazione. Viene utilizzato comparativamente tra condizioni accoppiate per rilevare se l'attribuzione della ricompensa cambi il comportamento senza alterare la geometria del ruolo decodificata.

Setup Sperimentale

La valutazione primaria utilizza SMACv2 (Protoss 5 vs 5), dove cinque unità alleate (Stalker, Zealot, Colossus) combattono contro cinque nemici.

Architettura della Policy: Tutti gli agenti utilizzano una policy MAPPO completamente condivisa con un encoder GRU ricorrente, teste lineare per l'attore e per il critico. Non ci sono parametri specifici per l'agente.
Variabili:
- Attribuzione della Ricompensa: Individuale (ricompensa proporzionale al contributo del danno) vs Condivisa (ricompensa media del team).
- Osservazione: Osservata (bit del tipo di unità inclusi) vs Mascherata (bit del proprio tipo di unità azzerati, sebbene gli stati di alleati/nemici rimangano).
Training: Le policy sono addestrate per 4 milioni di step di ambiente.
Valutazione: I metrici sono calcolati su traiettorie di valutazione deterministiche (32 episodi per seed, 3 seed). Viene utilizzata una sonda di regressione logistica "leave-one-agent-slot-out" per testare se i tipi di unità possono essere decodificati dagli embedding, garantendo la generalizzazione piuttosto che la memorizzazione dello slot.

Un esperimento secondario è condotto in un ambiente Tribal Village con 48 agenti per testare la scalabilità.

Risultati Chiave

1. L'Osservazione Guida la Geometria, Non la Ricompensa

Nell'impostazione standard in cui il tipo di unità è osservato:

Geometria: Sia le policy con ricompensa individuale che quelle con ricompensa condivisa esibiscono un EffRank/n quasi identico (0.29 vs 0.31) e una Precisione della Sonda (0.73 vs 0.75, significativamente sopra la baseline di 1/3).
Comportamento: Il Dact è più alto per le ricompense individuali (1.23 vs 1.07), e i tassi di vittoria sono leggermente superiori (0.48 vs 0.39).
Conclusione: La presenza di una geometria di ruolo distinta è guidata dall'osservazione diretta dei tipi di unità, non dallo schema di attribuzione della ricompensa. Entrambi gli schemi di ricompensa permettono all'encoder condiviso di scolpire lo spazio di embedding per tipo di unità quando tale informazione è visibile.

2. Il Mascheramento Collassa i Segnali di Ruolo

Quando i bit del tipo di unità sono mascherati:

Precisione della Sonda: Crolla significativamente per entrambi i bracci di ricompensa a circa 0.49 (leggermente sopra il caso).
Geometria: L'EffRank/n rimane stabile (0.29–0.31), ma i cluster di ruolo distinti si fondono.
Comportamento: Le ricompense individuali superano comunque le ricompense condivise in termini di tasso di vittoria (0.39 vs 0.24) e Dact (1.13 vs 0.98), ma non riescono a recuperare la geometria del tipo di unità.
Conclusione: Senza l'osservazione diretta, nessuno dei due schemi di ricompensa induce una geometria di ruolo forte e decodificabile. L'attribuzione della ricompensa influenza il comportamento (diversità e competenza) più chiaramente rispetto alla struttura geometrica della rappresentazione quando l'informazione sul ruolo non è esplicitamente fornita.

3. Risultati di Tribal Village

Nell'ambiente a 48 agenti di Tribal Village, entrambi gli agenti con ricompensa individuale e condivisa hanno raggiunto una prestazione competente (vincendo l'84.4% delle valutazioni). Sebbene i classificatori potessero distinguere tra agenti ad alto e basso contributo, l'EffRank/n e il Dact non hanno mostrato una separazione netta tra i bracci di ricompensa, rafforzando il risultato secondo cui questi metrici identificano l'informazione esistente nell'encoder piuttosto che provare che lo schema di ricompensa l'abbia creata.

Contributi e Significato

Il documento apporta tre contributi primari:

Nuove Diagnostiche: Definisce EffRank/n e Dact come strumenti computazionalmente efficienti per diagnosticare gli effetti dell'attribuzione della ricompensa nella geometria delle rappresentazioni e nella diversità comportamentale.
Validazione Empirica: Valida questi metrici su policy SMACv2 competenti addestrate per 4M di step.
Risoluzione dei Confondi: Dimostra che in SMACv2, l'alta precisione della sonda del ruolo spesso riflette l'osservazione del ruolo in input piuttosto che la specializzazione indotta dalla ricompensa.

Significato:
Gli autori sostengono che le diagnostiche geometriche nel MARL debbano controllare l'informazione osservata del ruolo. Lo studio suggerisce che in SMACv2, "le ricompense individuali rispetto a quelle condivise hanno cambiato il comportamento più chiaramente della geometria della rappresentazione". L'input del ruolo osservato spiega la geometria del ruolo misurata, mentre l'attribuzione della ricompensa si manifesta principalmente nella diversità delle azioni e nella competenza. Di conseguenza, per testare realmente se l'attribuzione della ricompensa crei la specializzazione dei ruoli, il lavoro futuro deve utilizzare ruoli persistenti che siano nascosti all'osservazione, impedendo la "scorciatoia del ruolo osservato" dove la geometria è semplicemente un riflesso dello stato di input. I metrici proposti aggiungono meno del 5% di overhead all'addestramento e alla valutazione.