Riepilogo Tecnico: Modellazione del Coordinamento Zero-Shot tramite Blocco degli Stati

Enunciato del Problema

Il Coordinamento Zero-Shot (ZSC) mira a consentire a sistemi multi-agente di cooperare con partner addestrati in modo indipendente (inclusi gli esseri umani) senza interazione congiunta preliminare. Sebbene i metodi esistenti come Self-Play (SP) siano efficaci per agenti addestrati insieme, spesso convergono verso una singola convenzione di coordinamento, portando a un grave degrado delle prestazioni quando accoppiati con partner addestrati con diversi semi casuali o metodi (Cross-Play, XP).

Gli approcci precedenti tentano di mitigare questo problema aumentando la diversità dei partner attraverso popolazioni, politiche randomizzate o modifiche all'ambiente. Tuttavia, queste strategie spesso falliscono nel catturare un insieme diversificato di modalità di coordinamento subottimali strutturate. O producono comportamenti troppo simili alla convenzione ottimale, o introducono variabilità non strutturata che non generalizza bene. Inoltre, gli approcci basati sulla diversità ambientale richiedono spesso un accesso esplicito o una modifica dell'ambiente, il che ne limita l'applicabilità. La sfida fondamentale rimane: come esporre sistematicamente un agente ego a un insieme diversificato di comportamenti di partner strutturati e subottimali senza modificare l'ambiente sottostante o richiedere dati umani esterni.

Metodologia: Coordinamento con Blocco degli Stati (SBC)

Gli autori propongono il Coordinamento con Blocco degli Stati (SBC), un framework che induce diversità strutturata nei comportamenti dei partner creando variazioni ambientali virtuali attraverso il blocco degli stati.

1. MDP con Blocco degli Stati (SB-MDP)

SBC definisce un Processo Decisionale di Markov modificato in cui stati specifici sono designati come "stati di penalità".

• Meccanismo: Un insieme di stati di penalità $\tilde{S}$ viene selezionato dal replay buffer. La funzione di ricompensa viene modificata per penalizzare le transizioni verso questi stati:
  $$\tilde{R}(s_t, a_t, s_{t+1}; \tilde{S}) = R(s_t, a_t, s_{t+1}) - \alpha \sum_{\tilde{s} \in \tilde{S}} \frac{1}{\|s_{t+1} - \tilde{s}\|^2 + \epsilon}$$
  dove $\alpha$ è il coefficiente di penalità.
• Effetto: Costringendo i partner a evitare stati specifici pur completando il compito, l'SB-MDP induce strategie di coordinamento distinte e localmente ottimali. Queste strategie rappresentano comportamenti subottimali strutturati che differiscono dall'ottimo globale ma rimangono validi per il compito.

2. Procedura di Addestramento

SBC impiega un processo di addestramento in due fasi che coinvolge una politica consapevole del blocco e una politica ego normale:

• Politica Consapevole del Blocco ($\tilde{\pi}$): Questa politica viene addestrata nell'SB-MDP. Condiziona l'ingresso sull'insieme specifico di stati bloccati $\tilde{S}$. Campionando insiemi diversi di stati di penalità durante l'addestramento, il sistema genera una famiglia di partner consapevoli del blocco, ciascuno aderente a una diversa convenzione di coordinamento dettata dai suoi specifici stati bloccati.
• Politica Ego Normale ($\pi_e$): La politica finale utilizzata al momento del test viene addestrata nell'MDP originale (senza input di stati di penalità). Viene esposta a una miscela di:
  1. Partner standard Self-Play (copie di se stesso).
  2. Partner consapevoli del blocco (addestrati in SB-MDP ma agenti nell'MDP originale durante l'addestramento dell'ego).
     Questa esposizione permette all'agente ego di imparare a coordinarsi con un ampio spettro di comportamenti strutturati senza sovrapporsi a una singola convenzione.

3. Programmazione degli Stati di Penalità Guidata dal Valore

Per prevenire la selezione di stati di penalità critici per il completamento del compito (il che degraderebbe troppo le prestazioni del partner), SBC introduce un meccanismo di programmazione:

• Metrica di Criticità: Il divario di valore $\Delta V(\tilde{s}) = V^{\pi}(s_0) - \tilde{V}^{\tilde{\pi}}(s_0, \tilde{s})$ quantifica quanto il blocco di uno stato degrada il ritorno.
• Strategia di Campionamento: Gli stati di penalità vengono campionati con probabilità $P(\tilde{s}) \propto \exp(-\beta \Delta V(\tilde{s}))$.
• Ricottura: La temperatura $\beta$ viene ricotta da 0 a 1. All'inizio dell'addestramento, il campionamento è quasi uniforme per massimizzare la diversità. Successivamente, il programmatore riduce progressivamente il peso degli stati altamente critici, concentrandosi su configurazioni di blocco che inducono comportamenti subottimali significativi ma non catastrofici.

4. Componenti Aggiuntive

Per migliorare ulteriormente la robustezza, SBC incorpora:

• Previsione delle Azioni del Partner: Un modello ausiliario prevede le azioni del partner, che vengono inserite nella politica ego per aiutare l'adattamento.
• Iniezione di Azioni Casuali: I partner eseguono occasionalmente azioni casuali per migliorare la robustezza rispetto alle deviazioni.

Contributi Chiave

1. Framework: Introduzione di SBC, un metodo che genera diversità strutturata dei partner tramite blocco degli stati senza modificare le dinamiche di transizione dell'ambiente o richiedere dati esterni.
2. Meccanismo: La formulazione dell'MDP con Blocco degli Stati e della strategia di programmazione guidata dal valore per bilanciare la diversità con la fattibilità del compito.
3. Prestazioni: Dimostrazione che SBC ottiene prestazioni di Coordinamento Zero-Shot superiori su molteplici benchmark, riducendo significativamente il divario tra i punteggi Self-Play e Cross-Play.
4. Coordinamento Uomo-AI: Validazione che SBC coordina efficacemente sia con proxy umani che con partecipanti umani reali, superando le baseline esistenti in termini di ritorno del compito, riduzione delle collisioni e fluidità percepita del coordinamento.

Risultati Sperimentali

Gli autori hanno valutato SBC su Multi-Destination Spread e Overcooked v1 (cinque layout), confrontandolo con baseline tra cui IPPO, FCP, MEP, E3T, GAMMA e CEC.

• Multi-Destination Spread: SBC ha ottenuto un punteggio XP di 957.2 (contro 77.4 per IPPO) con un Gap di 24.8 (contro 912.6 per IPPO). È stato l'unico metodo a mantenere alte prestazioni sia in SP che in XP.
• Overcooked v1: SBC ha costantemente superato le baseline nel Cross-Play su tutti i layout. Ad esempio, nel layout Coordination Ring, SBC ha ottenuto un XP di 316 (Gap 17), mentre IPPO ha ottenuto 41 (Gap 246). SBC ha anche mantenuto o migliorato le prestazioni Self-Play rispetto ad altri metodi.
• Held-Out XP: SBC ha dimostrato una robusta generalizzazione verso partner addestrati con diversi metodi ZSC, non solo con diversi semi.
• Valutazione Uomo-AI: In esperimenti con 40 partecipanti umani reali, SBC ha ottenuto i punteggi più alti su tutti e cinque i layout. Ha determinato il numero più basso di collisioni per consegna e le più alte valutazioni dei partecipanti per la fluidità del coordinamento su una scala Likert a 7 punti.

Significato e Affermazioni

Il paper afferma che SBC affronta il limite fondamentale dei metodi ZSC esistenti: l'incapacità di costruire comportamenti di partner subottimali diversificati ma strutturati. Inducendo partner "consapevoli del blocco", SBC espone l'agente ego a un'ampia gamma di convenzioni di coordinamento, consentendo una generalizzazione robusta verso partner non visti.

Gli autori sottolineano che:

• SBC non richiede una modifica esplicita dell'ambiente (a differenza di CEC) o una raccolta di dati umani su larga scala.
• Il metodo migliora il coordinamento con partner umani, suggerendo che l'esposizione a strategie diversificate e localmente ottimali aiuta gli agenti ad adattarsi alle idiosincrasie umane.
• Sebbene SBC introduca iperparametri ($\alpha$ e $K$), la programmazione guidata dal valore rende il metodo robusto a variazioni moderate, e l'overhead computazionale è modesto rispetto ai guadagni di prestazioni e rispetto a baseline più pesanti come GAMMA o CEC.

Il lavoro posiziona SBC come un passo pratico verso il dispiegamento di agenti AI cooperativi che possono integrarsi senza soluzione di continuità con sistemi addestrati in modo indipendente e collaboratori umani in scenari del mondo reale.