Riepilogo Tecnico: Rimozione di Azioni Avversariali nell'Apprendimento per Rinforzo in Auto-Gioco

Definizione del Problema

Questo articolo indaga una superficie di attacco avversariale nuova e grave nell'Apprendimento per Rinforzo Multi-Agente (MARL): mascheramento avversariale delle azioni. A differenza dei lavori precedenti focalizzati sulle perturbazioni delle osservazioni (aggiunta di rumore agli input) o sulla manipolazione delle ricompense, questo studio formalizza un attacco in cui un avversario rimuove selettivamente azioni legali dall'insieme di azioni di un agente vittima prima che l'agente prenda una decisione.

Il problema è inquadrato come un'ottimizzazione a due livelli:

• Ciclo Interno: Un agente vittima (Giocatore 0) si allena tramite auto-gioco in uno spazio di azioni vincolato definito dalla maschera.
• Ciclo Esterno: Un avversario (Giocatore 1) apprende una politica per selezionare quali azioni rimuovere in specifici stati informativi al fine di minimizzare il valore atteso della vittima.

L'avversario opera sotto un vincolo di budget $k$, che limita il numero di stati informativi in cui è possibile rimuovere azioni, ma deve mantenere almeno un'azione legale per stato. L'ipotesi centrale è che la rimozione delle opzioni decisionali (riduzione strutturale) sia qualitativamente diversa e più dannosa delle perturbazioni limitate, poiché può collassare i punti decisionali in azioni singole, eliminando la capacità dell'agente di scegliere.

Metodologia

Quadro Formale

Gli autori modellano l'ambiente come un gioco a forma estesa a somma zero con due giocatori. L'avversario è definito come una mappa $M: I_0 \to 2^A$ che seleziona un sottoinsieme di azioni da mantenere in ogni insieme informativo della vittima $h$. L'obiettivo dell'avversario è minimizzare il valore della vittima $V_0(\pi^*_M)$.

Analisi Meccanicistica:
Il paper introduce due metriche per spiegare il meccanismo dell'attacco:

1. Capacità di Azione Contingente Ponderata per il Raggiungimento ($CAC_w$): Misura la capacità decisionale multi-azione rimanente negli stati informativi raggiunti, ponderata per la loro probabilità di raggiungimento $\rho(h)$.
2. Raffinamento Ponderato per il Valore ($CAC_v$): Una metrica più precisa che pesa la capacità per il divario di valore $\delta(h)$ tra l'azione ottimale della vittima e l'azione forzata: $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$.

Le proposizioni teoriche suggeriscono che un avversario greedy prende di mira stati con alto $\rho(h) \cdot \delta(h)$, guidando efficacemente $CAC_w$ e $CAC_v$ verso il basso. Sotto condizioni specifiche (ad esempio, Q-learning $\epsilon$-greedy), gli autori dimostrano che se $CAC_w$ viene portata a zero, la politica della vittima converge a un'unica azione forzata, portando a un punto fisso stabile ma subottimale.

Setup Sperimentale

Lo studio valuta l'attacco attraverso:

• Algoritmi: Cinque algoritmi di apprendimento distinti tra cui Q-Learning Tabellare, PPO Tabellare, NFSP Tabellare (Neural Fictitious Self-Play), NFSP Neurale e DQN.
• Dominii:
  • Poker: Kuhn Poker (6 stati), Leduc Poker (50 stati) e varianti scalate Leduc-5 (389), Leduc-10 (1.496) e Leduc-20 (5.531 stati).
  • Non-Poker: Competitive Gridworld (149 stati) e Resource Collection (18.604 stati).
• Baseline: Confronti contro la rimozione casuale di azioni, la rimozione fissa di azioni e attacchi di perturbazione appresi (stile RARL).

Il protocollo di allenamento prevede l'alternanza tra 500 episodi di allenamento della vittima e un passo di gradiente per l'avversario (utilizzando REINFORCE) per 20–25 iterazioni esterne.

Risultati Chiave

1. Superiorità del Mascheramento Avversariale

Il mascheramento avversariale appreso causa danni sostanzialmente maggiori rispetto al mascheramento casuale o alla perturbazione appresa.

• In Leduc Poker, la rimozione appresa è fino a 4,8 volte più dannosa del mascheramento casuale a livelli di supporto comparabili.
• Rispetto alla perturbazione appresa (stile RARL) con budget di allenamento uguali, la rimozione avversariale delle azioni è 4 volte più dannosa in Kuhn Poker.
• L'attacco persiste anche quando l'avversario è limitato alle sole informazioni pubbliche, sebbene l'accesso alle informazioni private produca risultati più forti.

2. Scalabilità con la Complessità

Il vantaggio dell'avversario appreso aumenta all'aumentare della complessità del gioco.

• Nella famiglia Leduc, il rapporto di danno (Avversariale/Casuale) scala da 2,2× (a ~50 stati) a 4,8× (a 5.531 stati).
• Ciò suggerisce che giochi più grandi e complessi offrono maggiore "eterogeneità strategica" che l'avversario può sfruttare.

3. Invarianza rispetto ad Algoritmo e Dominio

La vulnerabilità non è specifica di un singolo algoritmo o dominio:

• Algoritmi: Tutti gli agenti testati (QL, PPO, NFSP, DQN) collassano sotto il mascheramento avversariale. Anche Neural NFSP, un metodo robusto per la risoluzione di giochi, degrada significativamente (da -0,13 a -1,89 in Leduc-5).
• Dominii: Il fenomeno si mantiene in ambienti non da poker. In Competitive Gridworld, il mascheramento avversariale ha causato 1,9 volte più danni rispetto al mascheramento casuale. In Resource Collection, il divario è stato di 1,4 volte.

4. Assenza di Recupero

Le vittime non si riprendono nemmeno sotto un allenamento esteso con la maschera attiva.

• Quando l'allenamento continua sotto una maschera avversariale fissa, la ricompensa della vittima si stabilizza a un livello significativamente inferiore rispetto alla baseline senza maschera.
• Il riaddestramento da zero sulla maschera appresa finale comporta anch'esso grandi perdite, indicando che il danno strutturale non è facilmente mitigabile tramite adattamento.

5. Correlazione Meccanicistica

Esiste una forte correlazione empirica tra la riduzione di $CAC_w$ e $CAC_v$ e il degrado delle prestazioni della vittima.

• $CAC_w$ correla con la ricompensa della vittima a $r = 0,80$.
• $CAC_v$ correla a $r = 0,81$, suggerendo che prendere di mira stati con alti divari di valore è il principale motore del successo dell'attacco.

Significato e Affermazioni

Il paper sostiene che la disponibilità delle azioni costituisce una superficie di robustezza distinta nell'RL in auto-gioco, separata dalla robustezza delle osservazioni o delle ricompense.

• Vulnerabilità Strutturale: I risultati dimostrano che gli agenti in auto-gioco sono fragili di fronte a cambiamenti strutturali mirati nello spazio delle azioni. A differenza delle perturbazioni che aggiungono rumore, la rimozione elimina le opzioni decisionali, collassando la flessibilità strategica dell'agente.
• Limiti delle Difese Attuali: Le difese MARL robuste esistenti (ad esempio, l'allenamento contro le perturbazioni o l'uso della diversità della popolazione) sono insufficienti perché assumono che lo spazio congiunto delle azioni rimanga intatto. Il paper nota che la media delle strategie o il mantenimento della diversità della popolazione non possono ripristinare le dimensioni strategiche eliminate.
• Implicazioni per il Deploy: In sistemi reali dove gli avversari possono disabilitare capacità specifiche (ad esempio, endpoint API, attuatori), gli agenti possono subire fallimenti catastrofici. Gli autori suggeriscono che difese efficaci devono concentrarsi sul preservare la flessibilità strategica in punti decisionali ad alto raggiungimento e ad alto valore ($CAC_v$) piuttosto che ottimizzare per una robustezza uniforme verso l'indisponibilità arbitraria delle azioni.

Gli autori rimangono modesti riguardo alle loro affermazioni teoriche, notando che i limiti di danno sono locali e additivi, e che la tendenza di scalabilità è empirica (basata su quattro dimensioni di gioco) piuttosto che una legge di scalabilità provata. Riconoscono che la verifica alla scala completa del poker ($10^5+$ stati) e in domini di azioni continue rimane lavoro futuro.