Riepilogo Tecnico: MTG-Causal-RL

Enunciato del Problema

L'Apprendimento per Rinforzo Causale (RL) attualmente manca di benchmark che affrontino simultaneamente il processo decisionale sequenziale, le informazioni nascoste, ampi spazi di azioni mascherate e una struttura causale esplicita. Gli ambienti esistenti offrono tipicamente o un controllo di basso livello con interventi fisici chiari (ad esempio, robotica) o giochi strategici privi di un'interfaccia causale esplicita (ad esempio, giochi da tavolo standard). Questo divario ostacola la ricerca sull'assegnazione causale del credito, il trasferimento strutturale tra archetipi definiti e l'auditabilità delle politiche in condizioni complesse e parzialmente osservabili.

Metodologia

Il Benchmark MTG-Causal-RL

Gli autori introducono MTG-Causal-RL, un benchmark basato su Gymnasium costruito su Magic: The Gathering (MTG). L'ambiente è progettato per essere strategicamente ricco ma computazionalmente trattabile, presentando:

• Spazio di Osservazione: Un vettore di osservazione parziale a 3.077 dimensioni che copre la mano visibile, il campo di battaglia, il cimitero, i totali vita, la fase e lo stato del mana.
• Spazio di Azione: Uno spazio discreto mascherato di 478 azioni organizzato in 16 categorie (ad esempio, lanciare incantesimi, attaccare, bloccare, pagamento del mana). Tipicamente, solo 2–15 azioni sono legali per stato.
• Archetipi: Cinque archetipi di mazzi competitivi Standard 2025 (Mono-Red Aggro, Azorius Control, Dimir Midrange, Domain Ramp, Boros Convoke) fungono da pool per l'addestramento e la valutazione.
• Modello Causale Strutturale (SCM): Un SCM progettato a mano definisce le relazioni causali tra le variabili strategiche. Non è appreso dai dati ma derivato dalla teoria strategica di MTG per dare priorità all'interpretabilità. Il modello consiste in quattro livelli:
  1. Risorse: Mana, calate di terre, creature di mana.
  2. Stato del Campo: Pressione sul campo, densità delle minacce.
  3. Posizione Strategica: Vantaggio di carte, tempo, buffer di vita, disponibilità di rimozioni.
  4. Esito: Probabilità di vittoria ($WinProb$), modellata come una funzione sigmoide dei suoi sei genitori (i fattori strategici).
• Interfaccia di Intervento: L'ambiente espone variabili causali, effetti di intervento previsti dall'SCM (calcolati analiticamente tramite propagazione $do(\cdot)$) e tracce di credito per fattore. Le azioni mappano su interventi (ad esempio, giocare una terra corrisponde a $do(LandDrop=1)$), propagando gli effetti attraverso l'SCM per aggiornare $WinProb$.

Agente Proposto: CGFA-PPO

Come contributo secondario, gli autori propongono Causal Graph-Factored Advantage PPO (CGFA-PPO). Questo agente estende il PPO mascherato standard con tre componenti causali:

1. Critic per Fattore: Un insieme di $K$ teste critic ($V_k$) corrispondenti ai genitori dell'SCM di $WinProb$. Queste sono addestrate contro ricompense per fattore definite come la variazione dei valori dei fattori ($\phi_k(s_{t+1}) - \phi_k(s_t)$).
2. Pesi di Miscelazione Apprendibili: Un livello softmax ($w_k$) che fonde il vantaggio scalare con i vantaggi allineati ai fattori. Questi pesi sono inizializzati dai pesi di regressione logistica dell'SCM per fornire un prior strutturale.
3. Cancello Residuo Condizionato allo Stato: Un cancello $g(s) \in (0,1)$ che decide dinamicamente l'affidamento sul vantaggio scalare rispetto al vantaggio allineato ai fattori per ogni stato.
4. Perdita di Calibrazione dell'Intervento: Una perdita di correlazione di Pearson ($L_{cal}$) che allinea i vantaggi appresi per fattore ($A_k$) con gli effetti di intervento previsti dall'SCM ($\epsilon_k$).

Protocollo Sperimentale

La valutazione impiega un protocollo statistico rigoroso per garantire la riproducibilità e affermazioni causali valide:

• Semi Appaiati: I confronti utilizzano semi appaiati tra agenti e mazzi.
• Test Statistici: Le percentuali di vittoria utilizzano intervalli di punteggio di Wilson e intervalli di confidenza bootstrap appaiati. I confronti a coppie utilizzano test dei ranghi con segno di Wilcoxon e test t di Welch.
• Correzione: La correzione di Holm-Bonferroni viene applicata all'interno delle famiglie di confronto pre-registrate per controllare le comparazioni multiple.
• Metriche: Oltre alle percentuali di vittoria principali, il benchmark traccia i gap di trasferimento leave-one-out tra archetipi, le traiettorie di calibrazione per fattore e le quote di assegnazione del credito.

Risultati Chiave

Prestazioni Principali

• Confronto con la Linea di Base: Sia il PPO mascherato standard che il CGFA-PPO superano significativamente la linea di base casuale uniforme su tutti e cinque gli archetipi.
• Dipendenza dal Mazzo: Nessun agente domina uniformemente l'altro. Il CGFA-PPO supera il PPO su Azorius Control (+5,0 pp) e Mono-Red Aggro (+2,8 pp). Al contrario, il PPO supera il CGFA-PPO su Boros Convoke (-3,9 pp), Dimir Midrange (-2,2 pp) e Domain Ramp (-8,3 pp).
• Ancore Euristiche: Le euristiche codificate a mano performano fortemente su mazzi proattivi (ad esempio, Mono-Red) ma scarsamente su mazzi reattivi o complessi (ad esempio, Azorius Control, Domain Ramp), indicando che il benchmark contiene regimi che favoriscono sia la scripting che l'apprendimento.

Ablazione e Diagnostica

• Augmentation Causale: Sulla fetta diagnostica Mono-Red, il CGFA-PPO completo (70,6%) performa in modo comparabile al controllo solo scalare (69,4%) e alla variante senza cancello (70,6%). La variante "senza calibrazione" ha effettivamente raggiunto il 73,3%, suggerendo che calibrazione e gating sono meccanismi per l'allineamento e l'interpretabilità piuttosto che potenziatori immediati delle prestazioni in questo contesto.
• Trasferimento: I test di trasferimento leave-one-out hanno rivelato che le miscele di avversari tenute fuori erano spesso più facili del pool di addestramento (gap di generalizzazione negativi sia per PPO che per CGFA-PPO), dimostrando la capacità del benchmark di rilevare spostamenti di valutazione piuttosto che provare un trasferimento risolto.
• Calibrazione: Le traiettorie di addestramento hanno mostrato che le correlazioni dei fattori si sono spostate verso il positivo, la quota di credito si è concentrata pesantemente sul fattore "buffer di vita" e il cancello residuo è rimasto attivo, confermando che l'agente utilizza l'interfaccia causale in modo auditabile.

Significato e Affermazioni

Il documento afferma che MTG-Causal-RL fornisce un banco di prova condiviso per tre domande aperte che i benchmark attuali non possono porre insieme:

1. Assegnazione Causale del Credito: Valutare agenti in spazi di azioni mascherate dove le azioni devono essere attribuite a specifici fattori causali.
2. Trasferimento Strutturale: Testare la generalizzazione attraverso archetipi strategici chiaramente definiti.
3. Auditabilità della Politica: Utilizzare metriche fondate sull'SCM (curve di calibrazione, effetti di intervento) per auditare perché una politica prende decisioni, non solo qual è la percentuale di vittoria.

Gli autori sottolineano che il contributo primario è l'ambiente di benchmark e l'interfaccia causale, che permette la separazione della capacità, dei critic per fattore, del gating e della calibrazione. I risultati suggeriscono che, sebbene gli agenti causali possano essere competitivi, l'etichetta "causale" da sola non garantisce percentuali di vittoria scalari superiori; il valore risiede nella capacità di diagnosticare comportamenti strutturali e auditare gli aggiornamenti della politica contro modelli causali espliciti. Il benchmark è rilasciato apertamente per supportare la ricerca su causal RL, modelli del mondo e agenti LLM.