Resumo Técnico: MTG-Causal-RL

Declaração do Problema

A Aprendizagem por Reforço Causal (RL) atualmente carece de benchmarks que abordem simultaneamente a tomada de decisão sequencial, informações ocultas, grandes espaços de ação mascarados e estrutura causal explícita. Ambientes existentes tipicamente oferecem controle de baixo nível com intervenções físicas claras (por exemplo, robótica) ou jogos estratégicos sem uma interface causal explícita (por exemplo, jogos de tabuleiro padrão). Essa lacuna impede pesquisas sobre atribuição de crédito causal, transferência estrutural entre arquétipos definidos e auditabilidade de políticas sob condições complexas e parcialmente observáveis.

Metodologia

O Benchmark MTG-Causal-RL

Os autores introduzem o MTG-Causal-RL, um benchmark baseado no Gymnasium construído sobre Magic: The Gathering (MTG). O ambiente foi projetado para ser estrategicamente rico, porém computacionalmente tratável, apresentando:

• Espaço de Observação: Um vetor de observação parcial de 3.077 dimensões cobrindo a mão visível, campo de batalha, cemitério, totais de vida, fase e estado de mana.
• Espaço de Ação: Um espaço discreto mascarado de 478 ações organizado em 16 categorias (por exemplo, lançar feitiços, atacar, bloquear, pagamento de mana). Tipicamente, apenas 2–15 ações são legais por estado.
• Arquétipos: Cinco arquétipos de decks competitivos do Standard 2025 (Mono-Red Aggro, Azorius Control, Dimir Midrange, Domain Ramp, Boros Convoke) servem como pool de treinamento e avaliação.
• Modelo Causal Estrutural (SCM): Um SCM projetado manualmente define as relações causais entre variáveis estratégicas. Ele não é aprendido a partir de dados, mas derivado da teoria estratégica do MTG para priorizar a interpretabilidade. O modelo consiste em quatro camadas:
  1. Recursos: Mana, drops de terra, criaturas de mana.
  2. Estado do Tabuleiro: Pressão no tabuleiro, densidade de ameaças.
  3. Posição Estratégica: Vantagem de cartas, tempo (tempo), buffer de vida, disponibilidade de remoção.
  4. Resultado: Probabilidade de vitória ($WinProb$), modelada como uma função sigmoide de seus seis pais (os fatores estratégicos).
• Interface de Intervenção: O ambiente expõe variáveis causais, efeitos de intervenção previstos pelo SCM (calculados analiticamente via propagação $do(\cdot)$) e rastros de crédito por fator. As ações mapeiam para intervenções (por exemplo, jogar uma terra corresponde a $do(LandDrop=1)$), propagando efeitos através do SCM para atualizar $WinProb$.

Agente Proposto: CGFA-PPO

Como contribuição secundária, os autores propõem o Causal Graph-Factored Advantage PPO (CGFA-PPO). Este agente estende o PPO mascarado padrão com três componentes causais:

1. Críticos por Fator: Um conjunto de $K$ cabeças de crítico ($V_k$) correspondentes aos pais do SCM de $WinProb$. Estes são treinados contra recompensas por fator definidas como a mudança nos valores do fator ($\phi_k(s_{t+1}) - \phi_k(s_t)$).
2. Pesos de Mistura Aprendíveis: Uma camada softmax ($w_k$) que mistura o vantagem escalar com as vantagens alinhadas aos fatores. Esses pesos são inicializados a partir dos pesos de regressão logística do SCM para fornecer um prior estrutural.
3. Portão Residual Condicional ao Estado: Um portão $g(s) \in (0,1)$ que decide dinamicamente a confiança na vantagem escalar versus a vantagem alinhada aos fatores para cada estado.
4. Perda de Calibração de Intervenção: Uma perda de correlação de Pearson ($L_{cal}$) que alinha as vantagens aprendidas por fator ($A_k$) com os efeitos de intervenção previstos pelo SCM ($\epsilon_k$).

Protocolo Experimental

A avaliação emprega um protocolo estatístico rigoroso para garantir reprodutibilidade e reivindicações causais válidas:

• Sementes Pareadas: As comparações utilizam sementes pareadas entre agentes e decks.
• Testes Estatísticos: As taxas de vitória utilizam intervalos de pontuação de Wilson e intervalos de confiança bootstrap pareados. Comparações pareadas utilizam testes de postos sinalizados de Wilcoxon e testes t de Welch.
• Correção: A correção de Holm-Bonferroni é aplicada dentro de famílias de comparação pré-registradas para controlar múltiplas comparações.
• Métricas: Além das taxas de vitória principais, o benchmark rastreia lacunas de transferência leave-one-out entre arquétipos, trajetórias de calibração por fator e participações de atribuição de crédito.

Principais Resultados

Desempenho Principal

• Comparação com Linha de Base: Tanto o PPO Mascarado padrão quanto o CGFA-PPO superam significativamente a linha de base aleatória uniforme em todos os cinco arquétipos.
• Dependência do Deck: Nenhum agente domina uniformemente o outro. O CGFA-PPO supera o PPO no Azorius Control (+5,0 pp) e no Mono-Red Aggro (+2,8 pp). Por outro lado, o PPO supera o CGFA-PPO no Boros Convoke (-3,9 pp), Dimir Midrange (-2,2 pp) e Domain Ramp (-8,3 pp).
• Âncoras Heurísticas: Heurísticas codificadas manualmente performam fortemente em decks proativos (por exemplo, Mono-Red), mas mal em decks reativos ou complexos (por exemplo, Azorius Control, Domain Ramp), indicando que o benchmark contém regimes que favorecem tanto a scriptação quanto o aprendizado.

Ablação e Diagnósticos

• Aumento Causal: Na fatia de diagnóstico Mono-Red, o CGFA-PPO completo (70,6%) performa comparavelmente ao controle apenas escalar (69,4%) e à variante sem portão (70,6%). A variante "sem calibração" na verdade alcançou 73,3%, sugerindo que a calibração e o portão são mecanismos para alinhamento e interpretabilidade, e não impulsionadores imediatos de desempenho neste cenário.
• Transferência: Testes de transferência leave-one-out revelaram que as misturas de oponentes mantidas fora foram frequentemente mais fáceis do que o pool de treinamento (lacunas de generalização negativas para ambos PPO e CGFA-PPO), demonstrando a capacidade do benchmark de detectar mudanças de avaliação em vez de provar transferência resolvida.
• Calibração: As trajetórias de treinamento mostraram que as correlações dos fatores se tornaram positivas, a participação de crédito concentrou-se pesadamente no fator "buffer de vida" e o portão residual permaneceu ativo, confirmando que o agente utiliza a interface causal de maneira auditável.

Significado e Reivindicações

O artigo afirma que o MTG-Causal-RL fornece um campo de prova compartilhado para três questões abertas que os benchmarks atuais não podem colocar juntos:

1. Atribuição de Crédito Causal: Avaliar agentes sob espaços de ação mascarados onde as ações devem ser creditadas a fatores causais específicos.
2. Transferência Estrutural: Testar a generalização entre arquétipos estratégicos claramente definidos.
3. Auditabilidade de Políticas: Usar métricas fundamentadas no SCM (curvas de calibração, efeitos de intervenção) para auditar por que uma política toma decisões, não apenas qual é a taxa de vitória.

Os autores enfatizam que a contribuição primária é o ambiente de benchmark e a interface causal, que permite a separação de capacidade, críticos de fator, portões e calibração. Os resultados sugerem que, embora agentes causais possam ser competitivos, o rótulo "causal" sozinho não garante taxas de vitória escalares superiores; o valor reside na capacidade de diagnosticar comportamentos estruturais e auditar atualizações de políticas contra modelos causais explícitos. O benchmark é lançado abertamente para apoiar pesquisas em RL causal, modelos de mundo e agentes LLM.