Resumen Técnico: MTG-Causal-RL

Enunciado del Problema

El Aprendizaje por Refuerzo Causal (RL) carece actualmente de puntos de referencia que aborden simultáneamente la toma de decisiones secuencial, la información oculta, los grandes espacios de acciones enmascaradas y la estructura causal explícita. Los entornos existentes suelen ofrecer ya sea control de bajo nivel con intervenciones físicas claras (por ejemplo, robótica) o juegos estratégicos que carecen de una interfaz causal explícita (por ejemplo, juegos de mesa estándar). Esta brecha obstaculiza la investigación sobre la asignación de crédito causal, la transferencia estructural entre arquetipos definidos y la auditabilidad de políticas bajo condiciones complejas y parcialmente observables.

Metodología

El Punto de Referencia MTG-Causal-RL

Los autores introducen MTG-Causal-RL, un punto de referencia basado en Gymnasium construido sobre Magic: The Gathering (MTG). El entorno está diseñado para ser estratégicamente rico pero computacionalmente tratable, presentando:

• Espacio de Observación: Un vector de observación parcial de 3.077 dimensiones que cubre la mano visible, el campo de batalla, el cementerio, totales de vida, fase y estado de maná.
• Espacio de Acción: Un espacio discreto enmascarado de 478 acciones organizado en 16 categorías (por ejemplo, lanzar hechizos, atacar, bloquear, pago de maná). Típicamente, solo 2–15 acciones son legales por estado.
• Arquetipos: Cinco arquetipos de mazos competitivos del Estándar 2025 (Aggro Mono-Rojo, Control Azorius, Midrange Dimir, Ramp Domain, Convoke Boros) sirven como el grupo de entrenamiento y evaluación.
• Modelo Causal Estructural (SCM): Un SCM diseñado a mano define las relaciones causales entre variables estratégicas. No se aprende de los datos, sino que se deriva de la teoría estratégica de MTG para priorizar la interpretabilidad. El modelo consta de cuatro capas:
  1. Recursos: Maná, caídas de tierras, criaturas de maná.
  2. Estado del Tablero: Presión en el tablero, densidad de amenazas.
  3. Posición Estratégica: Ventaja de cartas, tempo, colchón de vida, disponibilidad de eliminación.
  4. Resultado: Probabilidad de victoria ($WinProb$), modelada como una función sigmoide de sus seis padres (los factores estratégicos).
• Interfaz de Intervención: El entorno expone variables causales, efectos de intervención predichos por el SCM (calculados analíticamente mediante propagación $do(\cdot)$) y trazas de crédito por factor. Las acciones se mapean a intervenciones (por ejemplo, jugar una tierra corresponde a $do(LandDrop=1)$), propagando efectos a través del SCM para actualizar $WinProb$.

Agente Propuesto: CGFA-PPO

Como contribución secundaria, los autores proponen Causal Graph-Factored Advantage PPO (CGFA-PPO). Este agente extiende el PPO enmascarado estándar con tres componentes causales:

1. Críticos por Factor: Un conjunto de $K$ cabezas críticas ($V_k$) correspondientes a los padres del SCM de $WinProb$. Estos se entrenan contra recompensas por factor definidas como el cambio en los valores del factor ($\phi_k(s_{t+1}) - \phi_k(s_t)$).
2. Pesos de Mezcla Aprendibles: Una capa softmax ($w_k$) que mezcla la ventaja escalar con las ventajas alineadas a factores. Estos pesos se inicializan a partir de los pesos de regresión logística del SCM para proporcionar un prior estructural.
3. Puerta Residual Condicional al Estado: Una puerta $g(s) \in (0,1)$ que decide dinámicamente la dependencia de la ventaja escalar frente a la ventaja alineada a factores para cada estado.
4. Pérdida de Calibración de Intervención: Una pérdida de correlación de Pearson ($L_{cal}$) que alinea las ventajas aprendidas por factor ($A_k$) con los efectos de intervención predichos por el SCM ($\epsilon_k$).

Protocolo Experimental

La evaluación emplea un protocolo estadístico riguroso para garantizar la reproducibilidad y afirmaciones causales válidas:

• Semillas Emparejadas: Las comparaciones utilizan semillas emparejadas entre agentes y mazos.
• Pruebas Estadísticas: Las tasas de victoria utilizan intervalos de puntuación Wilson e intervalos de confianza de bootstrap emparejados. Las comparaciones pareadas utilizan pruebas de rangos con signo de Wilcoxon y pruebas t de Welch.
• Corrección: Se aplica la corrección Holm-Bonferroni dentro de familias de comparación pre-registradas para controlar las comparaciones múltiples.
• Métricas: Más allá de las tasas de victoria principales, el punto de referencia rastrea brechas de transferencia fuera de arquetipo (leave-one-out), trayectorias de calibración por factor y participaciones de asignación de crédito.

Resultados Clave

Rendimiento Principal

• Comparación con Línea Base: Tanto el PPO enmascarado estándar como el CGFA-PPO superan significativamente a la línea base aleatoria uniforme en los cinco arquetipos.
• Dependencia del Mazo: Ningún agente domina uniformemente al otro. CGFA-PPO supera a PPO en Control Azorius (+5.0 pp) y Aggro Mono-Rojo (+2.8 pp). Por el contrario, PPO supera a CGFA-PPO en Convoke Boros (-3.9 pp), Midrange Dimir (-2.2 pp) y Ramp Domain (-8.3 pp).
• Anclas Heurísticas: Las heurísticas codificadas a mano funcionan bien en mazos proactivos (por ejemplo, Mono-Rojo) pero mal en mazos reactivos o complejos (por ejemplo, Control Azorius, Ramp Domain), lo que indica que el punto de referencia contiene regímenes que favorecen tanto la scripting como el aprendizaje.

Ablación y Diagnósticos

• Aumento Causal: En el corte de diagnóstico Mono-Rojo, el CGFA-PPO completo (70.6%) tiene un rendimiento comparable al control solo escalar (69.4%) y a la variante sin puerta (70.6%). La variante "sin calibración" logró en realidad 73.3%, lo que sugiere que la calibración y la puerta son mecanismos para la alineación y la interpretabilidad, y no potenciadores inmediatos del rendimiento en este contexto.
• Transferencia: Las pruebas de transferencia fuera de uno (leave-one-out) revelaron que las mezclas de oponentes retenidos a menudo eran más fáciles que el grupo de entrenamiento (brechas de generalización negativas tanto para PPO como para CGFA-PPO), demostrando la capacidad del punto de referencia para detectar cambios en la evaluación en lugar de probar una transferencia resuelta.
• Calibración: Las trayectorias de entrenamiento mostraron que las correlaciones de factores se volvieron positivas, la participación de crédito se concentró fuertemente en el factor "colchón de vida" y la puerta residual permaneció activa, confirmando que el agente utiliza la interfaz causal de una manera auditable.

Significado y Afirmaciones

El artículo afirma que MTG-Causal-RL proporciona un campo de pruebas compartido para tres preguntas abiertas que los puntos de referencia actuales no pueden plantear juntos:

1. Asignación de Crédito Causal: Evaluar agentes bajo espacios de acciones enmascaradas donde las acciones deben ser acreditadas a factores causales específicos.
2. Transferencia Estructural: Probar la generalización a través de arquetipos estratégicos claramente definidos.
3. Auditabilidad de Políticas: Utilizar métricas fundamentadas en SCM (curvas de calibración, efectos de intervención) para auditar por qué una política toma decisiones, no solo cuál es la tasa de victoria.

Los autores enfatizan que la contribución principal es el entorno de referencia y la interfaz causal, lo que permite la separación de capacidad, críticos de factores, puertas y calibración. Los resultados sugieren que, aunque los agentes causales pueden ser competitivos, la etiqueta "causal" por sí sola no garantiza tasas de victoria escalares superiores; el valor reside en la capacidad de diagnosticar comportamientos estructurales y auditar las actualizaciones de políticas frente a modelos causales explícitos. El punto de referencia se publica de forma abierta para apoyar la investigación en RL causal, modelos del mundo y agentes LLM.