기술 요약: MTG-Causal-RL

문제 제기

인과적 강화학습 (RL) 은 현재 순차적 의사결정, 숨겨진 정보, 대규모 마스킹된 행동 공간, 그리고 명시적 인과 구조를 동시에 다루는 벤치마크가 부족합니다. 기존 환경들은 보통 로봇공학과 같은 명확한 물리적 개입을 수반하는 저수준 제어, 또는 명시적 인과 인터페이스가 부재한 표준 보드게임과 같은 전략적 게임 중 하나를 제공합니다. 이러한 격차는 복잡하고 부분적으로 관측 가능한 조건 하에서 인과적 신용 할당, 정의된 아키타입 간 구조적 전이, 그리고 정책의 감사 가능성을 위한 연구를 방해합니다.

방법론

MTG-Causal-RL 벤치마크

저자들은 매직: 더 개더링 (MTG) 을 기반으로 한 Gymnasium 기반 벤치마크인 MTG-Causal-RL을 소개합니다. 이 환경은 전략적으로 풍부하면서도 계산적으로 실행 가능하도록 설계되었으며, 다음과 같은 특징을 가집니다:

• 관측 공간: 가시적인 손, 전장, 묘지, 생명력 총량, 단계, 그리고 마나 상태를 포함하는 3,077 차원의 부분 관측 벡터.
• 행동 공간: 16 개 카테고리 (예: 주문 시전, 공격, 차단, 마나 지불 등) 로 조직된 478 개의 행동이 마스킹된 이산 공간. 일반적으로 각 상태당 2~15 개의 행동만 합법적입니다.
• 아키타입: 훈련 및 평가 풀로 기능하는 5 가지 경쟁적인 스탠다드 2025 덱 아키타입 (Mono-Red Aggro, Azorius Control, Dimir Midrange, Domain Ramp, Boros Convoke).
• 구조적 인과 모델 (SCM): 전략적 변수 간의 인과 관계를 정의하는 수동 설계 SCM 입니다. 이는 데이터에서 학습된 것이 아니라 해석 가능성을 우선시하기 위해 MTG 전략 이론에서 도출된 것입니다. 이 모델은 네 가지 계층으로 구성됩니다:
  1. 자원: 마나, 땅 드롭, 마나 생물.
  2. 보드 상태: 보드 압력, 위협 밀도.
  3. 전략적 위치: 카드 우위, 템포, 생명력 버퍼, 제거 가능성.
  4. 결과: 승률 ($WinProb$) 은 여섯 가지 부모 (전략적 요인) 의 시그모이드 함수로 모델링됩니다.
• 개입 인터페이스: 환경은 인과 변수, SCM 예측 개입 효과 ( $do(\cdot)$ 전파를 통해 분석적으로 계산됨), 그리고 요인별 신용 추적을 노출합니다. 행동은 개입에 매핑됩니다 (예: 땅을 플레이하는 것은 $do(LandDrop=1)$에 해당함). 이는 SCM 을 통해 효과를 전파하여 $WinProb$을 업데이트합니다.

제안된 에이전트: CGFA-PPO

2 차 기여로서, 저자들은 **Causal Graph-Factored Advantage PPO (CGFA-PPO)**를 제안합니다. 이 에이전트는 세 가지 인과 구성 요소로 표준 마스킹 PPO 를 확장합니다:

1. 요인별 크리틱 (Per-Factor Critics): $WinProb$의 SCM 부모에 해당하는 $K$개의 크리틱 헤드 ($V_k$) 집합. 이들은 요인 값의 변화 ($\phi_k(s_{t+1}) - \phi_k(s_t)$) 로 정의된 요인별 보상에 대해 훈련됩니다.
2. 학습 가능한 혼합 가중치: 스칼라 이점과 요인 정렬 이점을 혼합하는 소프트맥스 레이어 ($w_k$). 이러한 가중치는 구조적 사전 지식을 제공하기 위해 SCM 의 로지스틱 회귀 가중치에서 초기화됩니다.
3. 상태 조건부 잔여 게이트: 각 상태에 대해 스칼라 이점 대 요인 정렬 이점에 대한 의존성을 동적으로 결정하는 게이트 $g(s) \in (0,1)$.
4. 개입 보정 손실: 학습된 요인별 이점 ($A_k$) 을 SCM 예측 개입 효과 ($\epsilon_k$) 와 정렬시키는 피어슨 상관관계 손실 ($L_{cal}$).

실험 프로토콜

평가 재현성과 유효한 인과 주장을 보장하기 위해 엄격한 통계 프로토콜이 사용됩니다:

• 쌍을 이룬 시드: 에이전트와 덱 간 비교에 쌍을 이룬 시드를 사용합니다.
• 통계적 검정: 승률은 윌슨 점수 구간과 쌍을 이룬 부트스트랩 신뢰 구간을 사용합니다. 쌍별 비교는 윌콕슨 부호 순위 검정과 웰치 t-검정을 활용합니다.
• 보정: 다중 비교를 통제하기 위해 사전 등록된 비교 군 내에서 Holm-Bonferroni 보정이 적용됩니다.
• 지표: 주요 승률 외에도, 벤치마크는 한 아키타입을 제외하고 수행하는 교차 아키타입 전이 격차, 요인별 보정 궤적, 그리고 신용 할당 지분을 추적합니다.

주요 결과

주요 성과

• 기준선 비교: 표준 마스킹 PPO 와 CGFA-PPO 모두 다섯 가지 아키타입 전반에 걸쳐 균일 무작위 기준선보다 유의하게 우수한 성과를 냅니다.
• 덱 의존성: 어느 에이전트도 다른 에이전트를 균일하게 지배하지는 않습니다. CGFA-PPO 는 Azorius Control (+5.0 pp) 과 Mono-Red Aggro (+2.8 pp) 에서 PPO 보다 우세합니다. 반면, PPO 는 Boros Convoke (-3.9 pp), Dimir Midrange (-2.2 pp), 그리고 Domain Ramp (-8.3 pp) 에서 CGFA-PPO 보다 우세합니다.
• 휴리스틱 앵커: 수동 코딩된 휴리스틱은 선제적 덱 (예: Mono-Red) 에서는 강력하게 작동하지만, 반응적이거나 복잡한 덱 (예: Azorius Control, Domain Ramp) 에서는 poorly 작동하여, 이 벤치마크가 스크립팅과 학습 모두를 선호하는 체제를 포함하고 있음을 나타냅니다.

제거 분석 및 진단

• 인과 증강: Mono-Red 진단 슬라이스에서 전체 CGFA-PPO (70.6%) 는 스칼라 전용 제어 (69.4%) 와 게이트 없는 변형 (70.6%) 과 유사한 성능을 보입니다. "보정 없음" 변형은 실제로 73.3% 를 달성하여, 보정과 게이팅이 이 설정에서 즉각적인 성능 향상보다는 정렬과 해석 가능성을 위한 메커니즘임을 시사합니다.
• 전이: 한 아키타입을 제외하고 수행하는 전이 테스트는 유지된 상대 덱 조합이 종종 훈련 풀보다 쉬웠음을 (PPO 와 CGFA-PPO 모두에 대한 부정적 일반화 격차) 드러냈으며, 이는 벤치마크가 해결된 전이를 증명하기보다는 평가 변화를 감지할 수 있음을 보여줍니다.
• 보정: 훈련 궤적은 요인 상관관계가 양수로 이동했음을, 신용 지분이 "생명력 버퍼" 요인에 집중되었음을, 그리고 잔여 게이트가 활성화되어 있음을 보여주어 에이전트가 감사 가능한 방식으로 인과 인터페이스를 활용함을 확인시켰습니다.

중요성과 주장

본 논문은 MTG-Causal-RL이 현재 벤치마크가 함께 제기할 수 없는 세 가지 열린 질문에 대한 공유 테스트베드를 제공한다고 주장합니다:

1. 인과적 신용 할당: 행동이 특정 인과 요인에 귀속되어야 하는 마스킹된 행동 공간 하에서 에이전트를 평가합니다.
2. 구조적 전이: 깔끔하게 정의된 전략적 아키타입 간 일반화를 테스트합니다.
3. 정책 감사 가능성: 승률이 무엇인지가 아니라 정책이 왜 결정을 내리는지를 감사하기 위해 SCM 기반 지표 (보정 곡선, 개입 효과) 를 사용합니다.

저자들은 주요 기여가 벤치마크 환경과 인과 인터페이스라고 강조하며, 이를 통해 용량, 요인 크리틱, 게이팅, 보정을 분리할 수 있게 한다고 말합니다. 결과는 인과 에이전트가 경쟁력이 있을 수 있지만, "인과적"이라는 레이블 자체만으로는 우수한 스칼라 승률을 보장하지는 않는다는 것을 시사합니다. 가치는 명시적 인과 모델에 대한 정책 업데이트를 진단하고 감사할 수 있는 능력에 있습니다. 이 벤치마크는 인과적 RL, 세계 모델, 그리고 LLM 에이전트 연구를 지원하기 위해 공개적으로 배포됩니다.