InfoChess: A Game of Adversarial Inference and a Laboratory for Quantifiable Information Control

논문 요약: InfoChess (정보 통제 실험실로서의 정보 체스)

1. 문제 정의 (Problem)

기존의 불완전 정보 게임 (포커, 전략, 어둠의 체스 등) 은 정보 획득이 승리나 물질적 이득 (기물 잡기) 을 위한 **수단 (instrumental)**으로 작용합니다. 이로 인해 플레이어의 행동이 정보 획득, 기물 방어, 공격 등 여러 목표가 얽혀 있어, 정보 획득과 은폐 전략을 고립적으로 연구하기 어렵습니다.

• 핵심 문제: 정보 획득과 은폐를 **주된 목적 (primary objective)**으로 삼고, 다른 목표 (기물 잡기 등) 를 배제하여 순수한 '경쟁적 추론 (Adversarial Inference)'을 연구할 수 있는 환경이 부재함.
• 해결 방안: 기물 잡기가 없고 오직 상대방의 '왕 (King)' 위치 추론 점수만으로 승패가 결정되는 새로운 대칭적 추론 게임인 InfoChess를 제안.

2. 방법론 (Methodology)

가. 게임 규칙 및 설계 (Game Design)

• 목표: 게임 내내 상대방 왕의 위치를 확률적으로 추론하여 점수를 획득하는 것.
• 규칙:
  • 기물 잡기 없음 (Material incentives 제거).
  • 모든 기물은 1 칸 이동 (방향 무관), 왕은 별도 이동.
  • 가시성 (Visibility): 모든 기물은 주변을 밝히며, 룩 (Rook) 과 비숍 (Bishop) 은 체스 규칙대로 긴 시야를 제공. 폰 (Pawn) 은 적의 시야를 차단.
  • 점수 매기기: 매 턴 상대방 왕이 실제로 있는 칸에 할당한 확률 질량 (Probability Mass) 을 점수로 기록.
  • 게임 길이: 기물 잡기가 없어 고정된 턴 수 (양측 각 25 턴) 로 종료.

나. 에이전트 계층 구조 (Agent Hierarchy)
정보 추론 능력을 평가하기 위해 다양한 수준의 적 모델링을 가진 휴리스틱 에이전트와 강화학습 (RL) 에이전트를 정의함.

1. Random: 무작위 이동 및 균일한 믿음 (Uniform Belief).
2. VisMax (V): 정보 획득 (가시성 증가) 을 극대화하는 이동, 왕은 무작위 이동.
3. BeliefMax (B): 학습된 믿음 모델 (Learned Belief) 하에서 기대 정보 획득을 극대화하는 이동.
4. HidingVisMax (HV): VisMax 이동 + 상대방의 시야를 최소화하는 왕 이동 (은폐).
5. HidingBeliefMax (HB): BeliefMax 이동 + 은폐 전략.
6. RL Agent: 강화학습을 통해 학습된 정책.
   • 구조: 공유된 Transformer 트렁크 (상태 인코더) + MLP 헤드 (이동 점수 및 믿음 예측).
   • 학습: REINFORCE 알고리즘 사용. 상대 에이전트 (Random, VisMax, HB 등) 와의 혼합 플레이를 통해 학습.

다. 정보 이론적 분석 지표 (Information-Theoretic Characterizations)
게임의 역학을 정량화하기 위해 다음 세 가지 지표를 도입함.

1. 믿음 엔트로피 (Belief Entropy): 상대방 왕 위치에 대한 플레이어의 불확실성 (Epistemic Uncertainty) 측정.
2. 오라클 교차 엔트로피 (Oracle Cross Entropy): 실제 상태 (Ground Truth) 를 알 때의 교차 엔트로피. 믿음과 진실 간의 불일치 (Calibration Mismatch) 를 측정.
3. 관측자 교차 엔트로피 (Observer Cross Entropy): 행동에 의해 유도된 불완전 관측 채널 (Action-induced Observation Channel) 하에서의 예측 정확도. 이는 불완전 관측 하에서 모델이 얼마나 잘 교정되었는지를 평가.

3. 주요 기여 (Key Contributions)

1. InfoChess 게임 제안: 기물 잡기 없이 정보 획득과 은폐만을 경쟁 목표로 삼는 대칭적 추론 게임 설계.
2. 계층적 에이전트 및 RL 모델: 다양한 수준의 적 모델링을 가진 휴리스틱 에이전트와 이를 능가하는 RL 에이전트 개발.
3. 정량적 분석 프레임워크: 불완전 관측 하의 다중 에이전트 추론을 분석하기 위한 새로운 정보 이론적 지표 (Belief Entropy, Oracle/Observer Cross Entropy) 제시.
4. 전략적 통찰:
   • 단순한 정보 획득 (VisMax) 보다 학습된 믿음 모델 (BeliefMax) 을 활용한 전략이 우월함.
   • 은폐 전략 (Hiding) 이 상대방의 점수를 낮추고 불확실성을 높이는 효과 입증.
   • RL 에이전트가 초기에는 정보 획득에, 후기에는 은폐 및 적응적 전략에 강점을 보임.

4. 결과 (Results)

• 성능 비교: 휴리스틱 에이전트 간 대결에서 **HidingBeliefMax (HB)**가 가장 강력함. 학습된 믿음 모델과 은폐 전략을 모두 결합한 것이 핵심.
• RL 에이전트 성능: RL 에이전트는 모든 휴리스틱 에이전트를 능가함. 특히 BeliefMax와 대결 시 가장 큰 격차를 보임 (RL 이 은폐 행동의 확률적 특성을 악용한 것으로 추정).
• 전략적 행동 분석:
  • 이동 패턴: 정보 모델이 없는 에이전트 (VisMax) 는 폰을 자주 이동시켜 시야를 넓히려 하지만, BeliefMax 와 RL 에이전트는 폰 이동 비율이 현저히 낮음.
  • 기물 활용: 휴리스틱 에이전트는 비숍을 많이 이동하지만, RL 에이전트는 룩을 더 자주 이동시킴 (시야 확보 전략의 차이).
• 정보 이론적 지표:
  • 은폐 전략을 취하는 에이전트는 상대방의 믿음 엔트로피를 높이고 점수를 낮춤.
  • RL 에이전트는 후반전으로 갈수록 상대방의 믿음 모델과 실제 행동 간의 불일치 (Observer Cross Entropy) 를 더 잘 활용하여 우위를 점함.

5. 의의 및 중요성 (Significance)

• 연구 실험실 (Testbed): InfoChess 는 불완전 관측 환경에서의 다중 에이전트 추론, 은폐, 조정을 연구하기 위한 이상적인 통제된 환경을 제공함.
• 이론적 통찰: 행동에 의존하는 관측 채널 (Action-dependent observation channel) 이 잠재 상태 (Latent State) 에 대한 학습을 어떻게 제한하는지 보여줌.
• 확장성: 정보 획득과 은폐의 균형을 연구하는 데 있어 기존 게임 (포커, 스텔스 게임 등) 의 복잡성을 제거하고 핵심 메커니즘을 분리하여 분석할 수 있게 함.
• 오픈소스: 환경, 에이전트 코드 및 공개 인터페이스를 제공하여 후속 연구를 장려함.

결론적으로, 이 논문은 정보 획득을 최우선 목표로 하는 새로운 게임인 InfoChess 를 통해, 불완전 정보 하에서의 경쟁적 추론 메커니즘을 정량적으로 분석하고, 강화학습 에이전트가 휴리스틱 전략을 어떻게 초월하는지, 그리고 정보 이론적 지표가 게임의 전략적 역학을 어떻게 설명하는지를 입증했습니다.