기술적 요약: 불완전 정보 하의 빅 2 에서의 자기 대결 강화 학습

문제 정의

본 논문은 불완전 정보 멀티플레이어 게임에서 강화 학습 (RL) 에이전트를 훈련하는 데 따른 과제를 다룹니다. 구체적으로, 다음과 같은 특징을 가진 카드 게임 빅 2를 조사합니다:

• 숨겨진 정보: 플레이어는 자신의 손패와 공개된 플레이 기록만 관찰하며, 상대방의 손패는 행동, 패스, 그리고 남은 카드 수를 통해 추론해야 합니다.
• 희소하고 지연된 보상: 주요 보상 (승리) 은 종료 상태에서만 발생하며, 중간 보상은 0 입니다.
• 비정상적 상대방: 자기 대결 설정에서 에이전트가 향상됨에 따라 상대방 분포가 변화합니다.
• 가변적 행동 공간: 합법적인 행동은 싱글, 페어, 스트레이트 등 손패에 특화된 조합으로, 턴마다 극적으로 변하여 고정된 행동 추상화를 어렵게 만듭니다.

저자들은 통제된 제한된 컴퓨팅 예산 하에서 이 설정에서 정책 경사 (policy-gradient) 또는 가치 기반 (value-based) 목표 중 어떤 것이 더 효과적으로 학습하는지, 그리고 특정 훈련 설계 선택 (엔트로피 정규화, 상대방 커리큘럼) 이 안정성과 성능에 어떻게 영향을 미치는지 규명하고자 합니다.

방법론

1. 환경 및 표현

저자들은 관찰 상태 ($o_i$) 가 사용 가능한 정보를 엄격히 반영하도록 시뮬레이터를 개발했습니다:

• 입력: 행동하는 플레이어의 개인 손패 (패딩 처리), 활성 트릭, 관찰된 모든 카드, 상대방의 남은 카드 수, 패스 횟수, 그리고 상대방별 플레이된 카드 기록.
• 행동 공간: 시뮬레이터는 플레이어 손패의 모든 합법적 조합을 나열하고 활성 트릭을 기준으로 필터링하여 가변 길이의 합법적 행동 집합 $A(o_i)$를 생성합니다. 이는 무효 행동 탐색을 방지합니다.
• 신경 아키텍처:
  • 상태 인코더: 공유 카드 임베딩 테이블을 사용합니다. 플레이어의 손패는 자기 주의 (self-attention) 를 통해 처리되고 풀링됩니다. 공개 정보 (트릭, 관찰된 카드, 상대방 수) 는 임베딩되어 연결되어 상태 임베딩을 형성합니다.
  • 행동 점수 매기기: 합법적 행동은 80 차원 특징 벡터로 인코딩됩니다. 상태 임베딩과 행동 임베딩 간의 내적 (dot product) 이 각 합법적 후보에 점수를 매깁니다.
  • 차별점: 이전 연구에서 합법적 움직임으로 마스킹된 고정된 1695 개 행동 헤드를 사용한 것과 달리, 이 모델은 합법적인 행동만 점수 매기므로 풀링 전에 보유 카드가 상호작용할 수 있습니다.

2. 학습 알고리즘

본 연구는 동일한 아키텍처와 훈련 예산 (5,000 배치, 배치당 64 에피소드) 하에서 네 가지 알고리즘을 비교합니다:

1. PPO (근접 정책 최적화): 클리핑된 대리 목표와 별도의 가치 헤드를 사용하는 정책 경사 기반법.
2. 몬테카를로 Q 근사: 전체 할인된 반환 ($y_t = \sum \gamma^{k-t} r_k$) 을 목표로 사용하는 가치 기반법.
3. SARSA: 1 단계 목표 ($y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$) 를 사용하는 온-정책 가치 기반법.
4. Q-러닝: 최대 목표 ($y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$) 를 사용하는 오프-정책 가치 기반법.

모든 가치 기반 방법은 훈련 중 $\epsilon$-greedy 탐색을, 평가 중에는 탐욕적 선택을 사용합니다.

3. 훈련 커리큘럼 및 평가

• 자기 대결: 기본 설정은 현재 정책이 네 자리 모두를 제어하는 현재 정책 자기 대결을 사용합니다.
• 베이스라인: 평가는 세 가지 휴리스틱 상대방에 대해 수행됩니다:
  • 랜덤: 합법적 행동을 균일하게 선택합니다.
  • 그리디: 가장 약한 합법적 비패스 조합을 플레이합니다.
  • 스마트: 전략적 특징 (카드 버리기, 조합 유지, '2'의 조기 사용 회피) 을 기반으로 행동을 점수 매기는 규칙 기반 정책입니다.
• 지표: 각 상대방 클래스에 대한 승률과 평균 게임 점수 (패배자의 남은 카드 합계, 패배자에게는 음수) 를 측정합니다.

주요 기여 및 발견

1. 알고리즘 성능

제한된 컴퓨팅 예산 하에서 PPO 는 모든 가치 기반 방법 (몬테카를로 Q, SARSA, Q-러닝) 을 모든 상대방 클래스에서 능가합니다.

• PPO 는 랜덤에 대해 85.4%, 그리디에 대해 58.2%, 스마트에 대해 37.1% 의 승률을 기록했습니다.
• 가치 기반 방법들은 유용한 정책을 학습했지만, PPO 의 최종 성능에는 미치지 못했습니다. 저자들은 이를 빅 2 의 고분산 불완전 정보 상태 공간에서 가치 추정의 어려움에 기인합니다. 여기서 전략적으로 중요한 상태는 드물게 방문되며, 장기 시퀀스 전반에 걸쳐 종료 반환에 크레딧을 할당해야 하기 때문입니다.

2. 엔트로피 정규화

저자들은 엔트로피 정규화 없이 PPO 를 사용하면 모호한 전략적 상황에서도 >90% 확률로 최상위 행동을 샘플링하는 과도하게 결정론적이 된다는 것을 발견했습니다.

• 발견: 적절한 엔트로피 정규화 ($\beta_{ent} = 0.05$) 는 모든 상대방 클래스에서 성능을 크게 향상시켰습니다 (예: 스마트에 대한 승률을 37.1% 에서 43.5% 로 증가).
• 함의: 불완전 정보 게임에서는 예측 불가능성을 유지하고 하위 최적 행동 선호도에 과도하게 헌신하는 것을 피하기 위해 확률적 정책이 유익합니다. 그러나 과도한 엔트로피는 성능을 저하시킵니다.

3. 상대방 커리큘럼

본 연구는 현재 정책 자기 대결을 체크포인트 자기 대결(저장된 과거 정책에 대항하여 훈련) 과 고정 상대방 훈련(스마트 휴리스틱에만 대항하여 훈련) 과 비교했습니다.

• 발견: 현재 정책 자기 대결이 PPO 와 몬테카를로 Q 모두에서 최상의 결과를 산출했습니다.
• 이유: 고정된 결정론적 상대방 (스마트 전용) 에 대한 훈련은 상태 분포를 좁히고 탐색을 줄입니다. 체크포인트 자기 대결은 다양성을 도입하지만, 에이전트가 이미 이기는 법을 배운 "구식" 실수에 노출시킴으로써 학습 신호를 희석시킵니다. 현재 정책 자기 대결은 적응형 커리큘럼으로 작용하여 상대방의 난이도를 에이전트의 현재 기술 수준에 맞춥니다.

중요성 및 주장

본 논문은 특히 빅 2 를 위한 RL 목표 및 훈련 설계 선택을 비교하는 첫 번째 통제된 실증 연구를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 베이스라인 확립: 더 큰 시스템에서 종종 혼동되는 요소를 분리하여 빅 2 에서의 탐색, 추상화, 그리고 상대방 모델링에 대한 향후 연구를 위한 접근 가능한 베이스라인을 제공합니다.
2. 효율성 입증: 공학적 상대방 모델, 트리 탐색, 또는 합법적 필터링을 넘어선 휴리스틱 행동 가지치기 없이도 심층 RL 이 네 플레이어 불완전 정보 게임에서 견고한 전략을 학습할 수 있음을 보여줍니다.
3. 중요 요소 식별: 제한된 예산 설정에서 알고리즘 선택(PPO > 가치 기반), 정책 확률성(엔트로피 정규화), 그리고 커리큘럼 설계(현재 정책 자기 대결) 가 성공을 결정짓는 요소임을 강조합니다.

저자들은 Counterfactual Regret Minimization (CFR), 검색 강화 에이전트, 또는 더 큰 훈련 예산과 비교하지 않았으며, 확장된 훈련으로 가치 기반 방법이 격차를 좁힐 수 있는지 또는 크로스 플레이가 새로운 전략적 약점을 드러낼지 결정하기 위해 향후 연구가 필요하다고 겸손하게 언급합니다.