기술 요약: FootsiesGym

문제 정의

멀티 에이전트 및 게임 이론적 강화 학습(RL)의 발전은 구조적 복잡성과 계산적 용이성 사이의 균형을 맞춘 벤치마크의 부재로 인해 현재 정체되어 있습니다. 기존 환경은 다음과 같은 두 가지 극단으로 나뉩니다:

1. 소규모 이론적 벤치마크 (예: Kuhn Poker, Goofspiel): 이들은 순환적, 혼합 전략 구조를 포착하고 정확한 착취 가능성(exploitability) 계산을 허용하지만, 풍부한 게임이 가진 긴 타임 호라이즌, 공간적 역학, 탐색 요구 사항이 부족합니다.
2. 대규모 실시간 환경 (예: StarCraft II, Dota 2): 이들은 깊은 복잡성과 긴 타임 호론을 가지고 있지만, 상당한 계산 자원과 훈련 시간을 필요로 하여 빠른 반복 실험과 분석을 어렵게 만듭니다.

격투 게임은 실시간성, 공간적 특성, 그리고 비전이적(non-transitive) 전략적 상호작용(흔히 "가위바위보" 역학으로 묘ws되는)에 대한 의존성 덕분에 잠재적인 "중간 지점"을 나타냅니다. 그러나 표준 격투 게임은 긴 콤보 시퀀스와 같은 과도한 복잡성을 도입하여, 전략적 초점을 순환적인 중립 플레이(neutral play)에서 전이적인 실행 경쟁으로 옮겨버립니다. 따라서 중립 게임(어느 쪽도 우위를 점하지 않고 전략적 기동이 일어나는 단계)을 고립시키면서도, 표준 하드웨어에서 효율적인 분석과 훈련이 가능할 만큼 단순한 환경이 필요합니다.

방법론

저자들은 HiFight의 미니멀한 2D 격투 게임인 Footsies를 기반으로 구축된 오픈 소스 환경인 FootsiesGym을 소개합니다. 이 환경은 격투 게임 중립 플레이의 순환적이고 비전이적인 전략적 상호작용을 고립시키도록 설계되었습니다.

환경 설계

• 핵심 메커니 Mechanics: 이 게임은 체력 바와 콤보를 제거했습니다. 라운드는 플레이어가 특수 공격에 맞았을 때만 패배합니다. 플레이어는 가드 브레이크(guard break)를 당하기 전까지 최대 세 번까지 방어할 수 있습니다.
• 행동 공간 (Action Space): 기본 행동 공간의 크기는 $|A|=6$ (NONE, BACK, FORWARD, ATTACK, BACK+ATTACK, FORWARD+ATTACK)입니다. "특수 충전(special-charge)" 모드는 특수 동작에 필요한 충전 상태를 전환하는 이산적 동작을 추가하여 이를 $|A|=9$로 확장하며, 이는 무작위 탐색을 통해 이러한 동작을 발견하는 데 따르는 어려움을 해결합니다.
• 관측 (Observations): 에이전트는 양쪽 플레이어의 상태를 설명하는 85차원(특수 충전 시 88차원) 벡터화된 관측값을 받습니다. 결정적으로, 에이전트는 상대에게 노출되지 않은 특권적 자기 특징(예: 대시 가능 여부, 충전 진행도)을 관찰하며, 이는 정보 비대칭을 반영합니다.
• 보상 (Rewards): 이 게임은 제로섬($r_i = -r_{-i}$)입니다. 종단적 승리/패배는 $\pm 10$의 보상을 주며, 타임아웃은 0을 줍니다. 조밀한 보상(dense rewards)은 선택 사항입니다.
• 행동 지연 (Action Delay): 환경은 구성 가능한 행동 지연(선택과 실행 사이의 프레임)을 지원합니다. 이 파라미터는 반응적 플레이(낮은 지연)와 예측적 플레이(높은 지연) 사이의 균형을 조절하여, 퇴보적인 순수 반응형 전략을 방지합니다.

구현

FootsiesGym은 Unity 엔진 내의 C#으로 구축된 벡터화된 시뮬레이터를 활용하며, 헤드리스(headless) 훈련을 위해 렌더링 루프와 분리되어 있습니다.

• 벡터화: 단일 헤드리스 프로세스가 gRPC 포트를 통해 노출된 $K$개의 독립적인 게임 인스턴스를 병렬로 실행합니다.
• 처리량: 표준 24코어 워크스테이션에서 시스템은 초당 최대 ~52,500개의 환경 스텝을 달성할 수 있습니다(4개의 동시 프로세스와 128개의 인프로세스 환경 사용 시). 이는 표준 하드웨어에서도 접근 가능한 높은 처리량의 훈련을 가능하게 합니다.
• API: Python 클라이언트는 PettingZoo API를 통해 상호작용합니다.

실험적 베이스라인

저자들은 이 환경을 벤치마킹하기 위해 여러 알고리즘을 훈련시켰으며, 이들이 나이브하게 튜닝되었으며 확정적인 구현은 아니라는 점을 명시했습니다.

1. PPO (Proximal Policy Optimization): 고정된 엔트로피 계수를 가진 버전과 엔트로피 어닐링 스케줄을 가진 버전(PPO Sched.) 두 가지 변형을 테스트했습니다.
2. EMAgnet: 자신의 가중치의 지수 이동 평균을 향해 정규화하는 정책 경사(policy gradient) 방법입니다.
3. PFSP (Prioritized Fictitious Self-Play): 과거 체크포인트의 저장소(reservoir)를 유지하고 현재 정책이 패배한 상대들을 우선적으로 샘플링하는 인구 기반 접근 방식입니다.

모든 에이전트는 관측 공간에 대한 2계층 MLP를 사용했으며, 5개의 무작위 시드에 대해 $2.5 \times 10^7$ 스텝 동안 훈련되었습니다.

주요 결과

휴리스틱 대비 성능

균등 무작위(uniform-random) 및 "no-op"(공격하지 않음) 상대에 대해 모든 정책은 85~95%의 승률을 달しまいました. 그러나 정책이 개선됨에 따라, 에이전트들은 점점 더 반응적으로 변하여 정지해 있는 상대에게 공격을 거의 시도하지 않았습니다. 이는 승률 극대화와 매력적인 AI 행동 생성 사이에 잠재적인 불일치가 존재함을 시사합니다.

근사 착취 가능성 (Approximate Exploitability)

정확한 착취 가능성 계산은 다루기 힘든 수준이므로, 저자들은 베이스라인 정책들의 고정된 체크포인트에 대해 근사 최적 대응(approximate best responses, PPO 사용)을 훈련했습니다.

• PFSP는 가장 높은 견고성을 보여주었으며, 모든 다른 알고리즘에 대해 양(+)의 수익을 달성하고 최적 대응에 의한 손실률이 가장 낮았습니다.
• EMAgnet은 괴리를 보였습니다. PPO 변형들에 대해 양의 헤드 투 헤드 수익을 달성했지만, 전용 최적 대응에 의해 가장 일관되게 착취당했습니다.
• PPO 변형들: 착취 가능성 측면에서 서로 거의 동등한 성능을 보였습니다.

특수 공격의 발견

무작위 탐색을 통해 특수 공격을 발견하는 것이 어렵다는 점은 중요한 발견이었습니다. 표준 설정에서 방향성 특수 공격을 실행하려면 15회의 연속적인 스텝이 필요한데, 이는 균등 무작위 정책 하에서 약 $0.001\%$의 확률을 가집니다.

• 모든 알고리즘에서 특수 공격의 평균 사용량은 훈련 내내 0에 가까운 상태를 유지했습니다.
• 고정 엔트로피 PPO 정책은 해당 기술을 잠시 학습했다가 다시 포기했는데, 이는 (작은 벤치마크에서 흔히 유익한) 높은 엔트로피 정규화가 이 환경에서 복잡하고 가치가 높은 전략의 발견을 방해할 수 있음을 시사합니다.

의의 및 기여

본 논문은 FootsiesGym을 멀티 에이전트 RL 및 게임 이론 연구를 위한 생산적인 중간 지점으로 포지셔닝합니다. 그 의의는 다음과 같은 영역에 있습니다:

1. 중립 플레이의 고립: 체력 바와 콤보를 제거함으로써, 격투 게임 중립 플레이에 내재된 순환적, 혼합 전략 역학을 고립시켜 비전이적 상호작용 연구에 적합하게 만들었습니다.
2. 접근성 및 재현성: 독점 게임(예: FightingICE, DIAMUNDRA)을 래핑하는 플랫폼과 달리, FootsiesGym은 벡터화된 시뮬레이터를 갖춘 완전한 오픈 소스이며, 라이선스 마찰 없이 표준 워크스테이션에서 높은 처리량의 훈련을 가능하게 합니다.
3. 새로운 연구 방향:
   • 게임 이론적 훈련: 이 환경은 인구 기반 훈련(PSRO, PFSP) 및 정규화 방법의 테스트베드로 기능하며, 특히 표준 정규화가 억제할 수 있는 (특수 공격과 같이) 발견하기 어렵지만 가치 있는 전략을 유지하도록 도전 과제를 부여합니다.
   • 플레이 스타일 vs 숙련도: 결과는 순수 숙련도(착취 가능성 최소화)와 "매력적인" 플레이 사이의 간극을 강조합니다. 승률을 극대화하는 정책은 지나치게 수동적이 되어 핵심 메커니즘을 활용하지 못하거나 상대에게 선제적으로 대응하지 못할 수 있습니다.
   • 근사 착취 가능성: 이 환경은 정확한 계산이 불가능하지만 규모는 관리 가능한 수준인 근사 최적 대응 훈련과 같은 방법을 테스트하기 위한 균형 잡힌 복잡성을 제공합니다.
   • 인간 평가: WebGL로 내보내는 기능은 인간 대 AI 실험 및 모방 학습 데이터 수집을 용이하게 하여, AI의 행동이 재미있거나 매력적으로 느껴지는지를 평가할 수 있게 합니다.

저자들은 결론적으로, FootsiesGym이 소규모 벤치마크보다는 복잡하고 상업용 격투 게임보다는 덜 복잡하지만, 전략 발견, 숙련도와 몰입도 사이의 트레이드오프, 그리고 착취 가능성 추정의 확장성 등에 관한 열린 질문들을 다루기에 독특하고 자원 효율적인 플랫폼을 제공한다고 밝힙了.