Territory Paint Wars: Diagnosing and Mitigating Failure Modes in Competitive Multi-Agent PPO

이 논문은 Unity 기반의 'Territory Paint Wars' 환경을 통해 PPO 의 자기대결 학습에서 발생하는 구현 결함과 경쟁적 과적합을 규명하고, 고정된 무작위 적대자를 혼입하는 간단한 기법으로 일반화 성능을 회복하는 방법을 제시합니다.

핵심

1. 시작: AI 가 왜 이렇게 못했을까? (초기 실패)

연구자가 처음에 AI 를 훈련시켰을 때, 이상한 일이 일어났습니다. AI 는 무작위로 움직이는 상대에게조차 이길 확률이 **26.8%**에 불과했습니다. 동전 던지기 (50%) 보다도 못 한 것이죠.

왜 그랬을까요? 연구자가 찾아낸 5 가지 치명적인 실수는 다음과 같습니다.

• 점수판이 미친 듯이 커짐: AI 가 점수 (보상) 를 받을 때, 숫자가 너무 커져서 중요한 신호를 가려버렸습니다. (예: "1 점 차이로 이긴다"는 신호보다 "10,000 점 차이로 이긴다"는 소음에 가려진 것)
• 게임 끝을 모름: 게임이 끝났을 때 "이겼다/졌다"는 명확한 신호를 주지 않아 AI 가 무엇을 위해 싸워야 할지 몰랐습니다.
• 기억력이 부족함: 게임이 250 털이나 길었는데, AI 는 초반에 한 행동의 결과를 기억하지 못했습니다. (오래된 기억이 사라져버린 것)
• 눈이 안 좋음: AI 가 보는 화면 (상태) 의 숫자 크기가 제각각이라 혼란스러웠습니다. (예: 09 사이의 숫자와 0250 사이의 숫자를 섞어봤을 때 큰 숫자만 보고 작은 숫자는 무시하는 현상)
• 승패 판단 오류: 누가 이겼는지 계산하는 방식이 엉망이었습니다.

이 모든 것을 고치니, AI 는 무작위 상대에게 **73.5%**나 이기게 되었습니다. 여기서 끝났다면 좋았을 텐데, 문제는 여기서 시작됩니다.

2. 함정: "나만 잘하면 돼?" (경쟁적 과적합)

AI 가 계속 서로 싸우며 (Self-play) 배워가자, 또 다른 문제가 생겼습니다.

• 상황: AI A 와 AI B 가 서로 싸우며 실력이 늘었습니다. 하지만 서로만 잘 아는 특이한 전술을 개발한 것입니다. 마치 친구끼리만 하는 보드게임처럼, 서로의 버그나 특이한 습관만 파악하고 싸우는 거죠.
• 결과: 서로 싸울 때는 50:50 으로 팽팽하게 맞서지만, 외부인 (무작위 AI) 과 싸우면 갑자기 **21.6%**로 추락했습니다.
• 왜 위험한가? AI 가 서로 싸울 때는 점수가 50% 로 유지되어 "아, 잘하고 있구나"라고 착각하게 만듭니다. 하지만 실제로는 특정 상대에게만 최적화되어 일반화 능력이 완전히 죽은 상태였습니다. 이를 논문에서는 **"경쟁적 과적합 (Competitive Overfitting)"**이라고 부릅니다.

비유: 두 명의 프로 복서 A 와 B 가 매일 서로만 싸우며 연습합니다. A 는 B 의 특정 펀치만 피하는 법을 익히고, B 는 A 의 특정 발차기만 막는 법을 익힙니다. 둘은 서로 싸울 때는 아주 잘하지만, 세상 다른 복서와 싸우면 아무것도 못 하고 주저앉는 것과 같습니다.

3. 해결책: "낯선 상대를 섞어라" (Opponent Mixing)

이 문제를 해결한 방법은 매우 간단했습니다. 바로 **"무작위 상대를 섞어주는 것"**입니다.

• 방법: AI 가 서로 싸울 때, 20% 의 확률로 "무작위로 움직이는 바보 AI"를 상대로 넣어주었습니다.
• 효과: AI 는 이제 "친구 (서로)"만 상대하는 게 아니라, "예측 불가능한 stranger"도 상대해야 하므로, 누구나 이길 수 있는 보편적인 전략을 개발하게 됩니다.
• 결과: AI 의 실력이 다시 **77.1%**까지 회복되었습니다. 심지어 어떤 AI 는 **93.9%**까지 이겼습니다!

비유: 두 명의 복서가 매일 서로만 싸우지 말고, 가끔은 아무런 기술도 없는 일반인과도 스파링을 하라고 시켰습니다. 그랬더니 그들은 "특수한 기술"보다 "기본기"를 다듬게 되었고, 어떤 상대와 싸워도 이기게 되었습니다.

4. 교훈: 무엇이 진짜 중요했을까? (실험 결과)

연구자는 이 모든 고쳐진 요소 중 무엇이 진짜 핵심인지 하나씩 빼보며 실험했습니다.

1. 기억력 (GAE) 과 눈 (정규화) 을 빼면: AI 는 다시 10% 미만으로 추락합니다. (가장 치명적)
2. 낯선 상대 (Opponent Mixing) 를 빼면: AI 는 다시 "경쟁적 과적합"에 빠져 21.6% 로 떨어집니다. (중요함)
3. 승패 신호 (Terminal Reward) 를 빼면: 놀랍게도 AI 는 **87.1%**까지 이겼습니다. 즉, "이겼다/졌다"는 큰 신호가 없어도, **작은 점수 변화 (터치한 칸 수)**만으로도 충분히 잘 배울 수 있었습니다.

결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 가 서로 싸우며 배울 때, 서로만 잘하는 '폐쇄된 집단'이 되면 안 된다"**는 것을 증명했습니다.

• 핵심 교훈: AI 를 훈련시킬 때, 항상 다양한 상대 (특히 예측 불가능한 상대) 를 섞어주지 않으면, AI 는 겉보기엔 잘하는 척하지만 실상은 무능해집니다.
• 실용적 조언: 개발자들은 AI 가 서로 싸울 때 점수가 잘 나온다고 안심하지 말고, 항상 외부의 '무작위 AI'와 테스트를 해봐야 합니다. 그리고 훈련 과정에 **약간의 '혼란 (다양한 상대)'**을 섞어주는 것이 가장 쉽고 효과적인 비결입니다.

이 연구는 복잡한 인공지능 이론을 간단한 페인트 전쟁 게임으로 풀어내어, AI 개발자들이 흔히 겪는 함정을 어떻게 피할 수 있는지 아주 명확하게 보여준 훌륭한 사례입니다.

기술 요약

1. 문제 제기 (Problem)

경쟁적 다중 에이전트 강화학습 (Competitive Multi-Agent RL, MARL) 은 복잡한 전략 게임에서 인간을 능가하는 에이전트를 생성하는 데 성공했으나, 표준 단일 에이전트 RL 알고리즘 (예: PPO) 을 경쟁적 환경에 적용할 때 간단한 작업조차 학습하지 못하는 경우가 빈번합니다.

• 핵심 문제: PPO 를 사용하여 경쟁적 환경에서 학습시킬 때, 에이전트가 무작위 상대방보다도 못한 성능을 보이거나, 자기 플레이 (Self-play) 중에는 안정적인 성능을 유지하면서도 외부 일반화 (Generalization) 성능이 급격히 붕괴하는 현상이 발생합니다.
• 기존 한계: 이러한 실패의 원인이 보상 설계, 신용 할당 (Credit Assignment), 학습 불안정성 등 여러 요인이 복합적으로 작용하여 단일 원인을 규명하기 어렵다는 점입니다.

2. 방법론 (Methodology)

저자는 실험을 위해 Territory Paint Wars라는 새로운 경량 경쟁적 MARL 환경을 개발하고, 이를 통해 PPO 의 실패 모드를 체계적으로 진단하고 수정했습니다.

• 환경 (Territory Paint Wars):
  • Unity 엔진과 Python 간 TCP 소켓을 사용하여 구현된 10x10 그리드 게임입니다.
  • 두 에이전트 (Pink, Green) 가 동시에 이동하거나 현재 타일을 '잠금 (Lock)'하여 영구적으로 점령할 수 있습니다.
  • 250 스텝 후 더 많은 타일을 점령한 에이전트가 승리하는 제로섬 (Zero-sum) 게임입니다.
• 학습 알고리즘:
  • PPO (Proximal Policy Optimization): 분산형 (Decentralized) 학습 구조를 사용하며, 공유 정보 없이 각 에이전트가 독립적으로 학습합니다.
  • GAE (Generalized Advantage Estimation): 장기적 신용 할당을 위해 사용되었습니다.
• 실험 설계:
  1. 기저선 (v1) 분석: 초기 구현체에서 발생하는 5 가지 구현 수준의 버그를 식별하고 수정 (v2).
  2. 새로운 실패 모드 발견: 버그 수정 후에도 발생하는 '경쟁적 과적합 (Competitive Overfitting)' 현상 분석.
  3. 해결책 제안: '상대방 혼합 (Opponent Mixing)' 전략 도입 (v3).
  4. Ablation Study: 각 수정 사항의 개별 기여도를 정량화하기 위해 하나씩 제거하는 실험을 수행했습니다.

3. 주요 기여 (Key Contributions)

가. 5 가지 구현 수준의 실패 모드 식별 및 수정

초기 PPO 에이전트 (v1) 는 무작위 상대방에게 26.8% 의 승률 (50% 미만) 을 기록했습니다. 이는 다음 5 가지 버그가 복합적으로 작용한 결과였습니다:

1. 보상 스케일 폭발 (Reward-scale explosion): 잠금 (Lock) 행동에 대한 누적 보상이 너무 커서 (+10,000 까지 도달), 타일 획득 신호와 승리/패배 신호를 완전히 압도했습니다.
2. 종단 신호 부재 (Missing terminal signal): 게임 종료 시 승패에 따른 보상이 없어 에이전트가 게임 결과를 학습하지 못했습니다.
3. 비효율적인 장기 신용 할당: 250 스텝의 긴 에피소드에서 단순 몬테카를로 (Monte Carlo) 반환을 사용할 경우, 초기 행동의 그라디언트 신호가 $\gamma^{249} \approx 0.08$로 급격히 감소하여 학습이 불가능해졌습니다.
4. 비정규화된 관측치 (Unnormalised observations): 좌표 (0-9) 와 남은 스텝 수 (0-250) 가 서로 다른 스케일로 입력되어 학습을 방해했습니다.
5. 잘못된 승리 판정: 누적 보상 (버그로 인해 왜곡됨) 으로 승자를 판단하는 오류가 있었습니다.

나. '경쟁적 과적합 (Competitive Overfitting)' 현상의 규명

5 가지 버그를 수정한 후 (v2), 에이전트는 무작위 상대방에게 73.5% 의 높은 승률을 보였으나, 추가 학습 (12,000 에피소드) 후 21.6% 로 급락했습니다.

• 메커니즘: 두 에이전트가 서로의 현재 정책에 맞춰 과도하게 적응 (Co-adaptation) 하여, 특정 상대방에게는 강력하지만 무작위 상대방과 같은 외부 에이전트에게는 취약한 '좁은 특화 정책'을 학습하게 됩니다.
• 감지 불가: 자기 플레이 승률은 두 에이전트가 균형을 이루기 때문에 50% 부근으로 유지되어, 일반화 성능의 붕괴를 전혀 알려주지 않습니다.

다. '상대방 혼합 (Opponent Mixing)'을 통한 해결

경쟁적 과적합을 완화하기 위해 $\epsilon = 0.2$ (20%) 의 확률로 학습 상대방을 무작위 정책으로 교체하는 간단한 기법을 제안했습니다.

• 이 방법은 추가적인 네트워크나 인구 기반 학습 (Population-based training) 없이도, 에이전트가 다양한 상대방에 대응하는 일반화된 전략을 유지하도록 강제합니다.

4. 실험 결과 (Results)

• 성능 회복:
  • v1 (버그 포함): 무작위 상대방 대비 26.8% 승률.
  • v2 (버그 수정 후, 과적합 발생): 무작위 상대방 대비 21.6% 로 추락 (자기 플레이 승률은 50% 유지).
  • v3 (상대방 혼합 적용): 무작위 상대방 대비 평균 77.1% (±12.6%) 승률 회복. 개별 시드 (Seed 42) 에서는 93.9% 까지 달성.
• Ablation Study (각 수정 사항의 중요성):
  • GAE 제거: 승률 9.6% (학습 불가).
  • 관측치 정규화 제거: 승률 12.6% (과적합 가속화).
  • 상대방 혼합 제거: 승률 21.6% (과적합 재발생).
  • 종단 보상 제거: 승률 87.1% (다른 3 가지가 적용되면 종단 보상은 선택 사항임).
  • 결론: GAE, 관측치 정규화, 상대방 혼합은 **필수적 (Critical)**이며, 종단 보상은 **보조적 (Complementary)**임이 입증되었습니다.

5. 의의 및 결론 (Significance)

1. 자기 플레이의 한계와 모니터링의 중요성: 경쟁적 MARL 에서 자기 플레이 승률만으로는 에이전트의 일반화 능력을 판단할 수 없음을 증명했습니다. 주기적인 외부 기준 (Fixed Baseline) 평가가 필수적임을 강조했습니다.
2. 간단한 해결책의 효과: 복잡한 인구 기반 학습 없이, 학습 루프 내의 단일 조건문 (상대방 혼합) 만으로 일반화 성능을 극적으로 회복시킬 수 있음을 보였습니다.
3. 재현 가능한 벤치마크: Unity-Python TCP 인터페이스를 통해 ML-Agents 의존성 없이 재현 가능한 Territory Paint Wars 환경을 오픈소스로 공개하여, 경쟁적 MARL 의 실패 모드 연구에 기여했습니다.
4. 실무적 통찰: 보상 신호의 부호 (Sign) 만이 아닌 **스케일 (Scale)**의 중요성, 그리고 GAE 와 같은 신용 할당 기법이 단순한 편의가 아닌 학습의 필수 조건임을 구체적인 사례를 통해 입증했습니다.

이 논문은 경쟁적 다중 에이전트 학습에서 발생할 수 있는 미묘한 실패 모드들을 체계적으로 분류하고, 이를 해결하기 위한 실용적이고 검증된 가이드라인을 제공한다는 점에서 중요한 의의를 가집니다.