💻 computer science

Learning Large-Scale Competitive Team Behaviors with Mean-Field Interactions and Online Opponent Modeling

이 논문은 대규모 팀 간 협력과 경쟁이 공존하는 제로섬 게임에서 기존 방법론의 확장성 한계를 극복하기 위해 평균장 이론과 온라인 적대 모델링을 결합한 MF-MAPPO 알고리즘을 제안하고, 이를 통해 수천 개의 에이전트가 참여하는 복잡한 시나리오에서 우수한 성능을 입증합니다.

원저자: Bhavini Jeloka, Yue Guan, Panagiotis Tsiotras

게시일 2026-02-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bhavini Jeloka, Yue Guan, Panagiotis Tsiotras

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"수천 명의 에이전트 (로봇, 캐릭터 등) 가 서로 협력하거나 경쟁할 때, 어떻게 하면 효율적으로 학습시켜서 복잡한 전략을 세울 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 인공지능 학습 방법들은 에이전트 수가 조금만 늘어나도 "머리 아파서" 학습이 불가능해졌습니다. 이 논문은 이를 해결하기 위해 수학의 '평균장 (Mean-Field)' 이론과 최신 강화학습을 결합한 새로운 방법인 MF-MAPPO를 소개합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "너무 많은 사람, 너무 많은 소음"

상상해 보세요. 축구 경기나 전쟁 게임에서 각 선수 (에이전트) 가 서로의 위치와 행동을 모두 기억하고 분석해야 한다면 어떨까요?

기존 방식 (MADDPG 등): 각 선수가 "내 왼쪽에 있는 A 는 지금 오른쪽으로 가고, B 는 뒤로 물러나고..."라고 모든 사람의 행동을 일일이 계산해야 합니다. 선수 수가 10 명일 때는 괜찮지만, 1,000 명이 되면 계산량이 폭발해서 컴퓨터가 미쳐버립니다. (이걸 '차원의 저주'라고 합니다.)

2. 해결책: "군중의 흐름을 읽는 눈" (평균장 이론)

이 논문은 **"개개인의 세부적인 행동보다는, 전체 군중이 만들어내는 '흐름'을 보면 된다"**고 제안합니다.

비유: 축구 경기에서 "내 왼쪽에 있는 A 가 뭘 할지"를 계산하는 대신, **"적 팀 전체가 오른쪽으로 몰려가고 있다"**는 거시적인 흐름만 보면 됩니다.
마치 해변가에 수천 명의 사람들이 모여 있을 때, "누가 누구와 손을 잡고 있는지"를 다 볼 필요 없이, **"사람들이 바다 쪽으로 몰려가고 있다"**는 전체적인 분포만 알면 충분하다는 논리입니다.

3. MF-MAPPO: "팀장 한 명과 수천 명의 부하"

이 논문이 제안한 MF-MAPPO는 다음과 같은 특징이 있습니다.

공유된 두뇌 (Shared Actor): 각 에이전트마다 별도의 두뇌를 훈련시키는 게 아니라, **팀 전체가 공유하는 하나의 '두뇌'**를 훈련시킵니다.
- 비유: 1,000 명의 병사가 있지만, 모두 같은 '작전 매뉴얼'을 외우고 있습니다. 그래서 학습할 데이터 양이 획기적으로 줄어듭니다.
최소한의 정보 (Minimally Informed Critic): 점수를 매기는 심판 (Critic) 은 "누가 무슨 행동을 했는지"까지 알 필요 없이, **"적군이 어디에 몰려 있는지"**만 알면 됩니다.
- 비유: 축구 코치에게 "김 선수의 발목 각도가 30 도다"라고 알려줄 필요 없이, "적군이 오른쪽 측면에 집중되어 있다"는 정보만 주면 됩니다. 이렇게 하면 계산이 훨씬 빨라집니다.

4. 새로운 기술: "눈가림을 해도 아는 법" (D-PC)

실전에서는 상대방의 모든 위치를 완벽하게 볼 수 없습니다 (안개 낀 전장, 시야 제한 등). 이때 어떻게 할까요?

문제: 상대방이 어디에 있는지 정확히 모르면, 내 팀이 엉뚱한 곳으로 공격할 수 있습니다.
해결책 (D-PC): 각 에이전트가 주변 동료들과 짧은 대화를 나누어 상대방의 위치를 추측하는 기술을 개발했습니다.
- 비유: 안개 낀 전장에서 내 앞의 아군과 "저기 적군이 있는 것 같아"라고 속삭이며 정보를 공유하고, 그 정보를 바탕으로 상대방의 전체 위치를 수학적으로 추측하는 것입니다.
- 이 방법은 정보가 부족해도 오차가 급격히 커지지 않도록 (Lipschitz 연속성) 설계되어 있어, 작은 실수가 큰 패배로 이어지지 않게 합니다.

5. 실험 결과: "rock-paper-scissors"와 "전장"

연구진은 이 방법을 두 가지 게임으로 테스트했습니다.

가위바위보 (대규모): 수천 명의 가위, 바위, 보가 서로 싸우는 게임. 기존 방법은 혼란스러워졌지만, MF-MAPPO 는 **수학적으로 완벽한 균형 (Nash Equilibrium)**에 빠르게 도달했습니다.
전장 시뮬레이션: 공격팀 (Blue) 과 방어팀 (Red) 이 격자 무대에서 싸우는 게임.
- MF-MAPPO 를 쓴 팀은 적의 흐름을 읽어서 뭉쳐서 공격하거나 흩어지는 등 복잡하고 지능적인 전술을 구사했습니다.
- 특히 통신이 제한된 상황에서도 D-PC 기술을 쓰면 상대방을 잘 예측해서 이길 수 있었습니다.

6. 결론: 왜 이것이 중요한가?

이 연구는 **"수천, 수만 개의 에이전트가 참여하는 거대한 게임 (예: 드론 군집, 대규모 교통 제어, 온라인 게임의 대규모 전투) 을 현실적으로 학습시킬 수 있는 첫 번째 확실한 방법"**을 제시했습니다.

핵심 메시지: "개개인을 다 챙길 필요 없이, **전체적인 흐름 (평균장)**을 보고 팀 전체가 같은 두뇌로 움직이게 하면, 훨씬 더 똑똑하고 빠르게 학습할 수 있다."

이제 인공지능이 수천 명의 로봇을 동시에 조종해서 복잡한 미션을 수행하는 것도 머지않은 일이 되었습니다!

이 논문은 대규모 경쟁 팀 게임 (Large-Scale Competitive Team Games) 에서 다중 에이전트 강화학습 (MARL) 의 확장성 문제를 해결하기 위해 제안된 MF-MAPPO(Mean-Field Multi-Agent Proximal Policy Optimization) 알고리즘과 관련된 연구 결과를 다루고 있습니다. 주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 MARL 알고리즘 (MADDPG, MA-PPO 등) 은 에이전트 수가 증가함에 따라 차원의 저주 (Curse of Dimensionality) 로 인해 확장성이 떨어집니다. 최근 평균장 (Mean-Field, MF) 이론은 에이전트 상호작용을 연속체로 근사하여 확장성을 제공하지만, 기존 연구들은 주로 완전 협력 (Fully Cooperative) 이나 순수 경쟁 (Purely Competitive) 환경에 국한되어 있었습니다.
실제 세계의 많은 시나리오 (팀 스포츠, 전장 전투 등) 는 팀 내 협력과 팀 간 경쟁이 공존하는 혼합 환경입니다. 이러한 환경에서 수천 개의 에이전트를 가진 대규모 팀 게임 (Zero-Sum Mean-Field Team Games, ZS-MFTG) 을 효과적으로 학습하고 배포하는 것은 여전히 해결되지 않은 과제였습니다. 또한, 부분 관측 (Partially Observable) 환경에서 상대방의 평균장 분포를 추정하는 것 또한 큰 난제입니다.

2. 방법론 (Methodology)

2.1 MF-MAPPO 알고리즘

저자들은 PPO(Proximal Policy Optimization) 를 기반으로 한 MF-MAPPO를 제안했습니다.

공유 액터 - 크리틱 (Shared Actor-Critic): 각 팀당 하나의 공유된 액터 네트워크와 크리틱 네트워크를 사용합니다. 이는 에이전트 개체의 정체성 (Identity) 에 무관하게 동일한 정책을 학습하게 하여 메모리 효율성과 확장성을 극대화합니다.
최소 정보 크리틱 (Minimally-Informed Critic): 크리틱 네트워크는 개별 에이전트의 상태나 행위가 아닌, **공통 정보인 평균장 분포 (Team Distributions, $\mu_t, \nu_t$ )**만을 입력으로 받습니다. 이는 팀 내 모든 에이전트가 동일한 팀 보상을 공유한다는 가정 하에 이론적으로 정당화되며, 학습 복잡도를 획기적으로 줄입니다.
유한 인구 시뮬레이션 훈련: 기존 MF 기반 방법론들이 무한 인구 오라클 (Oracle) 에 의존하는 것과 달리, MF-MAPPO 는 유한한 개체 수를 가진 실제 시뮬레이터에서 직접 학습됩니다. 이는 실제 배포 (Deployment) 에 적합하도록 설계되었습니다.

2.2 부분 관측 환경 및 D-PC 추정기

상대방의 평균장 분포를 직접 관측할 수 없는 부분 관측 환경에서는 **D-PC (Dynamic-Projected Consensus)**라는 새로운 분산 추정 알고리즘을 도입했습니다.

기울기 정규화 (Gradient Regularization): 정책의 로그 확률에 대한 기울기 패널티를 추가하여, 평균장 입력에 대한 정책의 Lipschitz 연속성을 보장합니다. 이는 추정 오차가 발생하더라도 행동 분포가 급격히 변하지 않도록 하여 학습의 안정성을 높입니다.
D-PC 알고리즘: 에이전트들이 제한된 통신만으로도 이웃과 정보를 공유하고, 관측 가능한 상태에 대한 정보는 고정된 채로 추정되지 않은 상태에 대한 분포를 투영 (Projection) 하여 유효한 확률 분포를 유지하도록 합니다. 이는 통신 대역폭이 제한된 상황에서도 상대방 분포를 정확히 추정할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

MF-MAPPO 알고리즘 개발: 대규모 혼합 협력 - 경쟁 팀 게임 (ZS-MFTG) 을 위한 확장 가능한 공유 액터 - 크리틱 알고리즘을 최초로 제안했습니다.
새로운 벤치마크 환경 (MFEnv): 전장 (Battlefield) 과 제약된 가위바위보 (Constrained Rock-Paper-Scissors) 등 대규모 팀 게임을 평가하기 위한 새로운 시뮬레이션 플랫폼을 구축했습니다.
부분 관측 환경에서의 이론적 보장: 기울기 정규화된 MF-MAPPO 와 D-PC 추정기를 결합하여, 부분 관측 환경에서도 누적 후회 (Cumulative Regret) 가 추정 오차에 비례하여 제한된다는 이론적 성능 보장을 제공했습니다.
범용성 및 확장성 증명: 작은 인구 수로 학습된 정책이 더 큰 규모의 팀으로 배포되어도 성능이 유지된다는 점 (Theorem 3) 을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

저자들은 MFEnv 플랫폼을 사용하여 다양한 시나리오에서 MF-MAPPO 를 기존 기법 (DDPG-MFTG, MF-IPPO, MAPPO 등) 과 비교 평가했습니다.

성능 우위: 가위바위보 (cRPS) 및 전장 (Battlefield) 시나리오에서 MF-MAPPO 는 기존 방법론들보다 더 높은 보상을 얻었으며, 특히 DDPG-MFTG 는 수렴하지 않거나 불안정한 반면 MF-MAPPO 는 안정적으로 Nash 균형에 도달했습니다.
효율성: MF-MAPPO 는 크리틱 입력 차원을 줄이고 공유 버퍼를 사용하여 학습 시간과 메모리 효율성이 뛰어났습니다.
이질적 행동 (Heterogeneous Behaviors): 모든 에이전트가 동일한 정책을 공유함에도 불구하고, 평균장 근사를 통해 팀 내에서 복잡하고 이질적인 협력 행동 (예: 군집 형성, 분산 전략 등) 이 자연스럽게 나타났습니다.
통신 제한下的 성능: D-PC 추정기는 제한된 통신 rounds ( $R_{com}$ ) 에서도 벤치마크 추정기보다 우수한 성능을 보였으며, 특히 통신이 제한적인 적대적 환경에서 강건함을 입증했습니다.
확장성: 100 명의 에이전트로 학습된 정책을 1,500 명 규모의 팀에 적용했을 때도 성능이 유지됨을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 평균장 이론과 MARL 기법의 결합을 통해 대규모 경쟁 팀 게임의 실용적인 해결책을 제시했습니다.

실제 적용 가능성: 무한 인구 오라클에 의존하지 않고 유한 인구 시뮬레이터에서 학습하여, 실제 로봇 군집, 드론 스웜, 군사 시뮬레이션 등 수천 개의 에이전트가 관여하는 복잡한 환경에 직접 적용할 수 있는 가능성을 열었습니다.
부분 관측 대응: 통신이 제한되거나 상대방 정보가 불완전한 실제 전장 환경에서도 D-PC 를 통해 효과적으로 대응할 수 있는 프레임워크를 제공했습니다.
이론적 기반: 유한 인구 게임에서 학습된 정책이 무한 인구 한계에서 최적에 근접한다는 이론적 보장을 제공하여, 대규모 시스템에서의 MARL 적용에 대한 신뢰성을 높였습니다.

결론적으로, MF-MAPPO 는 대규모 다중 에이전트 시스템에서 협력과 경쟁이 공존하는 복잡한 문제를 해결하기 위한 확장 가능하고 강건한 새로운 패러다임을 제시합니다.