MO-MIX: Multi-Objective Multi-Agent Cooperative Decision-Making With Deep Reinforcement Learning

이 논문은 다중 목표와 다중 에이전트 간의 협력이 필요한 복잡한 의사결정 문제를 해결하기 위해, 중앙 집중식 훈련과 분산 실행 (CTDE) 프레임워크를 기반으로 선호도 가중치를 조건으로 활용하는 MO-MIX 라는 새로운 심층 강화학습 알고리즘을 제안합니다.

핵심

1. 문제 상황: "여행 계획"의 딜레마

상상해 보세요. 친구 3 명이 함께 여행을 가기로 했습니다. 하지만 서로의 취향이 다릅니다.

• 친구 A: "빨리 가서 놀자!" (속도 우선)
• 친구 B: "차분하게 경치를 즐기자." (편안함 우선)
• 친구 C: "돈을 아껴야 해." (비용 우선)

이처럼 **서로 상충되는 목표 (Multi-Objective)**가 있을 때, 어떻게 해야 할까요?
기존의 인공지능은 보통 "가장 중요한 목표 하나만 정해서" 해결책을 찾았습니다. 예를 들어, "속도만 중요해!"라고 정하면 빠른 길만 찾습니다. 하지만 이렇게 하면 다른 친구들은 불만족스럽습니다.

또는, "속도 50%, 편안함 50%"처럼 미리 비율을 정해놓고 한 번만 학습시켰습니다. 하지만 이 방법은 하나의 답만 내놓을 뿐, "오늘은 속도가 더 중요해!"라고 상황이 변했을 때 다시 배우기 시작해야 하는 비효율이 있습니다.

2. 해결책: MO-MIX (모든 답을 한 번에!)

이 논문에서 제안한 MO-MIX는 이런 문제를 해결하기 위해 고안된 똑똑한 시스템입니다.

🎛️ 핵심 아이디어: "취향 조절 다이얼"

MO-MIX 는 마치 라디오 주파수나 음악 이퀄라이저처럼 작동합니다.

• 사용자가 "속도"와 "편안함" 중 무엇을 더 중요하게 생각하느냐에 따라 **가중치 (Weight)**를 조절할 수 있습니다.
• 이 가중치를 입력하면, AI 는 그 상황에 맞는 최적의 행동을 즉시 찾아냅니다.
• 중요한 점은, 한 번만 학습하면 이 가중치를 어떻게 바꾸든 (속도 90% vs 편안함 90%) 모두 가능한 **최고의 해결책들 (파레토 집합)**을 한 번에 만들어낸다는 것입니다.

🏗️ 어떻게 작동할까요? (두 가지 부품)

MO-MIX 는 두 가지 주요 부품으로 이루어져 있습니다.

1. 개인용 두뇌 (Conditioned Agent Network):

   • 각 친구 (에이전트) 는 자신의 눈으로 보는 것만 보고 결정을 내립니다.
   • 하지만 이때 "지금 우리가 속도를 중요하게 생각하나요, 편안함을 중요하게 생각하나요?"라는 **지시 (가중치)**를 함께 받습니다.
   • 마치 각자가 "지금 우리는 빠른 여행을 하고 있어!"라는 메모를 보고 운전하는 것과 같습니다.

2. 팀장용 조율기 (Multi-objective Mixing Network):

   • 각 친구의 결정을 모아서 전체 팀의 성과를 평가합니다.
   • 여기서 중요한 건 병렬 구조입니다. 마치 여러 개의 요리사가 한 테이블에서 각자 다른 요리를 동시에 만드는 것처럼, 각 목표 (속도, 편안함 등) 를 따로따로 계산하되 서로의 영향을 고려하여 최종 점수를 매깁니다.
   • 이 방식은 각 친구가 서로의 행동을 방해하지 않고 협력하도록 도와줍니다.

3. 특별한 기술: "탐험 가이드" (Exploration Guide)

AI 가 학습하는 과정에서 가장 어려운 점은 모든 가능한 답을 골고루 찾는 것입니다.

• 문제: AI 가 "속도"만 중요하게 생각할 때만 학습하면, "편안함"을 중요하게 생각할 때의 답을 찾지 못합니다. 마치 여행지에서 '빠른 길'만 찾아서 '아름다운 길'을 놓치는 것과 같습니다.
• 해결책 (탐험 가이드): MO-MIX 는 학습 중에 어떤 목표 조합이 아직 부족하게 학습되었는지를 감시합니다.
  • 만약 "편안함"을 중요하게 생각할 때의 답이 부족하다면, AI 는 일부러 그 방향으로 더 많이 탐험하도록 유도합니다.
  • 이는 지도에 빈칸이 있는 부분을 채우기 위해 의도적으로 그쪽으로 길을 내는 것과 같습니다. 결과적으로 모든 상황에 대비한 균일하고 완벽한 답의 집합을 얻을 수 있습니다.

4. 실험 결과: 왜 이것이 대단한가요?

저자들은 이 기술을 OpenAI 의 다중 에이전트 환경과 스타크래프트 (SMAC) 같은 복잡한 게임에서 테스트했습니다.

• 기존 방법 (Outer-loop QMIX): "속도"를 중요하게 하는 경우를 학습하고, 그다음 "편안함"을 중요하게 하는 경우를 새로이 학습하는 방식입니다. 마치 여행 계획을 매번 처음부터 다시 짜는 것과 같습니다. 시간이 매우 오래 걸립니다.
• MO-MIX: 한 번 학습하면 모든 경우의 수를 다 커버합니다.
  • 성능: 기존 방법보다 훨씬 더 넓고 균일한 '최고의 답들'을 찾았습니다.
  • 효율: 같은 성능을 내기 위해 13 배 이상 적은 학습 시간만 소요되었습니다.

5. 요약: 한 마디로 뭐라고 할까요?

MO-MIX는 "서로 다른 목표를 가진 여러 명의 팀원들이, 상황 (우선순위) 에 따라 즉시 최적의 협동 방식을 찾아낼 수 있도록 가르치는 초고급 팀워크 훈련 시스템"입니다.

기존에는 "하나의 정답"만 찾거나, "하나의 상황"에 맞춰 따로따로 학습했다면, MO-MIX 는 **"어떤 상황에서도 최고의 팀워크를 발휘할 수 있는 모든 가능한 정답들의 지도"**를 한 번에 그려냅니다. 이는 자율주행차, 스마트 팩토리, 로봇 군집 제어 등 복잡한 현실 세계의 문제들을 해결하는 데 큰 획을 그을 기술입니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 다중 목표 다중 에이전트 강화학습 (Multi-Objective Multi-Agent Reinforcement Learning, MOMARL) 문제를 해결하는 데 중점을 둡니다.

• 배경: 실제 세계의 많은 의사결정 시나리오 (예: 자율주행의 승객 편안함과 차량 속도 간의 균형) 는 서로 충돌하는 여러 목표를 동시에 달성해야 합니다. 또한, 이러한 목표는 여러 에이전트가 협력하여 달성해야 하는 경우가 많습니다.
• 기존 접근법의 한계:
  • 기존 다중 에이전트 강화학습 (MARL) 은 주로 단일 목표를 최적화하도록 설계되었습니다.
  • 기존 다중 목표 강화학습 (MORL) 은 주로 단일 에이전트 환경에 국한되어 있습니다.
  • 기존 방법들은 주로 가중치 합 (weighted sum) 을 사용하여 다중 목표를 단일 목표로 변환하는 방식을 취하는데, 이는 고정된 선호도 (preference) 에만 최적화된 단일 정책만 생성할 수 있고, 최적의 가중치를 찾는 것이 어렵다는 단점이 있습니다.
• 핵심 과제: 환경의 비정상성 (non-stationarity), 부분 관측성 (partial observability), 그리고 신용 할당 (credit assignment) 문제를 해결하면서, 다양한 선호도에 대응할 수 있는 파레토 집합 (Pareto set) 의 근사치를 효율적으로 생성하는 것입니다.

2. 제안 방법론: MO-MIX

저자들은 중앙 집중식 훈련 및 분산 실행 (CTDE, Centralized Training with Decentralized Execution) 프레임워크를 기반으로 한 새로운 알고리즘 MO-MIX를 제안합니다.

2.1. 조건부 에이전트 네트워크 (Conditioned Agent Network, CAN)

• 각 에이전트는 자신의 국소 관측치와 **선호도 벡터 (preference vector, $\omega$)**를 입력받아 다중 목표 가치 함수를 추정합니다.
• 선호도 벡터는 네트워크의 입력 조건으로 작용하여, 특정 선호도에 맞는 로컬 행동 가치 함수 ($Q_i$) 를 학습하도록 유도합니다.
• GRU(Gated Recurrent Unit) 를 사용하여 관측 및 행동의 시퀀스 정보를 활용함으로써 부분 관측성 문제를 보완합니다.

2.2. 다중 목표 믹싱 네트워크 (Multi-objective Mixing Network, MOMN)

• VDN(Value Decomposition Network) 과 QMIX 알고리즘에서 영감을 받아 개발되었습니다.
• 병렬 아키텍처: $m$개의 목표에 대응하는 $m$개의 독립적인 병렬 트랙 (track) 으로 구성됩니다. 각 에이전트의 $Q$값 벡터를 목표별로 재구성하여 각 트랙에 입력합니다.
• 하이퍼네트워크 (Hypernetworks): 전역 상태 (global state) 를 입력받아 믹싱 네트워크의 가중치와 편향을 생성합니다.
• 단조성 제약 (Monotonicity Constraint): $\frac{\partial Q_{tot}}{\partial Q_i} \ge 0$을 만족하도록 설계되어, 에이전트들이 국소 최적 행동을 선택할 때 전역 최적 행동과 일치하도록 보장합니다. 이를 통해 중앙 집중식 훈련이 가능해집니다.

2.3. 탐색 가이드 전략 (Exploration Guide Approach)

• 최종 비우세 해 (non-dominated solutions) 의 **균일성 (uniformity)**을 개선하기 위해 제안되었습니다.
• 학습 과정에서 현재까지 찾은 비우세 집합을 유지하며, 목표 공간에서 해가 희소 (sparse) 한 영역의 선호도 벡터 $\omega$를 더 자주 샘플링하도록 조정합니다.
• 이를 통해 특정 선호도 영역으로 수렴하는 것을 방지하고, 파레토 프론트의 전체 영역을 골고루 탐색하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 고품질 MOMARL 방법론: 다중 에이전트 시스템에 적용 가능하며, 다양한 선호도 입력을 통해 밀집되고 고품질의 파레토 집합 근사치를 생성하는 첫 번째 심층 강화학습 기반 방법론을 제안했습니다.
2. 탐색 가이드 기법: 학습 중 탐색 방향을 유도하여 최종 파레토 집합의 균일성을 향상시키는 새로운 기법을 도입했습니다.
3. 효율성과 성능: 기존 베이스라인 (Outer-loop QMIX) 대비 모든 평가 지표에서 우수한 성능을 보이며, 훨씬 적은 계산 비용으로 파레토 프론트를 근사합니다.

4. 실험 결과 (Results)

OpenAI 의 다중 에이전트 입자 환경 (MPE) 과 StarCraft Multi-Agent Challenge (SMAC) 환경에서 실험을 수행했습니다.

• 비교 대상: QMIX 알고리즘을 기반으로 외부 루프 (outer-loop) 를 통해 선호도를 탐색하는 방식 (Baseline).
• 평가 지표:
  • 하이퍼볼륨 (Hypervolume, HV): MO-MIX 가 베이스라인보다 약 17.27% 높았습니다.
  • 다양성 (Diversity): MO-MIX 가 더 많은 비우세 해를 찾았습니다 (MPE 기준 40.40 vs 17.00).
  • 간격 (Spacing) 및 희소성 (Sparsity): MO-MIX 가 더 작아 균일하고 밀집된 분포를 보였습니다.
• 계산 효율성:
  • MPE 환경에서 MO-MIX 는 75,000 에피소드로 수렴한 반면, 베이스라인은 1,025,000 에피소드가 필요했습니다 (약 13 배 효율성 향상).
  • SMAC 환경에서도 MO-MIX 가 500 만 스텝으로 베이스라인 (4,100 만 스텝) 보다 훨씬 적은 비용으로 우수한 파레토 근사치를 생성했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 단일 모델로 다양한 선호도에 대응하는 정책을 생성할 수 있으므로, 실제 응용 분야에서 사용자의 요구사항 (예: 속도 우선 vs 에너지 효율 우선) 에 따라 유연하게 정책을 선택할 수 있습니다.
• 기술적 진전: 단일 에이전트 MORL 과 다중 에이전트 MARL 의 한계를 넘어, 복잡한 협력 의사결정 문제를 해결하는 새로운 패러다임을 제시했습니다.
• 미래 전망: 현재는 2 개의 충돌 목표에 대해 검증되었으나, 이론적으로는 3 개 이상의 목표 확장도 가능하며, 더 복잡하고 다양한 목표를 가진 실제 문제 해결로 확장될 잠재력이 있습니다.

요약하자면, MO-MIX는 다중 에이전트 협력 환경에서 서로 충돌하는 여러 목표를 균형 있게 해결하고, 사용자의 선호도에 따라 최적의 정책 집합 (파레토 프론트) 을 효율적으로 제공하는 획기적인 강화학습 알고리즘입니다.