[기술 요약] CODA: 다중 에이전트 오프라인 강화학습을 위한 온-폴리시 확산 기반 조정 메커니즘

1. 문제 정의 (Problem Statement)

**오프라인 다중 에이전트 강화학습(Offline MARL)**은 고정된 데이터셋으로부터 정책을 학습하므로 안전성과 효율성이 높지만, **'조정 실패(Coordination Failure)'**라는 치명적인 문제에 직면합니다.

• 핵심 원인 (Lack of Co-adaptation): 온라인 학습에서는 에이전트의 정책이 변함에 따라 동료 에이전트의 행동도 변하며 서로 적응(Co-adaptation)하는 피드백 루프가 존재합니다. 반면, 오프라인 환경에서는 데이터셋이 정적(Static)이기 때문에, 에이전트가 학습을 통해 정책을 업데이트하더라도 동료의 행동은 과거 데이터에 머물러 있습니다.
• BRUD(Best Response Under Data)의 한계: 기존의 CTDE(중앙 집중식 학습, 분산 실행) 방식은 에이전트가 데이터셋에 기록된 동료의 행동에 대해 최적의 반응(Best Response)을 학습하도록 유도합니다. 이는 에이전트들이 서로의 현재 정책에 맞춰 변화하는 것이 아니라, 과거의 무작위적인 행동에 맞춰 학습하게 만들어 결국 서로 호환되지 않는 하위 최적(Suboptimal) 행동으로 수렴하게 만듭니다.

2. 제안 방법론 (Methodology: CODA)

본 논문은 **CODA(Coordination via On-Policy Diffusion)**를 제안합니다. 이는 데이터 증강(Data Augmentation) 모듈로서, 현재 학습 중인 에이전트들의 '현재 정책(Current Joint Policy)'을 조건으로 하여 새로운 궤적(Trajectory)을 생성함으로써 오프라인 환경에서도 온-폴리시(On-policy)와 유사한 적응 효과를 모사합니다.

핵심 메커니즘:

1. 확산 모델 기반 궤적 생성 (Diffusion-based Trajectory Generation): 오프라인 데이터셋($D_{off}$)으로부터 전체 궤적(상태, 관측, 행동, 보상 등)의 분포를 학습하는 확산 모델을 구축합니다.
2. 온-폴리시 가이던스 (On-Policy Guidance): 샘플링 단계에서 현재 에이전트들의 정책($\pi_{curr}$)을 조건으로 사용하여 궤적을 생성합니다. 두 가지 방식을 사용합니다:
   • Implicit Conditioning (Classifier Guidance): 정책의 로그 확률(Log-likelihood) 기울기를 사용하여 확산 과정에서 행동을 현재 정책 방향으로 유도합니다.
   • Explicit Conditioning (Classifier-Free Guidance, CFG): 정책을 압축된 벡터(Embedding) 형태로 확산 모델의 조건으로 직접 입력하여 정책에 의존적인 궤적을 생성합니다.
3. 데이터 증강 (Data Augmentation): 생성된 합성 데이터($D_{syn}$)와 기존 오프라인 데이터($D_{off}$)를 혼합하여 학습에 사용함으로써, 에이전트들이 서로의 현재 행동 변화를 반영한 환경에서 학습할 수 있도록 합니다.

3. 주요 기여 (Key Contributions)

• 조정 메커니즘의 복원: 정적인 데이터셋의 한계를 극복하고, 에이전트 간의 상호작용과 정책 진화(Joint Policy Evolution)를 모사할 수 있는 메커니즘을 제시했습니다.
• 알고리즘 불가지론적(Algorithm-agnostic) 설계: CODA는 특정 RL 알고리즘에 종속되지 않는 모듈형 구조로, 기존의 Model-free(예: MADDPG) 또는 Model-based 오프라인 MARL 파이프라인에 쉽게 결합할 수 있습니다.
• 이론적/실험적 검증: 왜 기존 방식이 실패하는지(BRUD의 한계)를 수학적으로 분석하고, 이를 해결하는 과정을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

논문은 두 가지 환경에서 CODA의 성능을 검증했습니다.

1. Polynomial Games (연속적 다항식 게임):
   • Multiplication Game: 기존 MADDPG는 데이터셋의 통계치에 갇혀 하위 최적점에 수렴하거나 행동 경계(Boundary)에 부딪히는 문제를 보였으나, CODA는 최적의 협력 행동을 찾아냈습니다.
   • Twin Peaks Game: 에이전트 간 결합이 강한 환경에서도 CODA는 데이터셋의 평균/분산에 휘둘리지 않고 정확한 협력 지점을 찾아냈습니다.
2. MaMuJoCo (고차원 연속 제어 벤치마크):
   • On-policy Steering: 가이던스 강도($\lambda$)를 조절함에 따라 생성된 궤적이 현재 정책의 분포로 정밀하게 유도됨을 확인했습니다.
   • Downstream Performance: 'Replay'나 'Good'과 같이 전문가 데이터가 포함된 데이터셋에서 CODA는 기존 방식보다 월등히 높은 성능 향상을 보였습니다. (단, 데이터의 질이 낮은 'Poor' 데이터셋에서는 데이터 지원 범위의 한계로 인해 효과가 제한적이었습니다.)

5. 의의 (Significance)

CODA는 **"오프라인 MARL의 핵심 문제는 데이터의 양(Coverage)이 아니라, 데이터와 현재 정책 간의 동적 불일치(Mismatch)에 있다"**는 점을 명확히 짚어냈습니다. 생성형 모델(Diffusion Model)을 활용하여 정적인 데이터셋에 **'동적인 적응성'**을 부여함으로써, 오프라인 환경에서도 온라인 학습과 유사한 협력적 학습이 가능함을 보여준 중요한 연구입니다.