Counterfactual Conditional Likelihood Rewards for Multiagent Exploration

1. 문제 정의 (Problem)

다중 에이전트 시스템 (Multiagent Systems) 은 구조적 탐사 (Search and Rescue, 행성 탐사 등) 와 같은 개방형 도메인에서 협력적 전략을 발견하는 것이 필수적입니다. 그러나 이러한 작업은 종종 희소 보상 (Sparse Rewards) 환경에서 수행되며, 에이전트들이 긴 시간 동안 협력해야만 보상을 받을 수 있습니다.

기존의 단일 에이전트 기반 탐사 방법 (내재적 보상, 엔트로피 최대화 등) 을 다중 에이전트 환경에 적용할 때 발생하는 주요 문제점은 다음과 같습니다:

• 중복된 탐사 (Redundancy): 각 에이전트가 자신의 국소적 관찰 (Local Observation) 만을 기반으로 탐사를 장려받으면, 팀원들이 서로의 행동을 인지하지 못해 동일한 지역을 중복적으로 탐색하게 됩니다.
• 비정상성 (Non-stationarity): 다중 에이전트 환경에서 에이전트들의 정책이 함께 진화함에 따라 결합 관찰 (Joint Observation) 분포가 끊임없이 변합니다. 이로 인해 기존에 단일 에이전트에서 사용되던 밀도 추정기나 임베딩 네트워크가 불안정해져 신뢰할 수 없는 결과를 초래합니다.
• 협력 행동의 발견 실패: 희소 보상을 받는 과제는 에이전트들이 정밀하게 조율된 행동을 취해야만 보상을 받는데, 국소적 엔트로피 최대화만으로는 이러한 조율된 행동을 발견하기 어렵습니다.

2. 제안된 방법론: 반사실 조건부 확률 (Counterfactual Conditional Likelihood, CCL)

이 논문은 팀의 결합 탐사에 대한 각 에이전트의 고유한 기여도를 정량화하여 보상을 부여하는 새로운 내재적 보상 함수인 CCL을 제안합니다.

핵심 아이디어

• 반사실적 (Counterfactual) 접근: 에이전트 $i$의 실제 관찰이 팀의 결합 관찰 확률에 얼마나 기여하는지를 평가하기 위해, 해당 에이전트가 이전 시간 단계의 관찰을 유지한 '가상 시나리오 (Counterfactual)'와 실제 시나리오를 비교합니다.
• 국소적 임베딩 활용: 모든 에이전트의 결합 관찰을 직접 학습하는 것은 차원의 저주와 비정상성으로 인해 불가능합니다. 대신, 각 에이전트의 국소적 관찰을 **무작위 인코더 (Random Encoder)**를 통해 저차원 벡터로 변환한 후 이를 연결 (Concatenate) 하여 결합 표현을 만듭니다.
• 조건부 확률 차이 계산: 에이전트 $i$의 CCL 보상은 다음 식으로 정의됩니다.
  $$\hat{r}_i^{CCL} = \log p(o_t^i | o_t^{-i}) - \log p(\tilde{o}_t^i | o_t^{-i})$$
  여기서 $o_t^{-i}$는 다른 모든 에이전트의 관찰, $\tilde{o}_t^i$는 에이전트 $i$의 이전 시간 단계 관찰 (반사실적 관찰) 입니다. 이 차이는 에이전트 $i$의 현재 행동이 팀의 전체 관찰 확률을 얼마나 증가시키는지 (즉, 얼마나 독특한 정보를 제공하는지) 를 나타냅니다.

구현 세부사항

1. 임베딩: 각 에이전트의 관찰을 무작위 인코더로 4 차원 벡터로 매핑합니다.
2. k-NN 기반 밀도 추정: 결합 임베딩 공간에서 실제 관찰과 반사실적 관찰의 $k$-최근접 이웃 (k-NN) 거리를 계산합니다.
3. 공유 반경 (Shared Radius): 두 경우의 밀도 추정을 공정하게 비교하기 위해 더 큰 반경을 공유하여 사용합니다 (KSG 스타일 안정화).
4. 보상 안정화: 계산된 로그 확률 차이는 음수일 수 있으므로, Softplus 함수를 적용하여 양수로 변환하고 상한값 (Clamping) 을 두어 학습 안정성을 확보합니다.
5. 혼합 보상 (Mixture Reward): 국소적 엔트로피 최대화 (Local OEM) 와 CCL 보상을 결합하여, 국소적 다양성과 팀의 조율된 탐사를 동시에 장려하는 방식도 제안되었습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 내재적 보상 함수 (CCL): 희소 보상 환경에서 다중 에이전트 시스템의 조율된 탐사를 위해, 각 에이전트의 결합 관찰에 대한 기여도를 반사실적으로 분리하여 보상하는 방법을 최초로 제안했습니다.
2. 비정상성 문제 해결: 결합 관찰 공간의 직접적인 학습 없이 무작위 인코더와 국소적 임베딩을 활용하여, 에이전트 정책의 변화로 인한 비정상성 문제를 우회하고 확장 가능한 설계를 제시했습니다.
3. 중복 탐사 감소 및 협력 증진: 에이전트들이 서로의 행동을 고려하여 고유한 정보를 제공하는 행동에 보상을 줌으로써, 불필요한 중복 탐사를 줄이고 협력적 행동 (Complementary Behaviors) 을 유도합니다.
4. 광범위한 실험 검증: 연속적인 다중 로버 (Multi-Rover) 환경과 파티클 환경 (Particle Environments) 에서 다양한 에이전트 수와 결합 강도 (Coupling Factor) 하에서 CCL 의 우수성을 입증했습니다.

4. 실험 결과 (Results)

논문은 Multi-Rover (희소 보상, 긴 시퀀스 협력 필요) 와 Particle Environments (적대적 에이전트 존재, 물리적 은폐, 사냥 등) 에서 MAPPO 알고리즘과 함께 실험을 수행했습니다.

• 탐사 효율성: CCL 을 적용한 에이전트는 국소적 엔트로피 최대화 (Local OEM) 만을 사용하는 에이전트보다 훨씬 빠르게 학습하고, 환경 전체를 더 균일하게 커버했습니다. 특히 단일 목표 지점 (Single POI) 이 있는 매우 희소한 보상 환경에서 Local OEM 은 실패했으나, CCL 은 성공적으로 협력 전략을 발견했습니다.
• 협력 행동의 질: 히트맵 분석 결과, Local OEM 에이전트는 같은 지역에 군집화 (Clustering) 되어 중복 탐사를 하는 반면, CCL 에이전트는 서로 다른 영역을 탐색하며 상호 보완적인 행동을 보였습니다.
• 혼합 보상의 효과: Local OEM 과 CCL 을 결합한 'Mixture Reward'는 초기 학습 속도를 높이고 더 높은 최대 보상을 달성하는 경향이 있었습니다. 특히 결합 강도가 높은 복잡한 과제에서는 CCL 단독 또는 혼합 보상이 필수적이었습니다.
• 일반화 능력: 적대적 에이전트가 포함된 파티클 환경 (Predator-Prey 등) 에서도 CCL 은 로버 환경과 마찬가지로 협력적 전략을 효과적으로 발견하여 우세한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 다중 에이전트 강화학습 (MARL) 에서 **국소적 호기심 (Local Novelty)**과 글로벌 조율 (Global Coordination) 사이의 간극을 메우는 중요한 통찰을 제공합니다.

• 이론적 의의: 결합 상태 공간의 균일한 커버리지보다는, 에이전트 간 관찰이 강하게 상관관계를 가지는 '조율된 영역 (Coordinated Regions)'을 타겟팅해야 효율적인 탐사가 가능함을 증명했습니다.
• 실용적 의의: 희소 보상을 받는 복잡한 다중 에이전트 과제 (구조, 탐사 등) 에서 에이전트들이 스스로 협력하는 전략을 발견할 수 있는 강력한 도구를 제공합니다.
• 한계 및 향후 과제: 에이전트 수가 급격히 증가할 경우 파티클 기반 밀도 추정기의 정확도가 떨어질 수 있으며, 이를 해결하기 위해 모델 기반 탐사 전략과의 결합 등이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 CCL 보상을 통해 다중 에이전트 시스템이 서로의 행동을 인지하고 고유한 기여를 하도록 유도함으로써, 희소 보상 환경에서도 효율적이고 조율된 협력을 달성할 수 있음을 입증했습니다.