기술 요약: ARMS 희소 보상 다중 에이전트 강화 학습을 위한 자동 보상 형성

1. 문제 정의

다중 에이전트 강화 학습 (MARL) 은 희소 보상을 다룰 때 치명적인 병목 현상에 직면합니다. 희소 환경에서 에이전트는 드물게 피드백을 받기 때문에 학습 속도가 현저히 느려집니다. 이 문제는 **비정상성 (non-stationarity)**과 **공적응 (co-adaptation)**으로 인해 단일 에이전트 RL(SARL) 에 비해 MARL 에서 더욱 악화됩니다. 에이전트들이 동시에 정책을 업데이트함에 따라, 개별 에이전트의 관점에서 환경은 비정상적으로 나타납니다.

보상 형성 (reward shaping)(희소 신호를 밀집 신호로 보강하거나 대체하는 것) 은 일반적인 해결책이지만, MARL 에서는 특히 위험합니다. SARL 에서는 부적절한 형성이 최적 정책의 집합을 변경할 수 있습니다. MARL 에서는 이 위험이 더 심각합니다. 형성이 **내쉬 균형 (Nash equilibria)**의 집합을 변경하여 게임의 전략적 구조를 근본적으로 바꾸고, 비최적이거나 의도하지 않은 집단 행동을 초래할 수 있기 때문입니다. 자기지도형 온라인 보상 형성 (SORS) 과 같은 기존 자동 보상 형성 방법들은 에이전트 정책 간의 상호의존성과 글로벌 최적성 개념의 부재로 인해 MARL 로 직접 이전되지 않는 글로벌 궤적 순위 보장에 의존합니다.

2. 방법론: ARMS 프레임워크

저자들은 게임 이론적 균형 구조를 보존하면서 희소 환경 보상으로부터 밀집 형성 신호를 학습하도록 설계된 자기지도형 프레임워크인 **ARMS(다중 에이전트 시스템 내 자동 보상 형성)**를 제안합니다.

이론적 기반: 조건부 최적 반응 불변성

핵심 이론적 기여는 다중 에이전트 설정을 위한 정책 불변성의 재구문화입니다.

• 단일 에이전트 한계: 표준 궤적 순위 보장 (예: SORS 에서 유래) 은 두 보상 함수가 모든 궤적 쌍에 대해 동일한 총순서를 유도한다면 동일한 최적 정책을 산출한다고 가정합니다. 이는 MARL 에서는 부재하는 글로벌 최적성 개념에 의존합니다.
• ARMS 공식화: 저자들은 다른 모든 에이전트의 정책이 고정되어 있을 때, 개별 에이전트는 유도된 단일 에이전트 환경에 직면한다고 증명합니다. 이 조건부 최적 반응 (conditional best-response) 관점 하에서, 형성 보상 함수가 유도된 환경의 궤적에 대해 원래 보상과 **총순서 동등 (total-order equivalent)**하다면, 해당 에이전트의 최적 반응 집합을 보존합니다.
• 균형 보존: 이를 확장하면, 이 조건이 모든 에이전트에 대해 성립한다면 내쉬 균형의 집합은 불변으로 유지됩니다. 이는 근본적인 전략적 해를 변경하지 않고 MARL 에서 궤적 순위를 사용하는 것에 대한 게임 이론적 정당성을 제공합니다.

알고리즘 구현

ARMS 는 두 단계 (알고리즘 1) 간의 교차 루프에서 작동합니다:

1. 강화 학습 단계: 에이전트들은 현재 형성된 보상 ($R_{\theta}$) 과 기본 MARL 알고리즘 (예: IPPO 또는 MAPPO) 을 사용하여 환경과 상호작용합니다. 그들은 결합 궤적을 수집하여 버퍼에 저장합니다.
2. 보상 형성 단계: 시스템은 버퍼에서 궤적 세그먼트 쌍을 샘플링합니다. 각 에이전트에 대해 매개변수화된 보상 네트워크 ($F_\theta$) 가 이진 분류 손실을 최소화하도록 업데이트됩니다. 이 손실은 형성 보상의 궤적 쌍에 대한 선호 순서가 원래 희소 환경 보상이 유도한 선호 순서와 일치하도록 강제합니다.
   • 공유 매개변수: 효율성과 확장성을 개선하기 위해 모든 에이전트가 동일한 보상 형성 매개변수 ($\theta$) 를 공유합니다. 네트워크는 모든 에이전트에 걸쳐 신호를 집계하는 에이전트별 궤적 순서로 훈련됩니다.
   • 입력: 보상 네트워크는 분산 정보 흐름을 모델링하기 위해 로컬 관측치와 행동을 입력으로 받습니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 다중 에이전트 정책 불변성 공식화: 저자들은 총순서 동등 형성 보상이 고정된 상대방 정책 하에서 각 에이전트의 최적 반응 집합을 보존함으로써 내쉬 균형의 집합을 보존한다고 확립합니다. 이는 단일 에이전트 궤적 순위 방법을 MARL 에 직접 적용하는 것을 방해하는 이론적 격차를 해소합니다.
2. ARMS 프레임워크: 다중 에이전트 비정상성을 고려하면서 궤적 순위를 활용하는 실용적인 자기지도형 온라인 보상 학습 방법입니다. 이는 기본 RL 백본에 무관한 공유 형성 신호를 학습합니다.
3. MARL 동역학에 대한 실증 분석: 이 연구는 제한된 탐색과 정책 - 보상 동역학의 결합이 **진동적 행동 (oscillatory behavior)**을 유발하고 비최적 순환 패턴으로 수렴하게 하는 특정 MARL 실패 모드를 식별합니다. 저자들은 탐색을 증가시키면 이러한 효과가 완화됨을 입증합니다.

4. 실험 결과

실험은 POGEMA 환경을 사용하여 **부분 관측 다중 에이전트 경로 찾기 도메인 (Lifelong Pathfinding)**에서 수행되었습니다. 저자들은 IPPO 와 MAPPO 백본을 사용하여 형성 없는 베이스라인 및 잠재 기반 보상 형성 (PBRS) 과 비교하여 ARMS 를 평가했습니다.

• 샘플링 효율성: ARMS 는 누적 원래 보상 측면에서 베이스라인을 크게 능가했으며, 특히 에이전트 수가 증가함에 따라 (8, 16, 32) 그리고 보상이 더 희소해질수록 (10, 20, 30 타임스텝 지연) 두드러졌습니다.
• 일반화: ARMS 로 훈련된 정책은 50 개의 미확인 맵 (무작위 및 미로와 같은 환경 포함) 에 효과적으로 일반화되어 베이스라인보다 더 높은 보상을 축적하고 더 나은 협력을 보여주었습니다.
• 협력 및 충돌: ARMS 는 PBRS 와 형성 없는 경우보다 정규화된 충돌이 현저히 적어, 학습된 신호가 단순한 보상 최대화가 아닌 조정된 행동을 장려함을 나타냈습니다.
• 탐색 민감성: 중요한 발견은 탐색이 너무 낮을 경우 (예: 탐색 계수 $\alpha = 0.023$), ARMS 가 진동적 행동을 통해 보상을 "해킹"하여 최적 정책으로 수렴하지 못할 수 있다는 것이었습니다. 탐색 계수를 증가시키면 (예: $\alpha = 0.35$) 학습이 안정화되고 높은 처리량이 복원되었습니다.

5. 중요성과 주장

이 논문은 ARMS 가 게임 이론적 균형 보존 결과에 명시적으로 영감을 받아 설계된 최초의 자동 보상 형성 MARL 프레임워크라고 주장합니다.

다중 에이전트 문제의 전략적 구조를 변경할 위험이 있는 이전 방법들과 달리, ARMS 는 특정 조건 하에서 내쉬 균형의 집합이 보존된다는 이론적 보장을 제공합니다. 저자들은 궤적 순위가 SARL 에서는 효과적이지만, 비정상성과 글로벌 최적성의 부재를 처리하기 위해 MARL 에서는 근본적으로 다른 공식화가 필요하다고 강조합니다. 이 프레임워크는 충분한 탐색이 유지되어 비최적 피드백 루프를 방지하는 한, 희소 환경에서 MARL 을 가속화하기 위해 밀집 보상 신호를 자동 학습하여 게임의 해 공간 무결성을 훼손하지 않을 수 있음을 보여줍니다.