기술 요약: 고엔트로피 정규화는 Dec-POMDP에서 대칭 동변적 정책을 유도한다

문제 정의

협력적 다중 에이전트 강화 학습(MARL) 내의 분산 부분 관측 가능 마르코프 결정 과정(Dec-POMDP)에서 핵심적인 과제는 **제로샷 코디네이션(Zero-Shot Coordination, ZSC)**이다. 셀프 플레이(Self-Play, SP)와 같은 표준 학습 방법은 에이전트들이 환경의 내재된 대칭성을 깨뜨리는 특정 협력 관습(coordination conventions)으로 수렴하게 만드는 경우가 많다. 이러한 정책들은 자기 자신과 쌍을 이룰 때(SP)는 높은 보상을 달성하지만, 독립적으로 학습된 정책(Cross-Play 또는 XP, 예: 서로 다른 랜덤 시드나 알고리즘으로 학습된 경우)과 쌍을 이룰 때는 처참하게 실패한다. 이러한 불호환성은 서로 다른 학습 실행(training runs)이 상호 배타적인 대칭 파괴 관습(예: 한 에이전트는 항상 행동 A를 선택하고 다른 에이전트는 B를 선택하는 방식 vs 그 반대의 경우)을 선택할 수 있기 때문에 발생한다.

기존의 특화된 알고리즘들(예: Other-Play, Off-Belief Learning)은 대칭 동변성(symmetry-equivariance)을 강제하려고 시도하지만, 이는 종종 환경의 대칭성에 대한 사전 지식이나 복잡한 알고리즘적 수정 사항을 요구한다. 본 논문은 표준 정책 경사법, 구체적으로 독립 PPO(Independent PPO, IPPO)가 특정 하이퍼파라미터 조정, 즉 **고엔트로피 정규화(high entropy regularization)**를 통해 대칭 동변적 정책을 자연스럽게 학습할 수 있는지 조사한다.

방법론

이론적 프레임워크

저자들은 엔트로피 정규화가 적용된 테이블형 소프트맥스 정책 경사 상승법(tabular softmax policy gradient ascent)의 역학을 분석한다. 저자들은 엔트로피 정규화된 정책 경사 흐름을 Dec-POMDP에 대해 정의한다.

• 핵심 차이점: 논문은 엔트로피 정규화된 목적 함수의 기울기($\nabla_\theta J^\alpha_{SP}$)와 표준 목적 함수의 엔트로피 정규화된 기울기($\nabla^\alpha_\theta J_{SP}$)를 구분한다. 후자가 표준 PPO 엔트로피 보너스에 해당하는 것이며, 이론적 분석의 초점이 된다.
• 대칭 정의: Dec-POMDP의 대칭은 전이 역학, 보상, 초기 상태 분포를 보존하는 상태, 행동, 관측에 대한 일대일 대응(bijections)의 튜플로 정의된다. 정책이 **대칭 동변적(symmetry-equivariant)**이라는 것은 이러한 대칭의 작용 하에서도 불변함을 의미한다.
• 그리디화(Greedification): 저자들은 학습된 확률적 정책을 가장 높은 확률을 가진 행동(또는 동일한 확률을 가진 행동들에 대한 균등 분포)을 선택하는 결정론적 정책으로 변환하는 사후 "그리디화" 단계를 제안한다.

이론적 기여

논문은 **정리 3.1(Theorem 3.1)**을 증명하며, 이는 모든 테이블형 소프트맥스 파라미터화를 가진 Dec-POMDP에 대해 유한한 엔트로피 임계값 $\alpha'$가 존재함을 확립한다. 임의의 엔트로피 계수 $\alpha > \alpha'$에 대하여:

1. 엔트로피 정규화된 정책 경사의 벡터장은 유일한 영점(zero point) $\theta_\alpha$를 갖는다.
2. 이 유일한 고정점은 대칭 동변적인 결합 정책(joint policy)에 해당한다.
3. 정책 경사 흐름은 모든 초기화로부터 이 유일한 고정점으로 수렴한다.
4. 결과적으로, 서로 다른 초기화(시드)로 학습된 정책들은 완전히 호환되며, 이는 그들의 크로스 플레이(Cross-Play, XP) 보상이 셀프 플레이(Self-Play, SP) 보상과 같아짐을 의미한다.

저자들은 이 결과가 최대 엔트로피 RL 목적 함수의 기울기($\nabla_\theta J^\alpha_{SP}$)에는 적용되지 않음을 명시하며, 고엔트로피가 여러 개의 호환되지 않는 극댓값을 생성하는 반례를 제시한다.

경험적 접근법

저자들은 세 가지 환경에서 표준 **독립 PPO(IPPO)**를 사용하여 이론적 예측을 평가한다.

1. Hanabi: 불완전 정보가 포함된 협력 카드 게임.
2. Overcooked: 협력 요리 시뮬레이션.
3. Yokai: 공간과 시간에 대한 믿음(beliefs)을 추적하기 위해 최근 개발된 환경.

실험 프로토콜:

• 하이퍼파라미터 스윕(Hyperparameter Sweep): 저자들은 일반적인 값(예: 0.01–0.10)보다 훨씬 높은 범위의 엔트로피 계수($\alpha$)에 걸쳐 IPPO 에이전트를 학습시킨다 (예: Overcooked에서는 최대 0.50까지).
• 평가: 이들은 SP 및 XP 보상을 측정한다. 결정적으로, 이들은 원시 확률적 정책("non-greedy")과 그리디화된 결정론적 정책("greedy")을 모두 평가한다.
• 아키텍처: 실험에는 피드포워드(FF), LSTM, 그리고 Off-Belief Learning 호환성을 위한 Public-Private LSTM을 포함한 표준 아키텍처가 사용된다.

주요 결과

1. 대칭 동변적 정책으로의 수렴

실험은 이론적 예측을 확인시켜 준다: 엔트로피 계수 $\alpha$가 증가함에 따라 SP와 XP 사이의 격차가 좁아진다.

• Hanabi: LSTM 아키텍처와 엔트로피 계수 $\alpha = 0.05$를 사용하여, 저자들은 이전의 SOTA(State-of-the-Art)인 Off-Team Learning(OT-OBL)이 달성한 24.30을 넘어선 24.45(최대 25 중)의 인터-시드(inter-seed) XP 보상을 달착했다.
• Overcooked: 엔트로피 계수를 매우 높은 값(0.50)까지 높여도 그리디 XP가 계속 개선되며, SP와 XP가 거의 동일해진다.
• Yokai: 엔트로피 임계값이 매우 높은 것으로 보인다. 특정 지점 이상에서는 정책이 너무 무작위적이 되어 효과적인 학습이 어려워지는데, 이는 일부 환경에서 고엔트로피 정규화의 비용이 협력을 위한 이득보다 클 수 있음을 시사한다.

2. 그리디화의 역할

고엔트로피 정규화가 확률적 정책을 대칭 동변적으로 강제한다는 점은 중요하지만, 그 결과로 나타나는 기대 보상은 낮을 수 있다(균등 무작위 동작에 가까워짐). 그러나 이러한 정책들의 그리디화된(greedified) 버전은 대칭 동변적 특성을 유지하면서 높은 보상을 회복한다.

• Hanabi와 Overcooked에서 고엔트로피 정책의 그리디 XP는 비-그리디(non-greedy) XP보다 현저히 높으며, 종종 저엔트로피 정책의 성능을 능가한다.
• 이는 다음과 같은 학습 레시피를 시사한다: 대칭 동변성을 확보하기 위해 고엔트로피로 학습한 후, 배포 시에는 정책을 그리디화한다.

3. 아키텍처 민감도

필요한 엔트로피 임계값은 정책 아키텍처에 따라 달라진다.

• LSTM vs. FF: Hanabi에서 피드포워드(FF) 네트워크는 LSTM 네트워크에 비해 호환성을 달성하기 위해 훨씬 더 높은 엔트로피 계수를 필요로 한다. 저자들은 이를 FF 네트워크가 메모리가 부족하여 의사소통을 위해 매우 특화되고 취약한 관습에 의존하게 되며, 고엔트로피가 이러한 관습을 해체하는 데 도움을 준다고 해석한다.

4. 한계점

본 논문은 고엔트로피 정규화가 만능 해결책은 아님을 인정한다.

• 차선의 동변성: 특정 환경(예: 수정된 "cat/dog" 게임 및 "Yokai" 환경)에서 고엔트로피는 대칭 동변적 정책으로의 수렴을 보장하지만, 반드시 최적의 정책을 보장하는 것은 아니다. 이러한 경우, 최적의 대칭 동변적 정책은 고엔트로피 정규화가 억제하는 결정론적 행동을 필요로 하므로, 그리디화 이후에도 성능이 저하될 수 있다.
• 이득 추정치의 편향: 낮은 $\lambda_{GAE}$를 사용하는 일반화 어드밴티지 추정(GAE)은 고엔트로피를 사용하더라도 대칭 파괴를 재도입할 수 있다.

의의 및 주장

본 논문은 다음 조건이 충족될 때 표준 정책 경사법이 이전에 생각했던 것보다 제로샷 코디네이션을 위해 "훨씬 더 강력하다"고 주장한다:

1. 엔트로피 계수를 (일반적인 관행보다 종종 한 자릿수 더 높게) **훨씬 넓은 범위에서 스윕(sweep)**해야 한다.
2. 대칭 파괴를 감지하기 위해 SP(Self-Play) 보상뿐만 아니라 XP(Cross-Play) 지표를 평가에 포함해야 한다.
3. 성능을 회복하기 위해 **그리디화(Greedification)**를 적용해야 한다.

저자들은 이 접근 방식이 환경의 대칭성에 대한 사전 지식을 필요로 하지 않고 표준 MARL 인프라를 사용하므로, 특화된 ZSC 알고리즘에 대한 더 간단한 대안을 제공한다고 주장한다. 특정 Dec-POMDP에서는 최적의 대칭 동변적 정책이 이 방법으로 학습 불가능할 수 있음을 인정하면서도, Hanabi와 Overcooked에서의 경험적 결과는 고엔트로피 정규화가 바닐라 IPPO를 사용하여 인터-시드 코디네이션에서 SOTA 성능을 달성할 수 있음을 보여준다.

결론적으로, 논문은 Dec-POMDP에서 엔트로피에 대한 표준 하이퍼파라미터 범위를 재고할 것을 촉구하며, 코디네이션을 위한 "스윗 스팟(sweet spot)"은 단일 시드 SP 보상을 극대화하는 데 사용되는 값보다 훨씬 높은 엔트로피 값에 있을 수 있음을 시사한다.