Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning

이 논문은 대규모 강화학습에서 단일 정책의 탐험 한계를 극복하기 위해 앙상블 내 정책 간 다양성을 KL 제약으로 조절하는 '결합 정책 최적화 (Coupled Policy Optimization)'를 제안하여, 과도한 탐험으로 인한 불안정성을 해소하면서도 샘플 효율성과 최종 성능을 크게 향상시킨다는 것을 보여줍니다.

핵심

🏫 비유: "거대한 학습 캠프와 지도 선생님"

상상해 보세요. 로봇을 가르치기 위해 **2 만 4 천 명 (N=24,576)**의 학생이 동시에 캠프에 모여 있습니다. 이 학생들은 모두 같은 로봇을 조종하는 방법을 배우고 있습니다.

1. 기존 방식의 문제점 (SAPG): "너무 자유로운 자유학기제"

기존의 최신 방법 (SAPG) 은 다음과 같이 운영되었습니다.

• 선생님 (Leader): 한 명의 지도 선생님이 있습니다.
• 학생들 (Followers): 나머지 학생들은 각자 자유롭게 캠프 구석구석을 돌아다니며 (탐색) 새로운 것을 발견합니다.
• 문제: 학생들이 너무 자유롭게 돌아다니다 보니, 어떤 학생은 선생님과는 전혀 상관없는 엉뚱한 곳 (예: 사막) 을 돌아다니고, 어떤 학생은 빙하를 돌아다닙니다.
• 결과: 선생님은 학생들로부터 보고받은 정보를 바탕으로 학습을 하려는데, 학생들이 보고한 내용이 선생님의 상황과 너무 달라서 (예: 선생님은 바다에 있는데 학생이 사막 이야기를 함) 정보를 제대로 활용하지 못합니다.
  • 마치 선생님이 "물고기를 잡는 법"을 배우는데, 학생들은 "사막 선인장 관리법"을 보고해 오는 꼴입니다.
  • 이렇게 되면 학습 속도가 느려지고, 때로는 엉뚱한 정보 때문에 혼란이 생겨 학습이 불안정해집니다.

2. 이 논문이 제안한 해결책 (CPO): "적당한 거리 유지와 역할 분담"

저자들은 **"학생들이 너무 멀리 떨어지지 않도록, 하지만 너무 뭉치지 않도록 조절해야 한다"**는 아이디어를 제안했습니다. 이를 **CPO(Coupled Policy Optimization)**라고 부릅니다.

• ① KL 제약 (가상의 줄): 선생님 (Leader) 과 각 학생 (Follower) 사이에 **가상의 줄 (KL 제약)**을 묶어줍니다.
  • 학생들은 자유롭게 돌아다닐 수 있지만, 선생님으로부터 너무 멀어지면 줄이 팽팽해져서 다시 선생님을 향해 오게 됩니다.
  • 이렇게 하면 학생들이 보고한 정보 (데이터) 가 선생님에게도 유용한 정보로 남게 됩니다. (비유: 선생님이 바다에 있을 때, 학생들도 바다 근처를 돌아다니며 물고기 잡는 팁을 가져오는 것)
• ② 적대적 보상 (서로 다른 개성 유지): 그런데 줄이 너무 짧으면 모든 학생이 선생님 바로 옆에 몰려서 똑같은 행동만 하게 될 수 있습니다.
  • 이를 방지하기 위해 **"너는 너만의 개성을 가져라"**라는 특별한 보상을 줍니다.
  • 학생들은 선생님 근처에 있으면서도, 서로 다른 구석 (다른 물고기, 다른 파도) 을 탐색하도록 유도받습니다.

3. 왜 이것이 더 좋은가요?

이 방법을 쓰면 다음과 같은 장점이 생깁니다.

• 효율성 UP: 학생들이 가져온 정보가 선생님에게 바로바로 적용되어, 같은 시간 동안 더 많은 것을 배웁니다. (샘플 효율성 향상)
• 안정성 UP: 엉뚱한 정보로 인한 혼란이 줄어들어 학습이 꾸준하게 잘 진행됩니다.
• 성적 UP: 복잡한 손가락 조작 (로봇 손) 같은 어려운 과제에서도 기존 방법들보다 훨씬 좋은 성적을 냅니다.

---

💡 핵심 요약 (한 줄 정리)

"수만 명의 로봇을 동시에 학습시킬 때, 각자 너무 멀리 흩어지면 정보 공유가 안 되고, 너무 뭉치면 새로운 것을 못 찾습니다. 이 논문은 '선생님과 학생 사이의 거리를 적절히 조절하는 줄 (KL 제약)'과 '서로 다른 개성을 장려하는 보상'을 통해, 가장 효율적이고 안정적인 학습을 가능하게 하는 방법을 찾았습니다."

이 연구는 로봇이 복잡한 일을 더 빠르고 안정적으로 배우게 하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 제기 (Problem)

• 대규모 병렬 환경의 한계: Isaac Gym 및 Genesis 와 같은 GPU 기반 시뮬레이터의 등장으로 로봇 학습 시 수만 개의 병렬 환경에서 데이터를 수집하는 것이 가능해졌습니다. 그러나 단일 정책 (Single Policy) 만을 사용하여 이러한 대규모 데이터를 학습할 경우, 탐색 (Exploration) 의 다양성이 부족하여 학습 효율성이 떨어지는 문제가 발생합니다.
• 기존 앙상블 방법의 결함: 이를 해결하기 위해 여러 정책을 사용하는 '에이전트 앙상블 (Agent Ensemble)' 방법 (예: SAPG, DexPBT) 이 제안되었습니다. 특히 SAPG 는 리더 - 팔로워 (Leader-Follower) 구조를 통해 팔로워들의 데이터를 리더가 중요도 샘플링 (Importance Sampling, IS) 으로 집계하여 학습합니다.
• 핵심 문제점: 단순히 정책 간의 다양성 (Diversity) 을 높이는 것만으로는 학습 성능이 향상되지 않습니다. 오히려 지나친 정책 간 이질성 (Excessive Diversity) 은 다음과 같은 부정적인 영향을 미칩니다:
  1. 유효 샘플 크기 (ESS) 감소: 리더와 팔로워 정책이 너무 멀어지면 IS 비율 (Importance Sampling Ratio) 이 1 에서 크게 벗어나게 되어, 팔로워 데이터가 리더 학습에 기여하는 유효 샘플 수가 급격히 줄어듭니다.
  2. 학습 불안정성: PPO 알고리즘의 클리핑 (Clipping) 연산은 IS 비율이 1 에서 멀어질 때 편향 (Bias) 을 증가시켜 학습을 불안정하게 만듭니다.
  3. 정렬 불일치 (Misalignment): SAPG 의 경우 엔트로피 정규화만으로는 팔로워가 리더로부터 너무 멀어지거나 (Misalignment), 반대로 너무 뭉쳐버리는 문제가 발생하여 학습 효율을 저해합니다.

2. 제안 방법: 커플드 정책 최적화 (Coupled Policy Optimization, CPO)

저자들은 대규모 병렬 환경에서 학습 효율성과 안정성을 동시에 확보하기 위해 CPO를 제안합니다. 이는 SAPG 프레임워크를 기반으로 하되, 정책 간의 거리를 적절히 제어하는 두 가지 핵심 메커니즘을 도입합니다.

가. KL 발산 제약 (KL Divergence Constraint)

• 목적: 팔로워 정책이 리더 정책과 너무 멀어지지 않도록 제어하여 IS 비율의 편차를 줄이고 유효 샘플 크기 (ESS) 를 확보합니다.
• 구현: 각 팔로워의 정책 업데이트 시, 리더 정책 ($\pi_L$) 과의 KL 발산이 임계값 ($\epsilon_{KL}$) 을 넘지 않도록 제약 조건을 둡니다.
  • 수식: $\pi^*_{F_i} = \arg \max_{\pi_{F_i}} A_{F_i}(s, a) \quad \text{s.t.} \quad D_{KL}(\pi_{F_i} \parallel \pi_L) \le \epsilon_{KL}$
• 효과: 이 제약은 팔로워가 리더 주변에서 탐색하도록 유도하여, 리더의 오프 - 정책 (Off-policy) 업데이트 시 IS 비율을 1 에 가깝게 유지시킵니다. 이는 PPO 의 클리핑으로 인한 편향을 줄이고 학습 안정성을 높입니다.

나. 적대적 보상 (Adversarial Reward)

• 목적: KL 제약으로 인해 팔로워들이 서로 너무 뭉쳐버리는 (Overconcentration) 현상을 방지하고, 각 팔로워가 상태 - 행동 공간에서 서로 다른 영역을 탐색하도록 유도합니다.
• 구현:
  • 상태 - 행동 쌍 $(s_t, a_t)$와 정책 인덱스 $y$를 입력받아 정책의 정체성을 분류하는 판별기 (Discriminator, $D_\xi$) 를 학습합니다.
  • 각 팔로워는 자신의 정체성을 판별기에게 숨기거나 (또는 판별기를 통해 얻은 정보로) 다른 팔로워와 구별되는 행동을 하도록 적대적 보상 ($r_{adv}$) 을 받습니다.
  • $r_{adv} = \lambda_{adv} \log D_\xi(y|s_t, a_t)$
• 효과: 리더는 여전히 오프 - 정책 데이터를 받지만, 팔로워들은 서로 다른 탐색 경로를 유지하며 리더 주변에 균형 잡힌 분포를 형성하게 됩니다.

3. 주요 기여 (Key Contributions)

1. 이론적 분석: 앙상블 정책 경사법에서 과도한 정책 간 다양성이 IS 비율의 편차를 증가시켜 유효 샘플 크기 (ESS) 를 감소시키고, PPO 클리핑 편향을 유발하여 학습 안정성과 효율성을 저해함을 이론적으로 증명했습니다 (Pinsker 부등식 등을 활용).
2. CPO 알고리즘 제안: 리더 - 팔로워 프레임워크에 KL 제약과 적대적 보상을 결합하여, 탐색의 다양성과 학습의 안정성을 동시에 달성하는 새로운 방법을 제시했습니다.
3. 실험적 검증: 다양한 로봇 조작 (Dexterous Manipulation) 및 이동 (Locomotion) 태스크에서 CPO 가 SAPG, DexPBT, PPO 등 기존 최첨단 방법 (SOTA) 보다 샘플 효율성 (Sample Efficiency) 과 최종 성능 (Final Performance) 모두에서 우월함을 입증했습니다.
4. 구조적 발견: KL 제약이 팔로워 정책들이 리더를 중심으로 자연스럽게 분포되도록 유도하여, 기존 SAPG 에서 관찰되던 심각한 정책 불일치 (Misalignment) 를 해결하고 구조화된 탐색 행동을 유도함을 시각화 및 분석을 통해 확인했습니다.

4. 실험 결과 (Results)

• 실험 환경: Isaac Gym 에서 24,576 개의 병렬 환경을 사용하여 6 가지 정교한 조작 태스크 (ShadowHand, AllegroHand 등), 2 가지 그리퍼 조작 태스크, 2 가지 이동 태스크에서 평가 수행.
• 성능 비교:
  • 샘플 효율성: CPO 는 SAPG 가 최종 성능에 도달하는 데 필요한 환경 스텝 수의 약 절반 수준으로 학습을 완료했습니다.
  • 최종 성능: ShadowHand, AllegroHand, Two-Arms Reorientation 등 대부분의 태스크에서 SAPG, PBT, PPO 를 능가하는 높은 점수를 기록했습니다. 특히 SAPG 가 학습에 실패하거나 부진했던 태스크 (예: Two-Arms Reorientation) 에서 CPO 는 안정적인 학습을 보였습니다.
• 분석 결과:
  • IS 비율 및 ESS: KL 제약이 강할수록 (파라미터 $\lambda_f$가 작을수록) IS 비율의 편차가 줄어들고 유효 샘플 크기 (ESS) 가 크게 증가함을 확인했습니다.
  • 정책 분포: CPO 를 사용할 때 팔로워들은 리더와 일정한 거리를 유지하며 리더 주변에 균일하게 분포하는 반면, SAPG 는 일부 팔로워가 리더로부터 크게 이탈하는 현상이 관찰되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 대규모 병렬 강화학습 환경에서 **"단순히 정책의 다양성을 높이는 것만으로는 충분하지 않으며, 적절한 규제 하에 다양성을 제어하는 것이 핵심"**임을 강조합니다.

• 이론과 실전의 연결: IS 비율의 편차와 학습 안정성 간의 이론적 관계를 명확히 하고, 이를 해결하기 위한 실용적인 알고리즘 (CPO) 을 제안했습니다.
• 로봇 학습의 확장: 고차원 행동 공간과 복잡한 탐색이 필요한 정교한 로봇 조작 태스크에서 대규모 병렬 학습의 잠재력을 극대화할 수 있는 새로운 패러다임을 제시했습니다.
• 미래 방향: 고정된 정책 수와 환경 수에 의존하는 현재의 한계를 극복하고, 태스크와 학습 단계에 따라 자동으로 탐색 범위를 조절하는 알고리즘 개발의 필요성을 제기했습니다.

요약하자면, 이 연구는 과도한 탐색이 오히려 학습을 방해할 수 있다는 통찰에서 출발하여, KL 제약과 적대적 학습을 통해 '균형 잡힌 다양성'을 유도함으로써 대규모 병렬 RL 의 성능 한계를 돌파한 획기적인 연구입니다.