Guided Policy Optimization under Partial Observability

이 논문은 부분 관측 환경에서의 강화학습 한계를 극복하기 위해, 특권 정보를 활용하는 가이더와 모방 학습을 수행하는 학습자를 공동으로 훈련시키는 '가이디드 정책 최적화 (GPO)' 프레임워크를 제안하고, 이론적 최적성 보장과 다양한 실험을 통해 기존 방법보다 우수한 성능을 입증했습니다.

핵심

🎓 비유: "눈이 잘 보이는 코치와 눈이 가린 학생"

상상해 보세요. 복잡한 미로에서 탈출해야 하는 **학생 (Learner)**이 있습니다. 학생은 미로의 전체 지도를 볼 수 없고, 앞쪽 몇 미터만 흐릿하게 보입니다. (이것이 부분 관측성입니다.)

그런데 옆에는 **코치 (Guider)**가 있습니다. 코치는 학생과 함께 미로를 걷지만, 코치는 전체 지도와 모든 정보를 볼 수 있습니다. (이것이 특권 정보입니다.)

❌ 기존의 문제점: "너무 잘하는 코치"

기존 방법들은 보통 이렇게 했습니다.

"코치가 전체 지도를 보고 최선의 길을 찾아서 학생에게 '이쪽으로 가!'라고 시키세요."

하지만 여기서 큰 문제가 생깁니다.

• 코치는 너무 완벽합니다: 코치는 지도를 보니까 "왼쪽 구석에 있는 함정을 피해서 바로 오른쪽으로 가!"라고 합니다.
• 학생은 혼란스럽습니다: 학생은 앞이 안 보이는데, 갑자기 "오른쪽으로 가!"라고 하면 "왜? 왼쪽에 뭐가 있는데?"라고 생각하며 길을 잃습니다.
• 결과: 학생은 코치의 말을 그대로 따라 하려다 실패하거나, 코치가 너무 잘해서 따라 할 수 없게 되어 아예 학습이 안 됩니다. (논문의 'TigerDoor' 예시에서 코치는 호랑이 위치를 알지만, 학생은 문을 열기 전에 소리를 들어야 한다는 사실을 모릅니다.)

✅ 이 논문의 해결책: "GPO (가이드 정책 최적화)"

이 논문은 **"코치도 학생 수준에 맞춰서 가르쳐야 한다"**는 아이디어를 제시합니다. 이를 **GPO(Guided Policy Optimization)**라고 부릅니다.

1. 함께 걷고, 함께 성장한다 (Co-training)

• 코치와 학생을 따로 가르치지 않고, 함께 학습시킵니다.
• 코치가 지도를 보고 길을 찾지만, **"학생이 따라올 수 있는 범위"**를 벗어나지 않도록 스스로를 제한합니다.
• 만약 코치가 너무 앞서 나가면, 학생이 따라오지 못하니까 코치는 잠시 뒤로 물러서거나 (Backtracking), 학생이 따라올 수 있도록 발걸음을 조절합니다.

2. "가능성 있는 좋은 코치" (Possibly Good Teacher)

• 코치는 완벽하지 않아도 됩니다. 학생이 따라 할 수 있을 만큼만 잘하면 됩니다.
• 코치는 학생이 "아, 이렇게 하면 되겠구나!"라고 이해할 수 있는 단계로 정보를 전달합니다.
• 학생은 코치의 행동을 모방하면서, 동시에 "내가 직접 경험을 통해 보상 (성공) 을 얻는 것"도 배웁니다.

3. 왜 이것이 중요한가요?

• 변동성 감소: 학생이 혼란스러운 정보 (노이즈) 만으로는 학습하기 어렵지만, 코치가 깨끗한 정보로 방향을 잡아주면 학습이 훨씬 안정적입니다.
• 최적의 결과: 코치가 학생을 너무 앞서 가지 않게 조절하기 때문에, 학생은 결국 코치가 가진 '전체 지도'의 지혜를 모두 흡수하여 최선의 길을 찾을 수 있게 됩니다.

---

🚀 실제 실험 결과 (실생활 예시)

저자들은 이 방법을 다양한 시나리오에서 테스트했습니다.

1. 소음 속의 로봇 (Brax 환경):

   • 로봇의 센서에 소음이 섞여 앞이 잘 안 보이는 상황입니다.
   • 기존 방법들은 소음 때문에 로봇이 넘어지거나 엉뚱한 곳으로 갔지만, GPO 를 쓰면 코치가 소음을 보정해 주면서 로봇이 완벽하게 걷는 법을 배웠습니다.

2. 기억력 게임 (POPGym):

   • 과거의 정보를 기억해야 하는 게임입니다. (예: "3 번 전에 들었던 숫자가 뭐였지?")
   • 학생은 기억력이 부족할 수 있지만, 코치는 모든 과거 정보를 기억하고 있습니다.
   • GPO 는 코치가 학생의 기억력 한계를 고려해서 "너는 이 정도만 기억하면 돼"라고 힌트를 주면서, 학생이 복잡한 기억 과제를 해결하도록 도와줍니다.

💡 한 줄 요약

**"완벽한 코치가 학생을 무작정 몰아세우는 게 아니라, 학생이 따라올 수 있는 속도로 걸으며 함께 최선의 길을 찾아가는 새로운 학습법"**입니다.

이 방법은 로봇 공학, 자율 주행, 게임 AI 등 불완전한 정보 속에서 결정을 내려야 하는 모든 분야에 큰 도움을 줄 것으로 기대됩니다.

기술 요약

가이드드 정책 최적화 (Guided Policy Optimization, GPO) 기술 요약

이 논문은 부분 관측 가능 환경 (Partially Observable Environments) 에서 강화 학습 (RL) 의 어려움을 해결하기 위해 제안된 가이드드 정책 최적화 (Guided Policy Optimization, GPO) 프레임워크를 소개합니다. 훈련 시에는 추가적인 정보 (특권 정보, Privileged Information) 를 활용할 수 있지만, 실행 시에는 제한된 관측만 가능한 상황에서 학습 효율성과 성능을 극대화하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem)

• 부분 관측성 (Partial Observability): 실제 세계의 많은 작업은 에이전트가 완전한 상태 정보를 갖지 못하는 POMDP(부분 관측 마르코프 결정 과정) 로 모델링됩니다. 노이즈가 있거나 불완전한 관측만으로는 최적의 정책을 학습하기 어렵습니다.
• 특권 정보의 활용 난제: 훈련 중에는 시뮬레이션 등을 통해 완전한 상태 정보 (Privileged Information) 를 얻을 수 있습니다. 이를 활용하기 위해 기존에는 **모방 학습 (Imitation Learning, IL)**이나 교사 - 학생 학습 (Teacher-Student Learning, TSL) 방식을 사용했습니다.
• 기존 방법의 한계:
  • "불가능하게 좋은" 교사 (Impossibly Good Teacher): 특권 정보를 가진 교사의 정책이 학생이 모방할 수 있는 영역을 벗어날 경우, 학생은 최적의 행동을 학습하지 못합니다.
  • 모방 격차 (Imitation Gap): 교사가 정보를 수집하기 위한 탐색 행동 (예: 호랑이 위치를 듣기 위해 귀 기울이기) 을 수행하지 않거나, 학생이 관측할 수 없는 정보를 기반으로 최적의 행동을 취할 때, 학생은 단순히 교사의 행동을 통계적으로 평균화하여 비최적의 정책을 학습하게 됩니다.
  • 기존 해결책의 부족: 기존에는 RL 과 IL 을 동적으로 전환하거나 보상 신호를 수정하는 방식을 사용했으나, 이는 특권 정보의 효율적 활용을 저해하거나 이론적 보장이 부족했습니다.

2. 방법론 (Methodology)

저자들은 **가이드드 정책 최적화 (GPO)**를 제안하며, 이는 기존 TSL 과는 달리 **가이드 (Guider)**와 **학습자 (Learner)**를 **동시 훈련 (Co-training)**하는 프레임워크입니다.

핵심 아이디어

• 정렬된 동시 훈련: 가이드는 특권 정보를 활용하여 RL 로 학습되지만, 학습자의 모방 가능한 영역 (Imitable Region) 내에 머무르도록 제약받습니다.
• 백트래킹 (Backtracking): 가이드의 정책이 학습자를 따라가지 못할 때, 가이드의 정책을 학습자의 현재 정책으로 되돌리는 (Backtracking) 메커니즘을 도입합니다. 이를 통해 가이드가 학생을 따라갈 수 있는 수준을 유지하면서도, 학습자가 더 나은 궤적을 수집하도록 돕습니다.

GPO 알고리즘의 4 단계

1. 데이터 수집: 가이드의 정책 ($\mu$) 을 실행하여 궤적 (Trajectories) 을 수집합니다.
2. 가이드 훈련: RL 목적 함수 (예: PPO) 를 사용하여 가이드를 업데이트합니다.
3. 학습자 훈련: 학습자 ($\pi$) 를 가이드의 행동과 거리 (KL 발산 등) 를 최소화하도록 업데이트합니다 (모방 학습).
4. 가이드 백트래킹: 다음 반복을 위해 가이드의 정책을 학습자의 현재 정책과 정렬시킵니다.

GPO 변형

1. GPO-penalty: 가이드의 손실 함수에 학습자와의 KL 발산을 페널티 항으로 추가합니다. 학습자가 가이드를 따라가기 힘들어지면 RL 보조 목적 함수를 통해 학습자를 직접 강화 학습합니다.
2. GPO-clip: PPO 의 클리핑 (Clipping) 개념을 확장하여, 가이드가 학습자로부터 너무 멀어지면 업데이트를 중단하는 '이중 클리핑 (Double-clip)' 메커니즘을 도입합니다. 또한, 가이드와 학습자가 공유하는 단일 정책 네트워크를 사용하여 구조적 유사성을 활용합니다.

이론적 보장

• Proposition 1: 가이드가 정책 미러 강하 (Policy Mirror Descent) 로 업데이트되고, 학습자가 이를 모방할 때, 학습자의 업데이트는 제약된 정책 미러 강하로 간주될 수 있음을 증명합니다. 이는 GPO 가 직접적인 RL 과 유사한 최적성 (Optimality) 을 달성할 수 있음을 의미합니다.
• Proposition 2: 가이드와 행동 정책 간의 거리가 작을 때, 학습자의 RL 업데이트를 위한 샘플 재사용이 유효함을 보입니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 특권 정보를 활용하면서도 학습자가 따라갈 수 있는 가이드를 동시 훈련하는 GPO 프레임워크를 제안했습니다.
2. 이론적 최적성 증명: 기존 TSL 의 '모방 격차' 문제를 해결하고, 학습자가 직접 RL 을 수행할 때와 유사한 최적의 성능을 달성할 수 있음을 이론적으로 증명했습니다.
3. 실용적인 알고리즘 구현: GPO-penalty 와 GPO-clip 두 가지 변형을 통해 다양한 환경에 적용 가능한 구체적인 알고리즘을 제시했습니다.
4. 광범위한 실험 검증: 단순한 예시 문제부터 복잡한 연속 제어 및 메모리 기반 작업까지 다양한 벤치마크에서 기존 방법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

실험은 TigerDoor (교육용 문제), Brax (연속 제어), POPGym (메모리 기반 작업) 에서 수행되었습니다.

• TigerDoor 문제:
  • 기존 TSL 방법 (교사 정책 직접 모방) 은 비최적 해에 수렴했습니다.
  • GPO 변형들은 모두 최적의 보상을 달성했으며, 특히 GPO-naive(RL 보조 없이) 만으로도 최적성을 증명하여 가이드의 제약이 핵심임을 보여주었습니다.
• Brax (연속 제어, 노이즈 및 부분 관측):
  • 다양한 로봇 제어 작업 (Ant, Humanoid 등) 에서 GPO-clip 과 GPO-penalty 가 모든 베이스라인 (PPO, ADVISOR, ELF 등) 을 압도했습니다.
  • 노이즈 수준이 증가할수록 기존 사전 훈련된 교사 기반 방법들의 성능이 급격히 떨어졌으나, GPO 는 견고한 성능을 유지했습니다.
  • GPO-clip > GPO-penalty > PPO-asym > 기타 베이스라인 순으로 성능이 좋았습니다.
• POPGym (메모리 기반 작업):
  • 과거 관측을 기억해야 하는 복잡한 작업에서도 GPO 가 우수한 성능을 보였습니다.
  • 메모리 모델 (GRU 등) 의 한계로 인해 가이드가 너무 앞서 나가지 않도록 제약을 가하는 것이 학습자에게 더 유리함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 이론과 실전의 연결: "불가능하게 좋은" 교사 문제를 해결하기 위해, 교사가 학생의 능력을 고려하여 조정되는 동적 훈련 방식을 제안함으로써 이론적 최적성과 실용적 성능을 동시에 달성했습니다.
• 효율적인 정보 활용: 특권 정보를 가진 가이드가 복잡한 RL 그래디언트를 처리하고, 학습자는 이를 모방하는 쉬운 지도 학습을 수행함으로써 학습의 분산과 안정성을 높였습니다.
• 실제 적용 가능성: 로봇 공학 (시뮬레이션에서 훈련, 실제 세계 배포) 및 자율 주행 등 훈련 시에는 풍부한 정보를, 실행 시에는 제한된 정보를 갖는 실제 문제 해결에 매우 유망한 접근법입니다.
• 미래 작업: 다중 에이전트 환경 (Multi-agent setting) 으로 확장 가능성을 제시하며, 훈련 시에는 전역 정보를, 실행 시에는 국소 정보만 갖는 시나리오에 적용할 수 있음을 언급했습니다.

요약하자면, 이 논문은 부분 관측 환경에서 특권 정보를 효과적으로 활용하면서도 학습자의 능력을 고려한 동적 가이드 메커니즘을 통해 강화 학습의 성능 한계를 극복한 획기적인 연구입니다.