NFPO: Stabilized Policy Optimization of Normalizing Flow for Robotic Policy Learning

이 논문은 다중 모드 분포 모델링 능력을 갖춘 정규화 흐름 (Normalizing Flow) 을 로봇 정책 학습에 적용하되, 온라인 강화학습에서의 훈련 불안정성을 해결하여 NFPO 라는 안정화된 알고리즘을 제안하고 시뮬레이션 및 실제 로봇 환경에서 우수한 성능을 입증합니다.

핵심

이 논문은 로봇이 새로운 동작을 배우는 방식을 혁신적으로 바꾼 연구입니다. 복잡한 수학적 용어 대신, 로봇이 춤을 배우는 과정에 비유하여 쉽게 설명해 드릴게요.

🤖 핵심 이야기: "로봇의 뇌를 더 똑똑하게 만든 비법"

지금까지 로봇이 새로운 행동을 배우는 데 쓰인 방법은 **'가우시안 분포 (Gaussian)'**라는 아주 단순한 규칙을 따랐습니다.

• 비유하자면: 로봇이 "앞으로 걷자"라고 생각할 때, **"정확히 10cm 앞으로 가자"**라고 딱 정해버리는 거예요. 만약 장애물이 있다면, 로봇은 그걸 피할 수 있는 다른 길 (예: 10cm 왼쪽으로 가거나, 10cm 오른쪽으로 가는 것) 을 상상하지 못하고 그대로 충돌하거나 멈춥니다. 마치 하나의 길만 아는 고집 센 로봇이죠.

하지만 이 논문 (NFPO) 은 로봇에게 **더 유연하고 창의적인 사고방식 (Normalizing Flow)**을 심어주었습니다.

• 새로운 방식: 로봇이 "앞으로 걷자"고 생각할 때, "10cm 전진, 혹은 10cm 좌회전, 혹은 10cm 우회전 등 여러 가지 가능한 길들을 동시에 상상할 수 있게" 해줍니다.
• 결과: 로봇은 복잡한 지형에서도 여러 가지 방법을 시도해가며 가장 좋은 길을 스스로 찾아낼 수 있게 되었습니다.

---

⚠️ 문제점: "너무 똑똑해지려다 망가진 로봇"

저자들은 이 새로운 방식 (Normalizing Flow) 을 도입하려다가 큰 문제를 발견했습니다.

• 상황: 로봇에게 "너는 이제 여러 가지 길을 상상할 수 있어!"라고 가르치니, 로봇이 너무 흥분해서 학습이 불안정해졌습니다.
• 비유: 마치 초등학교 아이에게 "수학 문제를 풀 때 정답이 하나만 있는 게 아니야, 여러 가지 방법이 있어!"라고 가르치려다가, 아이가 너무 많은 가능성을 생각하다 보니 머리가 터져버린 상황과 같습니다. 숫자가 너무 커지거나 (Exponential values), 계산이 꼬여서 로봇이 갑자기 멈추거나 엉뚱한 행동을 하는 '학습 붕괴'가 일어났죠.

💡 해결책: "적당한 선을 그어준 '안정화' 기술"

저자들은 이 문제를 해결하기 위해 아주 간단하지만 효과적인 방법을 고안해냈습니다. 바로 **NFPO (Normalizing Flow Policy Optimization)**입니다.

• 해결책: 로봇이 상상하는 가능성의 범위를 적당히 조절해 주는 것입니다.
• 비유: 로봇이 "어떤 길로 갈지"를 생각할 때, 무한히 넓은 세계를 상상하게 하지 않고, "이 정도 범위 내에서는 자유롭게 상상해도 돼"라고 선을 그어준 것입니다. (논문의 'tanh' 함수 사용이 이에 해당합니다.)
• 효과: 로봇은 여전히 여러 가지 길 (다중 모드) 을 상상할 수 있으면서도, 계산이 너무 커지지 않아 학습이 안정적으로 이루어졌습니다.

---

🏆 성과: "가상 세계부터 실제 로봇까지 성공"

이 방법을 적용한 결과, 놀라운 일들이 일어났습니다.

1. 복잡한 환경에서도 잘함:
   • 비유: 평탄한 길뿐만 아니라, 돌이 많은 산길이나 미끄러운 얼음 위에서도 로봇이 넘어지지 않고 춤을 추듯 움직일 수 있게 되었습니다. 기존의 방법 (가우시안) 은 이런 복잡한 terrain(지형) 에서 길을 잃기 쉬웠지만, NFPO 는 여러 가지 방법을 시도하며 최적의 경로를 찾았습니다.
2. 실제 로봇에 적용 성공:
   • 이 기술은 컴퓨터 시뮬레이션에서만 작동하는 게 아니라, 실제 '유니트리 (Unitree)'라는 인간형 로봇에 적용되어 성공적으로 작동했습니다.
   • 로봇은 조이스틱으로 걷는 것부터 춤추는 동작까지, 다양한 과제를 완벽하게 수행했습니다.

📝 한 줄 요약

"기존의 로봇 학습법은 '하나의 정답'만 찾느라 유연성이 부족했는데, 이 논문은 로봇에게 '여러 가지 가능성'을 상상하게 하되, 그 상상이 너무 과해지지 않도록 적절히 조절해 주는 기술을 개발하여, 로봇이 복잡한 세상에서도 유연하고 안정적으로 움직이게 만들었습니다."

이 연구는 로봇이 단순히 명령을 따르는 기계가 아니라, 상황에 맞춰 여러 가지 방법을 고민하고 선택할 수 있는 똑똑한 파트너가 되는 데 중요한 디딤돌이 되었습니다.

기술 요약

1. 문제 정의 (Problem)

• 현재의 한계: 딥 강화학습 (DRL) 기반 로봇 정책 학습에서 현재 사실상의 표준인 정책 파라미터화 (Policy Parameterization) 는 대각 공분산 행렬을 가진 다변량 가우시안 분포입니다. 이 방식은 계산 효율성이 높지만, 다중 모드 (Multi-modal) 분포를 모델링하는 능력이 부족합니다. 즉, 하나의 상태에 대해 여러 개의 최적 행동이 존재할 수 있는 복잡한 상황 (예: 장애물 회피 시 좌우로 피하는 두 가지 방법 등) 을 표현하기 어렵습니다.
• 기존 대안의 문제점: 다중 모드 모델링이 가능한 확산 모델 (Diffusion Policy) 이나 트랜스포머는 주로 지도 학습 (Behavior Cloning) 이나 오프-폴리시 (Off-policy) 강화학습에서 사용되었습니다. 그러나 로봇 학습에서는 시뮬레이션 환경에서 대량의 데이터를 저렴하게 생성할 수 있으므로, 온-폴리시 (On-policy) 방법 (예: PPO) 이 선호됩니다. 기존 연구들은 온-폴리시 PPO 와 현대적인 다중 모드 네트워크를 통합하여 처음부터 (From-scratch) 학습하는 데 있어 학습 불안정성과 계산/메모리 효율성 문제를 해결하지 못했습니다.
• 핵심 과제: Normalizing Flow (NF) 와 같은 강력한 생성 모델을 PPO 에 통합하되, 학습 불안정성을 해결하고 로봇 제어에 필요한 계산 효율성과 실세계 배포 가능성을 확보하는 것입니다.

2. 방법론 (Methodology)

저자들은 NFPO (Normalizing Flow Policy Optimization) 라는 새로운 방법을 제안합니다. 이는 PPO 프레임워크에 Normalizing Flow 를 정책으로 통합한 것입니다.

• Normalizing Flow (NF) 도입:
  • NF 는 가역적 (Bijective) 매핑을 통해 데이터 분포와 사전 분포 (Prior) 를 연결하며, 로그 확률 (Log Probability) 을 폐쇄형 (Closed-form) 으로 계산할 수 있어 PPO 의 목적 함수에 직접 적용하기 용이합니다.
  • RealNVP 구조를 기반으로 하여, 커플링 레이어 (Coupling Layers) 를 사용하여 다중 모드 분포를 모델링합니다.
• 학습 불안정성 분석 및 해결 (핵심 기여):
  • NF 를 PPO 에 단순히 적용하면 학습이 불안정해지거나 발산하는 문제가 발생했습니다. 저자들은 이를 다음과 같은 세 가지 원인으로 분석했습니다:
    1. 과적합 (Overfitting): 표현력이 높은 NF 는 양의 이득 (Advantage) 을 가진 모든 점에 높은 확률을 부여하는 '비싼' 최적화 전략을 찾지 않고, 쉬운 최적화 경로를 찾아 과적합됩니다.
    2. 지수 함수 값 (Exponential Values): RealNVP 의 $exp(s_\theta(x))$ 항은 신경망 출력의 작은 변화가 목적 함수에 큰 영향을 미치게 하여 불안정성을 유발합니다.
    3. 무제한 출력 (Unbounded Output): 가우시안과 달리 신경망 출력은 무제한일 수 있어 수치적 불안정성을 초래합니다.
  • 해결책 (Stabilization Technique): $s_\theta(x)$의 출력을 적정 범위로 '정규화'하는 간단한 기법을 도입했습니다. 여러 방법 (Clip, Tanh 등) 을 비교한 결과, $s_\theta(x)$에 $tanh$ 함수를 적용하여 출력을 유계 (Bounded) 로 만드는 방식이 가장 효과적이고 강건한 것으로 확인되었습니다. 이를 통해 수치적 발산을 막고 안정적인 학습을 가능하게 했습니다.
• 엔트로피 정규화 제거: 기존 PPO 의 엔트로피 손실 항이 NFPO 에서는 학습 속도를 저하시키거나 성능을 떨어뜨리는 것으로 확인되어, 실험 설정에서 이를 제거했습니다.

3. 주요 기여 (Key Contributions)

1. 안정화된 NF-PPO 통합: 로봇 다중 모드 정책 학습을 위해 NF 를 PPO 에 통합하고, 학습 불안정성을 유발하는 원인을 분석하여 $tanh$ 기반의 정규화 기법으로 성공적으로 해결했습니다.
2. 광범위한 시뮬레이션 검증: IsaacGym, Mujoco Playground, IsaacLab 등 다양한 시뮬레이션 환경에서 실험을 수행했습니다. 동일한 설정으로 실행했을 때, 기존 최첨단 (SOTA) 가우시안 기반 PPO 구현체와 경쟁력 있거나 더 우수한 성능을 보였습니다.
3. 실세계 로봇 배포 성공: 학습된 NFPO 정책을 실제 로봇 (Unitree G1) 에 이식하여 보행 (Locomotion) 및 모션 트래킹 (Motion Tracking) 과 같은 다양한 작업을 성공적으로 수행함을 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교 (SOTA 대비):
  • 고차원 제어 작업 (G1, H1 조이스틱 제어 등) 에서 NFPO 는 PPO 보다 더 강력한 수렴 성능을 보였습니다. 이는 NF 의 다중 모드 모델링 능력이 복잡한 환경에서 다양한 행동 전략을 학습할 수 있기 때문입니다.
  • 단순한 작업 (Go2 조이스틱) 에서는 PPO 와 유사한 성능을 보였습니다.
  • 계산 효율성 측면에서 NFPO 는 PPO 대비 약 19% 의 시간 증가가 있었으나, 메모리 및 계산 오버헤드가 확산 모델 기반 방법들에 비해 훨씬 낮았습니다.
• 다중 모드 행동 학습:
  • 그리드 월드 (Gridworld) 및 UR10 도달 (Reaching) 작업 실험에서, PPO 는 단일 최단 경로만 학습하는 반면, NFPO 는 목표 지점에 도달하는 다양한 경로 (다중 모드) 를 생성하는 것을 확인했습니다.
• 타 방법론 비교:
  • 다른 온-폴리시 다중 모드 방법 (GenPO, FPO) 및 오프-폴리시 방법 (Meow) 과 비교 시, NFPO 는 메모리 효율성과 학습 안정성 측면에서 우위를 보였습니다. 특히 FPO 는 7 가지 작업 중 2 가지에서만 성공한 반면, NFPO 는 5 가지에서 성공했습니다.
• 실세계 전이 (Sim-to-Real):
  • Unitree G1 로봇에서 NFPO 로 학습된 정책은 실제 환경에서 안정적이고 민첩한 전신 제어 (Whole-body control) 를 수행했습니다. 특히 확률적 샘플링 대신 결정론적 (Deterministic) 추론을 사용할 때 더 안정적인 동작을 보였습니다.

5. 의의 및 결론 (Significance)

• 로봇 학습의 새로운 패러다임: 이 연구는 로봇 정책 학습 분야에서 오랫동안 사용되어 온 가우시안 분포의 한계를 넘어, Normalizing Flow를 온-폴리시 강화학습 (PPO) 에 안정적으로 통합할 수 있음을 증명했습니다.
• 실용성: 확산 모델 등 최신 생성 모델의 표현력을 유지하면서도, 로봇 학습에 필수적인 계산 효율성, 메모리 효율성, 학습 안정성을 모두 충족시킵니다.
• 실제 적용 가능성: 시뮬레이션에서 학습된 복잡한 다중 모드 정책을 실제 로봇에 성공적으로 배포할 수 있음을 보여주어, 향후 더 복잡하고 역동적인 로봇 작업 (복잡한 지형 보행, 정교한 조작 등) 에 대한 DRL 기반 솔루션의 가능성을 크게 확장했습니다.

요약하자면, NFPO 는 학습 불안정성 문제를 해결한 Normalizing Flow 기반의 PPO로, 로봇이 다양한 행동 전략을 학습할 수 있게 하며 실제 로봇에서도 작동하는 강력한 정책 학습 프레임워크입니다.