💻 computer science

A KL-regularization Framework for Learning to Plan with Adaptive Priors

본 논문은 고차원 모델 기반 강화학습에서 샘플 효율성과 성능을 향상시키기 위해 샘플링 정책을 계획자 분포와 정렬하도록 정책 최적화에 모델 예측 계획기를 사전 정보로 통합하는 통합 KL-정규화 프레임워크인 PO-MPC를 소개한다.

원저자: Álvaro Serra-Gomez, Daniel Jarne Ornia, Dhruva Tirumala, Thomas Moerland

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Álvaro Serra-Gomez, Daniel Jarne Ornia, Dhruva Tirumala, Thomas Moerland

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걷기, 달리기, 또는 줄타기 위에서의 균형을 잡는 법을 가르친다고 상상해 보세요. 이는 **강화 학습 (Reinforcement Learning, RL)**의 고전적인 문제로, 여기서 에이전트는 시행착오를 통해 학습합니다.

이 논문에서 저자들은 이러한 로봇을 가르치는 새로운 방법인 PO-MPC를 소개합니다. 이것이 왜 특별한지 이해하기 위해, 그들이 해결하려는 문제와 그 해결책을 간단한 비유로 분해해 보겠습니다.

문제: "코치"와 "학생"이 동기화되지 않음

로봇의 학습 과정을 두 사람 간의 파트너십으로 생각해 보세요:

학생 (정책, Policy): 이는 로봇의 두뇌입니다. 경험으로부터 학습하여 어떤 움직임을 만들어낼지 결정합니다.
코치 (플래너/MPPI): 이는 수천 가지 가능한 미래 움직임을 머릿속에서 시뮬레이션하여 앞으로 나아가는 완벽한 경로를 찾아내는 강력하고 초지능적인 계산기입니다. 이 코치는 실제로 로봇을 움직이지는 않고, 단지 계획만 세웁니다.

과거의 방식:
이전 방법들에서는 학생과 코치가 다소 연결이 끊겨 있었습니다.

코치는 현재 상황을 보고 "좋아, 내가 너라면 이 특정 움직임을 시도해 볼 거야"라고 말합니다. 이는 고품질이고 유망한 행동들의 목록을 생성합니다.
학생은 코치를 지켜보며 그 목록에서 가장 좋은 움직임을 복사해 보려고 시도한 뒤, 혼자서 연습하러 갑니다.
결함: 학생은 종종 코치의 조언에서 벗어나기 시작합니다. 코치가 결코 제안하지 않았던 움직임을 시도하기 시작할 수 있습니다. 학생이 이러한 "벗어난" 움직임을 시도할 때, 코치의 계산 (다른 움직임을 기반으로 한 것) 은 무용지물이 됩니다. 이는 학생이 교사의 수업 계획을 무시하고 무작위 위키백과 기사를 공부하는 것과 같습니다; 무언가를 배울 수는 있겠지만, 시험을 효율적으로 통과하지는 못할 것입니다.

이러한 불일치는 로봇이 느리게 학습하거나, 특히 복잡하고 고차원적인 작업 (많은 관절을 가진 인간 크기의 로봇 등) 에서 나쁜 습관에 빠지게 만듭니다.

해결책: "적응형 사전 (Adaptive Prior)" 프레임워크

저자들은 PO-MPC(Policy Optimization–Model Predictive Control)를 제안합니다. 학생과 코치가 서로 멀어지게 두는 대신, **KL-정규화 (KL-Regularization)**라는 개념을 사용하여 두 사람이 동기화되도록 강제합니다.

여기서 비유를 들어보겠습니다:
코치가 학생에게 단일한 "최고의 움직임"만 주는 것이 아니라, 확률 지도를 준다고 상상해 보세요.

"왼쪽으로 갈 확률이 90%, 오른쪽으로 갈 확률이 10%, 위로 갈 확률은 거의 0%야."
학생은 이제 점수 (보상) 를 극대화하면서도 코치의 지도에 가깝게 머무르도록 훈련받습니다.

이 논문은 학생이 코치를 얼마나 엄격하게 따라야 하는지를 조절하는 "다이얼" ( $\lambda$ ) 을 도입합니다:

다이얼을 낮추기 (낮은 $\lambda$ ): 학생은 코치가 제안하지 않았더라도 새로운 것을 탐험할 자유를 얻습니다. 이는 새로운 해결책을 찾는 데 좋지만 위험합니다.
다이얼을 높이기 (높은 $\lambda$ ): 학생은 코치의 지도에 매우 엄격하게 따라야 합니다. 이는 안전하고 효율적이지만, 학생이 더 나은 움직임을 발견하는 것을 막을 수 있습니다.
적절한 지점 (중간 $\lambda$ ): 저자들은 다이얼을 중간에 설정하는 것이 "골디락스 (Goldilocks)" 구역임을 발견했습니다. 학생은 코치의 안내로부터 안전성을 얻으면서도 여전히 탐구하고 개선할 수 있는 충분한 자유를 갖게 됩니다.

비밀 무기: "적응형 사전 (Adaptive Prior)"

과거 방식에는 또 다른 문제가 하나 더 있었습니다. 코치의 조언은 며칠 또는 몇 주 전의 "노트북" (재플레이 버퍼) 에 저장되어 있었습니다. 학생이 그 노트를 읽을 때쯤이면 코치는 생각을 바꾼 상태라, 오래된 노트는 혼란스럽고 모순되게 느껴졌습니다.

저자들은 학생에게 새롭고 단순화된 교사 (적응형 사전) 를 가르침으로써 이 문제를 해결했습니다.

학생은 노트북의 messy하고 구식인 노트를 읽는 대신, 코치의 현재 사고 방식을 증류하고 정제한 깔끔한 버전을 학습합니다.
이 "적응형 사전"은 방패 역할을 합니다. 오래된 데이터의 노이즈와 혼란을 필터링하여 학생이 따라야 할 명확하고 최신의 지도를 제공합니다.

그들이 증명한 것

저자들은 디지털 인간이 걷거나, 달리거나, 한 발로 균형을 잡는 것과 같은 매우 어려운 작업 ( DeepMind Control Suite와 HumanoidBench의 작업들) 에서 이 새로운 프레임워크를 테스트했습니다.

결과:

더 나은 성능: 로봇들은 이전 최첨단 방법들 (TD-MPC2 및 BMPC 등) 보다 더 빠르게 학습하고 더 높은 점수에 도달했습니다.
해결 불가능한 문제 해결: 다른 로봇들이 완전히 실패했던 매우 어려운 작업들에서 PO-MPC 로봇들은 성공했습니다.
유연성: 특정 작업의 필요에 따라 로봇을 신중한 탐험가가 되거나 대담한 모험가가 되도록 "다이얼" ( $\lambda$ ) 을 조절할 수 있음을 보여주었습니다.

요약

간단히 말해, 이 논문은 다음과 같이 말합니다: "로봇이 효과적으로 계획하고 행동하도록 가르치려면, 그 '사고' (계획) 와 '행동' (학습) 이 서로 멀어지게 두지 마십시오. 수학적 '접착제' (KL 정규화) 와 깔끔하고 최신의 지도 (적응형 사전) 를 사용하여 이를 긴밀하게 결합하십시오. 이렇게 하면 로봇은 더 빠르고, 더 안정적으로 학습하며, 이전보다 더 어려운 문제들을 해결할 수 있습니다."

기술적 요약: 적응형 사전분포를 활용한 계획 학습을 위한 KL 정규화 프레임워크

1. 문제 제기

모델 기반 강화학습 (MBRL) 에서 효과적인 탐색은 여전히 중요한 과제로 남아 있으며, 특히 샘플 효율성이 최우선인 고차원 연속 제어 작업에서 그러합니다. TD-MPC 및 BMPC 와 같은 최근 접근법들은 학습된 정책을 모델 예측 경로 적분 (MPPI) 계획을 위한 제안 분포로 활용합니다. 그러나 정책 불일치로 인해 근본적인 한계가 발생합니다. 즉, 샘플링 정책 ( $\pi_{\theta_s}$ ) 은 종종 계획기의 행동 분포 ( $\pi_P$ ) 와 독립적으로 업데이트됩니다.

이러한 분리는 부트스트랩 행동 가치 함수가 MPPI 계획기가 생성한 궤적 (특정 분포를 탐색함) 으로 훈련되는 반면, 샘플링 정책은 국소 행동 가치를 최대화하도록 업데이트되어 계획기의 분포와 종종 괴리되는 분포 불일치를 초래합니다. 이러한 불일치는 특히 짧은 시간 범위에서 신뢰할 수 없는 가치 추정을 초래하며 장기적인 성능을 저하시킵니다. BMPC 와 같이 역 KL 발산을 최소화하는 것과 같은 이전의 분포 정렬 시도들은 재생 버퍼에 저장된 "구식" 계획기 샘플에 의존하기 때문에 높은 분산을 겪습니다. 이러한 샘플들은 일관된 현재 분포가 아니라 시대에 뒤떨어진 여러 계획 정책들의 혼합을 나타냅니다.

2. 방법론: PO-MPC 프레임워크

저자들은 정책 최적화 - 모델 예측 제어 (PO-MPC) 를 제안합니다. 이는 계획기의 행동 분포를 정책 최적화에서의 사전분포로 취급하는 통합 프레임워크입니다. PO-MPC 는 샘플링 정책 학습 단계를 KL 정규화 강화학습의 한 사례로 재구성합니다.

핵심 공식화

목표는 적응형 사전분포 $\pi_p$ (MPPI 계획기에서 유래) 에 근접하면서 기대 보상을 최대화하는 샘플링 정책 $\pi_{\theta_s}$ 를 학습하는 것입니다. 목적 함수는 다음과 같습니다:

$J(\pi_{\theta_s}) = \mathbb{E} \left[ \sum_{t=0}^{T-1} \gamma^t \left( r(z_t, a_t) - \lambda \text{KL}[\pi_{\theta_s}(\cdot | z_t) \| \pi_p(\cdot | z_t)] \right) \right]$

여기서:

$z_t$ 는 잠재 상태 표현입니다.
$\lambda$ 는 KL 정규화의 강도를 조절하는 하이퍼파라미터입니다.
$\pi_p$ 는 정책 사전분포입니다.

주요 구성 요소

KL 정규화 RL: 이 프레임워크는 기존 방법들을 이 공식화의 특수한 경우로 통합합니다:
- $\lambda = 0$ : 행동 가치 최대화 및 엔트로피 정규화를 통해 정책이 업데이트되는 TD-MPC2를 복원합니다.
- $\lambda \to \infty$ : 정책이 계획기의 분포를 모방하도록 제약되는 BMPC(역 KL 사용) 를 복원합니다.
- 중간 $\lambda$ : 이 논문은 보상 최대화와 분포 정렬 사이의 균형을 맞추기 위해 중간 값 (예: $\lambda \in [0.1, 9]$ ) 을 탐구합니다.
적응형 중간 사전분포 ( $\pi_{\theta_p}$ ):
재생 버퍼에서 직접 구식 계획기 샘플을 사용하여 발생하는 높은 분산을 해결하기 위해, PO-MPC 는 학습된 중간 사전분포를 도입합니다. 저장된 계획기 샘플의 원시 분포 (시간에 따라 변하는 가우시안 혼합일 수 있음) 를 복제하는 대신, 이 프레임워크는 현재 MPPI 유도 분포 $\pi_P$ 를 근사하도록 신경망 $\pi_{\theta_p}$ 를 훈련시킵니다.
- 이 사전분포는 계획기의 출력에서 증류되어, 샘플링 정책 업데이트를 구식 샘플의 분산으로부터 보호합니다.
- 이 사전분포는 역 KL( $\text{KL}[\pi_{\theta_p} \| \pi_P]$ $KL [π_{θ_{p}} ∥ π_{P}]$ 최소화) 또는 순방향 KL( $\text{KL}[\pi_P \| \pi_{\theta_p}]$ $KL [π_{P} ∥ π_{θ_{p}}]$ 최소화) 을 사용하여 훈련될 수 있습니다.
  - 역 KL: 정책이 계획기의 특정 모드와 일치하도록 편향시킵니다 (빠른 수렴, 잠재적으로 탐색 감소).
  - 순방향 KL: 정책이 모든 샘플링 분포의 지지 영역을 커버하도록 편향시킵니다 (향상된 탐색, 잠재적으로 느린 수렴).
알고리즘 루프:
훈련은 계획 $\to$ 추론 $\to$ 정규화 사이클을 따릅니다:
- 계획: MPPI 는 현재 샘플링 정책과 가치 함수를 사용하여 궤적 분포 $\pi_P$ 를 생성합니다.
- 추론: 적응형 사전분포 $\pi_{\theta_p}$ 가 $\pi_P$ 를 근사하도록 업데이트됩니다.
- 정규화: 샘플링 정책 $\pi_{\theta_s}$ 는 Q 값 최대화와 $\pi_{\theta_p}$ 에 대한 KL 패널티 사이의 균형을 맞추는 KL 정규화 목적 함수를 사용하여 업데이트됩니다.

3. 주요 기여

통합: 이 논문은 TD-MPC2, BMPC 와 같은 다양한 MPPI 기반 RL 방법들을 단일 이론적 프레임워크 (PO-MPC) 하에 통합하여 설계 선택과 관계를 명확히 합니다.
적응형 사전분포: 재생 버퍼 샘플의 직접 복제를 대체하는 학습된 중간 사전분포를 도입하여, 이론적 및 실험적으로 이것이 그래디언트 분산을 줄이고 훈련을 안정화함을 입증합니다.
유연한 목적 함수: 이 프레임워크는 이전에 연구되지 않았던 변형들의 탐색을 가능하게 하며, 특히 KL 강도 $\lambda$ 를 조정하고 사전분포에 대한 순방향/역 KL 손실 중 하나를 선택할 수 있게 합니다.
최첨단 성능: 이 방법은 기존 베이스라인에 비해 고차원 연속 제어 작업에서 우수한 샘플 효율성과 최종 성능을 달성합니다.

4. 실험 결과

저자들은 DeepMind Control Suite(Humanoid 및 Dog) 와 HumanoidBench의 21 가지 까다로운 연속 제어 작업에서 PO-MPC 를 평가했습니다.

성능 향상: 중간 $\lambda$ $λ$ 값을 가진 PO-MPC 는 TD-MPC2( $\lambda=0$ $λ = 0$ ) 와 BMPC( $\lambda \to \infty$ $λ \to \infty$ ) 모두를 일관되게 능가했습니다.
- 고차원 작업 (예: HumanoidBench) 에서 중간 $\lambda$ 값 (특히 $\lambda=1$ 또는 $\lambda=9$ ) 은 최종 보상과 샘플 효율성에서 상당한 개선을 가져왔습니다.
- 일부 환경 (예: HumanoidBench 의 "Balance Simple", "Slide", "Stair") 에서 베이스라인이 학습에 실패한 경우, PO-MPC 는 성공적으로 수렴했습니다.
중간 사전분포의 효과: 학습된 중간 사전분포 ( $\pi_{\theta_p}$ ) 를 사용하는 것은 재생 버퍼의 원시 계획기 샘플을 사용하는 것과 동등하거나 더 나은 성능을 보여 업데이트 분산 감소를 확인시켰습니다.
손실 함수 민감도: 사전분포 훈련을 위한 KL 손실의 선택이 중요했습니다. 순방향 KL 은 탐색이 중요한 작업 (예: "Stair") 에서 유익한 반면, 역 KL 은 정밀도가 중요한 작업 (예: "Balance Simple") 에서 수렴을 가속화했습니다.
절대 실험: $\lambda$ 가 너무 낮으면 (정책 불일치로 인한 보상 저하) 또는 너무 높으면 (조기 모드 붕괴) 성능이 저하됨을 보여주어, 이 트레이드오프를 조정하는 것의 중요성을 강조했습니다.

5. 중요성과 주장

이 논문은 PO-MPC 가 MPPI 기반 접근법들의 원칙적 통합을 대표한다고 주장합니다. KL 정규화 목적 함수와 적응형 사전분포를 통해 샘플링 정책을 계획기와 명시적으로 정렬함으로써, 이 프레임워크는 다음과 같은 이점을 제공합니다:

계획과 정책 학습 사이의 루프를 닫아, 가치 함수가 현재 계획기와 관련된 분포에서 평가되도록 보장합니다.
재생 버퍼의 구식 계획 샘플로 인해 발생하는 분산을 완화하여 안정성을 향상시킵니다.
탐색과 활용을 특정 작업 요구 사항에 맞게 조정할 수 있는 유연한 프레임워크를 제공함으로써 연속 제어 분야에서 모델 기반 RL 의 최첨단 수준을 발전시킵니다.

저자들은 이 프레임워크가 강력하지만, 정책이 가우시안 분포를 가정하며 가치 학습을 위해 모든 시뮬레이션된 궤적을 완전히 활용하지는 않는다고 지적합니다. 향후 연구는 가우시안을 넘어선 정책 분포로 확장하고 $\lambda$ 하이퍼파라미터를 자동으로 조정하는 것을 제안합니다.