🤖 machine learning

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

본 논문은 구조적 불일치를 해결하고 확장 가능하고 일관된 강화 학습을 가능하게 하기 위해 탐색된 궤적에 대한 확산 과정으로 정책 최적화를 재형식화함으로써 세계 모델 내에서 탐색과 정책 학습을 통합하는 모델 기반 확산 정책 최적화 (MBDPO) 라는 프레임워크를 소개합니다.

원저자: Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

게시일 2026-05-27

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걷기, 비디오 게임 플레이, 또는 물체 조작을 가르친다고 상상해 보세요. 이를 효율적으로 수행하려면 로봇은 세상이 어떻게 작동하는지에 대한 '꿈'이나 정신적 시뮬레이션이 필요합니다. 인공지능 세계에서는 이를 월드 모델 (World Model) 이라고 부릅니다. 이는 로봇의 뇌 내부에 있는 시뮬레이터와 같아서, 로봇이 실제 다리를 부러뜨리거나 실제 차를 추락시키지 않고도 수백만 번 연습할 수 있게 해줍니다.

오랫동안 연구자들은 이러한 시뮬레이터를 더 크고 똑똑하게 만들려고 노력해 왔습니다. 더 큰 뇌가 자동으로 더 나은 로봇으로 이어질 것이라고 기대했기 때문입니다. 하지만 그들은 벽에 부딪혔습니다. 공유하신 논문인 "확산 정책 최적화를 통한 월드 모델 강화 학습의 확장 (Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization, MBDPO)" 은 그 벽이 왜 존재하는지, 그리고 그들이 어떻게 그것을 돌파했는지를 설명합니다.

이들이 발견한 이야기를 간단히 설명해 드리겠습니다.

문제: '공상가' 대 '채점자'

체스 플레이를 배우려는 학생을 상상해 보세요.

공상가 (검색): 이 학생은 그랜드마스터와 대결하는 장면을 상상합니다. 그들은 머릿속에서 다양한 수를 시도하며 미래를 시뮬레이션하여 어떤 수가 승리하는지 확인합니다. 이것이 현재 인공지능 방법들이 작동하는 방식입니다. 즉, 미래를 시뮬레이션함으로써 최선의 수를 '검색'하는 것입니다.
채점자 (가치 함수): 이는 과거의 교훈을 바탕으로 모든 수에 점수를 매기는 선생님입니다. 선생님은 말합니다. "그 수는 과거에 효과가 있었으니 좋아 보인다."

결함: 이전 방법들에서 '공상가'와 '채점자'는 서로 싱크가 맞지 않았습니다.

채점자는 무작위로 추측하거나 매우 보수적으로 플레이한 학생의 데이터로 훈련되었습니다.
공상가는 그랜드마스터처럼 플레이하려고 했으며, 거대한 위험을 감수하고 기발한 새로운 수를 시도했습니다.

공상가가 기발한 새로운 수를 시도할 때, 채점자는 그 수가 실제 생활에서 작동하는 것을 본 적이 없었지만 종이 위에서는 '좋아 보이므로' 높은 점수를 매겼습니다. 공상가는 과도한 자신감을 얻어 실수를 저질렀고, 전체 시스템이 붕괴되었습니다. 논문은 이를 '불일치 (misalignment)' 라고 부릅니다. 로봇은 교사가 이해하지 못하는 미래를 꿈꾸고 있었던 것입니다.

해결책: MBDPO ('확산' 수정)

저자인 Cheng Xiaoyuan 과 동료들은 MBDPO라는 새로운 방법을 도입했습니다. 그들은 단순히 시뮬레이터를 더 크게 만든 것이 아니라, 로봇이 움직이는 방식을 학습하는 방법을 바꿨습니다.

그들은 확산 (Diffusion) 이라는 개념을 사용했는데, 이는 흐릿한 구름을 날카로운 고양이로 만드는 것과 같은 AI 이미지를 생성하는 데 사용되는 동일한 수학입니다.

비유: 점토 덩어리에서 조각상을 조각해 내기
로봇의 전략이 단일한 움직임이 아니라, 전체적인 움직임의 연속 (예: 춤 동작) 이라고 상상해 보세요.

옛 방식 (검색): 보드에 다트를 무작위로 던져 완벽한 춤 동작을 추측해 내는 것입니다. 운 좋게 명중하면 그것을 유지합니다. 보드가 약간만 틀려도 나쁜 동작을 얻게 됩니다.
MBDPO 방식 (확산): 로봇이 무작위 노이즈 (정적) 로 이루어진 점토 덩어리로 시작한다고 상상해 보세요.
1. 로봇은 상상하는 어떤 춤 동작의 미래를 볼 수 있는 '월드 모델 (수정구)'을 가지고 있습니다.
2. 로봇은 노이즈를 하나씩, 단계별로 조각해 내며 점토를 조각상으로 정제해 나갑니다.
3. 각 단계마다 월드 모델은 말합니다. "팔을 이렇게 움직이면 높은 점수를 받을 것이다. 저렇게 움직이면 넘어질 것이다."
4. 로봇은 이 피드백을 사용하여 점토를 '최고의' 춤 동작 쪽으로 부드럽게 밀어냅니다.

이 과정은 확산 정책 최적화 (Diffusion Policy Optimization) 라고 불립니다. 추측하고 확인하는 대신, 로봇은 자신의 전략을 '소음 제거 (denoising)'하여 혼란을 완벽하고 높은 점수를 주는 계획으로 서서히 변환합니다.

이것이 중요한 이유

이 논문은 세 가지 주요 주장을 펼칩니다:

'불일치'를 수정합니다: 이 확산 과정을 사용하여 로봇의 '검색 (미래 상상)'과 '학습 (뇌 업데이트)'이 동일한 루프에서 발생합니다. 로봇은 실제로 시뮬레이션하지 않은 수에 대해 과도한 자신감을 갖지 않습니다. 마치 채점자와 공상가가 이제 같은 사람으로서 끊임없이 대화하는 것과 같습니다.
확장성이 있습니다: 일반적으로 AI 모델을 더 크게 만들면 (더 많은 '뉴런'을 추가하면) 성능이 향상되지만, 결국 위에서 언급한 오류로 인해 정체되거나 오히려 나빠집니다. MBDPO 는 모델을 더 크게 만들었을 때 (170 만 개 파라미터에서 3 억 4 천만 개 파라미터로), 로봇이 일관되게 더 좋아졌다는 것을 보여줍니다. 벽에 부딪히지 않고 계속 상승했습니다.
어디서나 작동합니다: 그들은 로봇 개가 걷고 뛰는 것부터 로봇 팔이 블록을 쌓는 것, 복잡한 비디오 게임을 하는 것까지 121 가지 다른 작업에서 이를 테스트했습니다. 거의 모든 경우에 MBDPO 는 TD-MPC2 나 DreamerV3 와 같은 이전 최선 방법들을 능가했습니다.

'비밀 재료': 에너지 앵커

MBDPO 의 교묘한 트릭 중 하나는 '암시적 에너지 함수 (Implicit Energy Function)' 라고 불리는 것입니다.

이를 안전용 리드줄이라고 생각하세요.

로봇은 새로운 위험한 수를 시도하며 탐색할 수 있습니다 ('검색').
하지만 '에너지 함수'는 안전하고 검증된 행동 (행동 정책) 에 연결된 리드줄처럼 작용합니다.
로봇이 알려진 안전한 영역에서 너무 멀리 벗어나려고 하면, 리드줄이 그것을 다시 당깁니다. 이는 로봇이 자신의 공상에 빠져 길을 잃지 않도록 방지하고, 현실에 발을 딛고 있게 합니다.

결과

오프라인 학습: 그들은 과거 비디오의 거대한 데이터셋 (수천 시간의 스포츠 영상 시청과 유사) 으로 로봇을 훈련시켰습니다. 로봇은 이전 어떤 방법보다 더 잘 플레이하도록 학습했으며, 모델이 클수록 더 잘 플레이했습니다.
온라인 학습: 로봇이 처음부터 시작했을 때 (이전 비디오 없음), 경쟁자들보다 더 빠르고 안정적으로 학습했습니다.
시각적 증거: 연구자들이 로봇의 '꿈' (상상한 내부 경로) 을 살펴봤을 때, MBDPO 의 꿈은 매끄럽고 논리적이며 물리적으로 현실적이었습니다. 반면 이전 방법들의 꿈은 엉망이고 혼란스러웠습니다.

요약

이 논문은 진정한 지능형 AI 로봇을 구축하기 위해서는 단순히 뇌를 더 크게 만드는 것만으로는 부족하다고 주장합니다. 우리는 뇌가 생각하는 방식을 고쳐야 합니다. MBDPO는 월드 모델에 의해 안내되는 확산 과정 (노이즈에서 조각해 내는 것과 유사) 을 사용하여 '계획'과 '학습' 사이의 단절을 수정합니다. 이를 통해 로봇은 이전보다 더 빠르고, 안전하며, 효과적으로 복잡한 기술을 학습할 수 있게 되었으며, 수학이 올바르게 적용된다면 더 큰 모델이 실제로 더 똑똑한 로봇으로 이어질 수 있음을 증명했습니다.

기술 요약: 확산 정책 최적화를 통한 세계 모델 강화 학습의 확장

1. 문제 제기

세계 모델을 활용한 모델 기반 강화 학습 (RL) 은 에이전트가 학습된 내부 환경 내에서 "꿈꾸고" 계획할 수 있게 함으로써 샘플 효율적인 계획에 유망한 패러다임을 제공합니다. 그러나 이러한 접근법의 확장성은 근본적으로 제한되어 있습니다. 이전 연구들은 성능 격차를 모델 편향과 누적 예측 오차로 돌렸으나, 본 논문은 더 중요하고 미탐구된 병목 현상을 식별합니다: 검색과 가치 학습 간의 구조적 불일치.

기존 세계 모델 접근법 (예: TD-MPC 시리즈) 에서 정책 개선은 일반적으로 학습된 세계 모델 위에서 작동하는 샘플 기반 플래너 (예: 모델 예측 경로 적분, MPPI) 에 의존합니다. 반면, 가치 함수는 별도의 비검색 정책 (종종 행동 정책 또는 재생 버퍼 정책) 이 생성한 궤적에 대해 훈련됩니다. 이로 인해 분포적 불일치가 발생합니다:

가치 반복 간극 (Value Iteration Gap): 가치 함수는 정책 $\beta$ 의 데이터로 훈련되지만 검색 정책 $\pi$ 에 의해 조회됩니다. $\pi$ 가 $\beta$ 와 크게 벗어나면 가치 추정이 신뢰할 수 없게 되어 종종 부자연스러운 과대평가가 발생합니다.
정책 개선 간극 (Policy Improvement Gap): 검색 절차는 이러한 과대평가된 가치를 이용하여 오류를 강화하고 분포 이동 및 오차 증폭의 악순환을 초래합니다. 결과적으로 검색은 전통적인 의미의 진정한 정책 최적화를 구성하지 못하며, 단조로운 개선이나 최적 정책으로의 수렴을 보장하지 못합니다.

2. 방법론: 모델 기반 확산 정책 최적화 (MBDPO)

이러한 한계를 해결하기 위해 저자들은 잠재 세계 모델 내에서 확산 정책 표현을 통해 검색과 정책 최적화를 통합하는 모델 기반 확산 정책 최적화 (MBDPO) 프레임워크를 제안합니다.

핵심 프레임워크

MBDPO 는 명시적인 플래너 (예: MPPI) 에 의존하는 대신, 잠재 공간에서 상상된 궤적에 대한 확산 과정으로 정책 최적화를 재형식화합니다. 이 과정은 다음을 포함합니다:

잠재 세계 모델: 에이전트는 압축된 잠재 공간 $Z$ 에서 작동하기 위해 인코더 $E$ , 잠재 역학 $F$ , 그리고 보상 예측기 $R$ 을 학습합니다.
암시적 에너지 함수: 정책 업데이트를 고정하고 분포적 이동을 방지하기 위해 MBDPO 는 대비적 목적 함수를 통해 버퍼 데이터셋에서 암시적 에너지 함수 $E_\theta$ 를 학습합니다. 이 함수는 행동 정책 $\beta$ 의 로그 밀도를 근사하여 KL 제약으로 효과적으로 작용합니다.
상상된 궤적을 통한 스코어 매칭: 전방향 확산 과정 대신, 스코어 함수 $\phi$ $ϕ$ 는 학습된 세계 모델 내에서 상상된 궤적에서 직접 추정됩니다.
- 알고리즘은 제안 분포에서 깨끗한 행동 시퀀스 후보를 샘플링합니다.
- 이러한 시퀀스는 잠재 역학 $F$ 를 통해 롤아웃되어 에너지 정규화 누적 보상 $\tilde{G}$ 를 계산합니다.
- 샘플은 $\tilde{G}$ 에 따라 재가중되어 역확산 과정을 안내하는 스코어 함수를 추정합니다.

이론적 통합

본 논문은 확산 모델의 스코어 매칭 조건과 KL 제약 정책 최적화 문제의 해 사이의 이론적 동등성 (정리 1) 을 확립합니다.

목적은 행동 정책에 대한 KL 발산 제약 하에 기대 보상을 최대화하는 것입니다: $\max_{\pi_\phi} \mathbb{E}[G] \text{ s.t. } D_{KL}(\pi_\phi \| \beta) \leq \epsilon$ .
MBDPO 는 이 제약 문제의 최적 정책이 깁스 분포를 따른다는 것을 보여줍니다.
이 분포에 일치하도록 스코어 함수를 학습함으로써, 역확산 과정은 암묵적으로 제약 최적화를 수행하여 검색 (궤적 생성) 과 정책 학습 (가치 최대화) 을 단일하고 일관된 프레임워크로 통합합니다.

실용적 알고리즘

MBDPO 는 공동 훈련 패러다임을 사용합니다:

세계 모델 및 가치 반복: 인코더, 역학, 보상, 가치 함수 ( $\hat{Q}$ ), 그리고 암시적 에너지 함수는 재생 버퍼의 궤적 세그먼트를 사용하여 업데이트됩니다.
확산 정책 최적화: 스코어 네트워크는 보상으로 가중치가 부여된 상상된 궤적의 몬테카를로 샘플링을 사용하여 스코어 함수를 예측하도록 훈련됩니다. 추론 중에는 스코어 네트워크가 효율적인 행동 시퀀스 생성을 위한 평균화 솔루션으로 작용합니다.

3. 주요 기여

구조적 불일치 식별: 본 논문은 기존 세계 모델 접근법에서 검색과 가치 학습의 분리가 비최적성을 초래하고 단조로운 정책 개선을 방해한다는 것을 보여주는 이론적 분석 (문제 1 및 2) 을 제공합니다.
MBDPO 프레임워크: 검색과 정책 최적화를 확산 과정으로 형식화하는 통합 프레임워크의 도입. 이 접근법은 행동 분포에 정책을 고정하기 위해 암시적 에너지 함수를 활용하여 가치 반복 간극과 분포적 이동을 완화합니다.
확장 가능한 성능: 다양한 설정 (다중 작업 오프라인 사전 훈련, 온라인 학습, 오프라인에서 온라인으로의 미세 조정 포함) 에서 모델 용량이 증가함에 따라 (170 만 개에서 3 억 4 천만 개 파라미터) 일관되고 단조로운 성능 향상을 보여주는 확장 가능한 확산 RL 알고리즘의 개발.
실증적 검증: 4 개의 벤치마크 (DMControl, MetaWorld, ManiSkill2, MyoSuite) 의 121 개 작업에 대한 광범위한 평가로, 최첨단 베이스라인 (SAC, DreamerV3, TD-MPC, TD-MPC2) 보다 우수한 성능을 입증.

4. 실험 결과

오프라인 사전 훈련: MBDPO 는 명확한 단조로운 확장 행동을 보입니다. 모델 파라미터가 170 만 개에서 3 억 4 천만 개로 증가함에 따라 80 작업 및 30 작업 데이터셋의 정규화된 점수가 일관되게 향상되며, 특히 작은 모델 규모에서 TD-MPC2 를 크게 능가합니다.
온라인 학습: 처음부터 시작하는 온라인 설정에서 MBDPO 는 121 개 모든 작업에서 우수하거나 경쟁력 있는 결과를 달성합니다. 초기 훈련 단계에서 베이스라인에 비해 더 낮은 분산으로 가속화된 정책 개선을 보여줍니다.
병목 현상 완화: 실증적 분석은 MBDPO 가 TD-MPC2 에 비해 교차 시간 차이 (TD) 오차와 행동 이동을 현저히 감소시킨다는 것을 보여줍니다. 확산 정책은 안정적으로 유지되며 부드럽게 수렴하는 반면, 휴리스틱 검색 방법은 높은 변동성과 심각한 정책 이동을 보입니다.
일반화: 오프라인에서 온라인 (O2O) 으로 전이하는 실험에서, 70 개 작업으로 사전 훈련된 범용 에이전트는 작업당 4 만 번의 상호작용만으로 10 개의 미확인 작업을 성공적으로 미세 조정하여 처음부터 훈련하는 것보다 우수한 성능을 발휘했습니다.
효율성: MBDPO 는 대부분의 도메인에서 TD-MPC2 와 비슷하거나 더 빠른 단계당 훈련 시간을 가지며 온라인 훈련에서 무시할 수 있는 오버헤드를 초래합니다.

5. 중요성 및 주장

본 논문은 검색과 가치 학습 간의 구조적 불일치를 해결함으로써 세계 모델 내 정책 학습을 위한 새로운 패러다임을 확립했다고 주장합니다. 주요 통찰력은 다음과 같습니다:

확산의 확장성: 확산 모델은 세계 모델과 정책 최적화 사이의 본질적인 인터페이스 역할을 하여, 상상된 궤적을 통한 지속적인 가치 반복과 정책 개선을 가능하게 합니다.
표현의 중요성: 학습된 잠재 표현의 품질이 결정적입니다. MBDPO 의 공동 최적화는 잠재 공간을 물리적 직관과 일치하도록 구조화하는 데 도움이 되어, 순환 작업에는 구조화된 폐루프 궤적을, 조작 작업에는 목표 지향 경로를 생성하며, 이는 휴리스틱 검색 방법이 생성한 것보다 물리적으로 더 의미 있습니다.
원칙적 기반: 정책 학습의 확장은 더 복잡한 휴리스틱 검색 파이프라인이 아니라, 세계 모델을 근본적인 RL 패러다임 (특히 KL 제약 목적 함수를 통해) 과 본질적으로 연결하는 원칙적 기반이 필요함을 시사합니다.

저자들은 현재 시뮬레이션 환경에 초점을 맞추고 있으며, 계산적 제약으로 인해 극도로 큰 기초 모델 크기로 확장하지 못한다는 한계를 지적합니다. 향후 방향으로는 실제 로봇에 MBDPO 를 배포하고 더 풍부한 사전 훈련된 시각 또는 멀티모달 표현과 통합하는 것을 포함합니다.