🤖 machine learning

MODIP: Efficient Model-Based Optimization for Diffusion Policies

MODIP는 월드 모델과 모델 예측 제어를 활용하여 고품질의 지도 학습 타겟을 생성함으로써, 행동 복제의 안정성을 유지하면서도 직접적인 강화 학습의 어려움을 극복하고 디퓨전 정책의 효율적인 오프라인-투-온라인 미세 조정을 가능하게 하는 프레임워크이다.

원저자: Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome, Olivier Sigaud

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome, Olivier Sigaud

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 팔에게 블록 쌓기나 샌드위치 만들기 같은 복잡한 작업을 가르치려 한다고 상상해 보세요. 당신에게는 인간이 이 작업들을 완벽하게 수행하는 데 사용된 방대한 영상 라이브러리가 있습니다.

문제점: "완벽한 모방꾼" vs "고군분투하는 학생"

기존 방식 (행동 복제 - Behavioral Cloning):
표준적인 로봇 정책을 영상을 단순히 암기하는 학생이라고 생각해 보세요. 만약 영상에서 사람이 특정한 방식으로 블록을 쌓는 것을 보여준다면, 로봇은 정확히 그렇게 하도록 학습합니다. 이는 작업이 단순할 때는 매우 잘 작동합니다. 하지만 만약 블록을 쌓는 성공적인 방법이 아주 다양하다면 어떻게 될까요? 로봇은 단 하나의 "평균적인" 방식만을 배웠기 때문에 혼란에 빠지거나, 현재 상황과 완벽하게 일치하지 않는 영상을 그대로 따라 하려다 막혀버릴 수 있습니다.

새로운 방식 (확산 정책 - Diffusion Policy):
**확산 정책(DP)**이 등장합니다. 이제 이 로봇은 단순히 암기하는 것이 아니라, 예술가가 됩니다. 로봇은 흐릿하고 무작위적인 아이디어 뭉치에서 시작하여, 단계별로 이를 "노이즈 제거(denoise)"(선명하게 만듦)함으로써 완벽하고 창의적인 해결책을 찾아냅니다. 이는 문제를 해결하는 데 있어 여러 가지 유효한 방법이 존재하는 상황을 처리하는 데 탁월합니다.

문제점:
이 예술가 로봇은 영상에서 본 것을 복사하는 데는 뛰어나지만, 만약 영상보다 더 나은 결과(예를 들어 더 빠르게 움직이거나 에너지를 적게 쓰는 것)를 얻고 싶다면 보통 **강화 학습(RL)**을 사용해야 합니다. RL은 점수를 바탕으로 "잘했어!" 또는 "다시 해봐!"라고 외치는 코치와 같습니다.

문제는 확산 정책이 매우 복잡하기 때문에(동작을 "노이즈 제거"하는 데 많은 단계가 필요함), 코치와 함께 직접 학습시키려고 하면 느리고 불안정하며 계산 비용이 많이 든다는 것입니다. 이는 마치 화가가 복잡하고 다단계적인 붓질을 하는 도중에 코치가 옆에서 계속 지시를 내리며 가르치려는 것과 같습니다.

솔루션: MODIP (스마트한 플래너 조수)

저자들은 로봇의 예술적 능력과 코치의 피드백 사이를 잇는 가교 역할을 하는 새로운 프레임워크인 MODIP를 제안합니다. MODIP는 확산 정책을 직접 강화 학습으로 가르치는 대신, 세계 모델(World Model)(시뮬레이터)과 **플래너(Planner)**를 사용하여 어려운 작업을 수행합니다.

작동 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. 세계 모델 (비행 시뮬레이터)

MODIP는 로봇의 세계를 위한 "비행 시뮬레이터"를 구축합니다. 이 모델은 로봇이 어떻게 움직이고 각 동작에 대해 어떤 보상을 받는지 학습합니다. 이를 통해 실제 로봇을 움직이지 않고도 수천 가지의 미래 시나리오를 상상할 수 있습니다.

2. 하이브리드 플래너 (조종사와 부조종사)

이것이 핵심 혁신입니다.

부조종사 (확산 정책): 로봇의 기존 "예술가"가 동작을 위한 몇 가지 좋은, 창의적인 시작점을 제안합니다. 이 모델은 작업의 전반적인 분위기를 알고 있습니다.
조종사 (MPC 플래너): 플래너는 그 제안들을 가져와 "비행 시뮬레이터"에서 실행합니다. 플래너는 수백 가지의 변형을 시도하고, 미세하게 조정하며, 목표를 향한 절대적으로 최선의 경로를 선택합니다.

마법 같은 기술:
보통 플래너가 경로의 끝을 보고 그것이 얼마나 좋은지 판단할 때, "부조종사"(확산 정책)에게 결정을 내려달라고 요청해야 합니다. 그런데 부조종사는 (많은 단계를 거쳐 생각해야 하므로) 느리기 때문에 이 과정은 매우 느려집니다.

MODIP의 지름길:
MODIP는 경로의 끝에서 느린 부조로사에게 결정을 요청하는 대신, **종단 가치 함수(Terminal Value Function)**를 사용합니다. 이것은 "수정구슬"과 같아서, 플래너에게 "만약 네가 이 상태에 도달한다면, 최종 점수는 이 정도일 거야"라고 즉각적으로 알려줍니다. 이를 통해 플래너의 의사 결정 속도를 3배 더 빠르게 만듭니다.

3. 증류 (선생님의 노트)

플래너가 시뮬레이터에서 초최적화된 경로를 찾아내면, MODIP는 그 경로를 한 번만 사용하는 데 그치지 않습니다. 플래너는 그 경로를 기록하여 확산 정책(예술가)에게 다시 보여줍니다. 그리고 이렇게 말합니다. "자, 봐봐. 이것이 더 나은 방법이야. 이걸 보고 배워."

그러면 확산 정책은 표준적이고 안정적인 학습 방식을 사용하여 스스로를 업데이트합니다. 코치에게 소리를 들으며 배우는 것이 아니라, 플래너가 만든 개선된 예시들로부터 배우는 것입니다.

이것이 왜 중요한가 (결과)

논문은 다양한 로봇 작업(걷기, 요리, 블록 쌓기 등)에 대해 MODIP를 테스트했습니다.

더 나은 성능: MODIP는 단순히 영상을 복사하는 것보다 더 나은 성과를 냈으며, 확산 정책을 직접 강화 학습으로 훈련시키려 했던 다른 방법들보다도 종종 더 뛰어난 성능을 보였습니다.
속도: "수정구슬" 지름길(상태 가치를 사용하는 방식) 덕분에 시스템의 의사 결정 속도가 거의 3배 빨라졌습니다.
효율성: 또한 학습 단계에서 값비싼 계산을 피함으로써 학습 과정을 1.6배 더 빠르게 만들었습니다.

요약

MODIP는 재능 있지만 느린 예술가(확산 정책)에게 빠르고 똑똑한 조수(플래너)를 붙여주는 것과 같습니다. 조수는 시뮬레이터를 사용하여 가능한 최선의 움직임을 빠르게 찾아내고, 그 후 예술가에게 그 방법을 가르칩니다. 이 방식을 통해 로봇은 확산 정책의 창의성과 스마트한 플래너의 효율성을 모두 갖추게 되며, 복잡한 시스템을 개선할 때 흔히 발생하는 느리고 불안정한 학습 문제를 피할 수 있습니다.

기술 요약: MODIP – 확산 정책을 위한 효율적인 모델 기반 최적화

1. 문제 정의

확산 정책(Diffusion Policies, DPs)은 복잡하고 다봉형(multi-modal)인 행동 분포를 모델링할 수 있는 능력 덕분에 로봇 제어, 특히 모방 학습(행동 복제, BC) 분야에서 강력한 표현 방식으로 부상했습니다. 그러나 근본적인 한계가 존재합니다: 오프라인 시연 데이터로만 학습된 DP는 데이터셋의 행동을 재현할 뿐, 그 이상의 성능을 개선할 수 있는 능력이 부족합니다.

강화 학습(RL)은 사전 학습된 정책을 개선할 수 있는 경로를 제공하지만, DP를 직접 미세 조정하는 것은 어렵습니다. 표준 가우시안 정책과 달리, DP는 다단계 반복 디노이징(denoising) 과정을 통해 행동을 생성합니다. 이로 인해 정책 최적화가 복잡해지며, 종종 학습 및 추론 과정에서 불안정성과 높은 계산 비용을 초과하게 됩니다. 직접적인 RL 미세 조정을 시도하는 기존 방법들(예: Diffusion-QL, DPPO)은 이러한 비효율성으로 인해 어려움을 겪습니다. 본 논문은 직접적인 RL 최적화를 피하고, 대신 모델 기반 플래닝을 사용하여 개선된 궤적을 생성한 뒤 이를 지도 학습 방식으로 증류(distillation)하는 것이 더 효과적인 접근 방식이라고 주장합니다.

2. 방법론: MODIP

MODIP(Model-Based Optimization for Diffusion Policies)는 DP의 오프라인-투-온라인 미세 조정을 위해 설계된 프레임워크입니다. 이 프레임워크는 잠재 세계 모델(latent world model)을 사용하여 모델 예측 제어(MPC) 플래너를 가이드함으로써 고품질의 궤적을 생성합니다. 이렇게 생성된 궤적은 표준 행동 복제(BC)를 통해 DP를 미세 조정하기 위한 지도 학습 타겟으로 사용되며, 이를 통해 DP의 핵심 디노이징 목적 함수를 변경하지 않고도 반복적인 개선 루프를 생성합니다.

이 프레임워크는 다섯 가지의 학습된 구성 요소로 이루어집니다:

인코더 ( $h_\eta$ ): 관측값을 잠재 상태(latent states)로 매핑합니다.
잠재 역학 모델 ( $f_\theta$ ): 현재 상태와 행동이 주어졌을 때 미래의 잠재 상태를 예측합니다.
보상 모델 ( $\hat{R}_\xi$ ): 단기 예측 롤아웃(rollout)에 점수를 부여합니다.
터미널 가치 함수 ( $V_\psi$ ): MPC 플래닝 지평 너머의 장기 리턴을 추정합니다.
확산 정책 ( $\pi_\phi$ ): 플래너를 위한 표현력 있는 행동 시퀀스 사전(prior) 역할을 합니다.

주요 기술적 메커니즘:

MPC-to-Policy 증류: MODIP는 DP를 직접 RL 손실 함수로 최적화하는 대신, 온라인 상호작용 중에 DP가 가이드하는 MPC 플래너를 사용하여 행동을 선택합니다. 플래너는 잠재 공간에서 후보 행동 시퀀스를 정교화합니다. 결과적으로 개선된 궤적들은 온라인 버퍼에 저장되어 오프라인 데이터와 혼합되며, 표준 지도 디노이징 손실을 통해 DP를 업데이트하는 데 사용됩니다. 이를 통해 정책은 지도 학습의 안정성을 유지하면서도 더 나은 데이터 분포를 통해 개선될 수 있습니다.
터미널 상태 가치를 활용한 하이브리드 플래닝: 플래너는 모델 예측 경로 적분(MPPI) 제어를 사용합니다. 핵심적인 효율성 혁신은 정책 의존적인 상태-행동 가치 $Q(s, \pi(s))$ $Q (s, π (s))$ 대신 터미널 상태 가치 $V(s)$ 를 사용하는 것입니다.
- 표준 방식: $Q(s, \pi(s))$ 를 사용하면 모든 후보 궤적에 대해 터미널 상태에서 DP의 전체 다단계 디노이징 과정을 실행해야 하므로 계산 비용이 많이 듭니다.
- MODIP 방식: $V(s)$ 를 사용하면 단 한 번의 순방향 패스(forward pass)만으로 장기 리턴을 추정할 수 있어 추론 시간을 크게 단축합니다.
정책 독립적 크리틱 학습: 학습 비용을 더욱 줄이기 위해, MODIP는 크리틱 학습을 현재 정책으로부터 분리합니다. 표준 액터-크리틱 방법은 TD 타겟을 계산하기 위해 현재 정책을 쿼리해야 합니다(예: $Q(s', \pi(s'))$ ). DP의 경우 이는 매우 비용이 많이 듭니다. MODIP는 타겟 네트워크로부터의 상태 가치 추정치( $V(s')$ )를 사용하여 TD 타겟을 형성함으로써, 크리틱 업데이트 중에 반복적인 DP 디노이징 반복을 피합니다.

학습 절차:

오프라인 사전 학습: DP와 모든 MPC 구성 요소(역학, 보상, 가치)를 오프라인 데이터셋으로 학습합니다.
온라인 미세 조정: 에이전트는 DP 가이드 MPC 플래너를 사용하여 환경과 상호작용합니다. 궤적들은 온라인 버퍼에 저장됩니다. 업데이트는 오프라인 데이터와 온라인 데이터를 혼합한 미니배치에 대해 수행되며, 시간이 지남에 따라 온라인의 플래너 개선 데이터로 점진적으로 초점이 이동하는 가변 비율을 적용합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

하이브리드 DP 가이드 MPC 플래닝: DP를 다봉형 행동 시퀀스 사전으로 사용하여, 잠재 MPC를 통해 제안된 행동을 정교화하는 플래너를 도입했습니다.
MPC-to-Policy 증류: 직접적인 RL 최적화를 피하고, MPC 플래너에 의해 개선된 궤적을 이용한 지도 학습을 통해 DP를 미세 조정하는 방법을 제시했습니다.
효율적인 가치 기반 궤적 스코어링: 표준 터미널 추정치인 $Q(s, \pi(s))$ 를 터미널 상태 가치 $V(s)$ 로 대체하여, 터미널 상태에서의 비용이 큰 DP 쿼리를 제거하고 플래닝 시간의 추론 비용을 줄였습니다.
정책 독립적 크리틱 타겟: 상태 가치 추정치를 사용하여 TD 타겟을 형성함으로써, 크리틱 업데이트 및 학습 시간 동안 발생하는 값비싼 DP 쿼리를 방지하여 크리틱 학습을 정책으로부터 분리했습니다.

4. 실험 결과

실험은 세 가지 벤치마크 패밀리인 D4RL MuJoCo(이동성), D4RL Kitchen(장기 조작), 그리고 RoboMimic(상태 기반 조작)에서 수행되었습니다.

직접 RL 미세 조정과의 성능 비교: MODIP는 대부분의 작업에서 직접적인 RL 미세 조정 방법들(Diffusion-QL, DPPO, DSRL, PA-RL)보다 일관되게 우수하거나 대등한 성능을 보였습니다. 특히 HalfCheetah 작업에서 MODIP와 PA-RL은 다른 DP 베이스라인들을 크게 앞질렀는데, 이는 긴 행동 청크(action chunks)를 실행하는 방법들보다 매 단계마다 재계획(replan)하고 오류를 복구하는 MPC의 능력이 더 효과적이었기 때문입니다.
모델 기반 베이스라인과의 성능 비교: MODIP는 모든 MuJoCo 작업에서 (가우시안 정책 사전을 사용하는 강력한 하이브리드 베이스라인인) TD-MPC2보다 우수한 성능을 보였으며, 이는 표현력이 풍부한 DP 사전이 표준 MLP 정책에 비해 하이브리드 플래닝을 위한 더 우수한 시작점을 제공함을 시사합니다.
절제 연구(Ablation Studies):
- MPC-to-Policy 증류: MPC 정교화 과정을 제거했을 때(Policy-only) HalfCheetah 및 Kitchen 작업에서 성능이 크게 저하되었으며, 이는 모델 기반 정교화의 가치를 입증합니다.
- 터미널 가치 ( $V$ vs. $Q$ ): $V(s)$ 를 $Q(s, \pi(s))$ 대신 사용했을 때 모든 작업에서 성능이 향상되었으며, 추론 시간을 2.90배 단축했습니다(1000 스텝당 약 85초에서 29초로 감소).
- 크리틱 학습: 정책 독립적 타겟을 사용하면 크리틱 업데이트 중 값비싼 DP 쿼리를 피함으로써 총 학습 시간을 1.6배 단축했습니다(약 40시간에서 25시간으로 감소).
- 사전 파라미터화: DP 사전을 사용하는 것이 Hopper 및 Kitchen 작업에서 가우시안 MLP 정책 사전을 사용하는 것보다 훨씬 뛰어난 성능을 보였습니다.

5. 의의 및 주장

본 논문은 MODIP가 확산 정책의 표현력과 모델 기반 RL의 샘플 효율성 사이의 간극을 성공적으로 메웠다고 주장합니다. MPC 플래너를 간접적인 정책 개선 연산자로 취급함으로써, MODIP는 초기 오프라인 데이터셋의 한계를 넘어설 수 있게 함과 동시에 지도 학습의 안정성과 단순성을 유지합니다.

저자들은 터미널 상태 가치 $V(s)$ 를 사용하고 정책 독립적 크리틱 타겟을 사용하는 등의 구체적인 설계 선택이 단순한 최적화가 아니라, DP 가이드 플래닝을 계산적으로 실행 가능하게 만드는 필수적인 요소임을 강조합니다. 이 연구는 다봉형 사전(multi-modal prior)과 모델 기반 플래닝을 결합하는 것이 DP의 직접적인 RL 미세 조정이나 가우시안 정책을 사용하는 전통적인 모델 기반 방법보다 더 우수한 결과를 낳는다는 것을 보여줍니다.

한계점: 저자들은 확산 정책이 픽셀로부터 학습하는 데 다재다능하지만, 본 연구의 모든 벤치마크는 실제 값의 벡터 상태 정보를 사용했다는 점을 언급했습니다. 이미지로부터 직접 학습하는 MODIP의 잠재력을 평가하는 것이 향후 연구를 위한 필수적인 다음 단계임을 밝히고 있습니다.