🤖 machine learning

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning

이 논문은 광범위한 행동 범위를 위해 디퓨전 노이즈를 주입하는 컨텍스트 평활화 사전 학습(Context-Smoothed Pre-training)과 탐색을 동적으로 제어하는 타임스텝 변조 강화 학습(Timestep-Modulated Reinforcement Learning)을 사용하여 행동 복제와 강화 학습을 연결하는 통합 프레임워크인 TMRL을 소개하며, 이를 통해 샘플 효율성을 크게 향상시키고 1시간 미만의 시간 내에 실제 로봇 정책 미세 조정을 성공적으로 수행할 수 있게 한다.

원저자: Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matthew M. Hong, Jesse Zhang, Anusha Nagabandi, Abhishek Gupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 샌드위치를 만들거나 잃어버린 장난감을 찾는 것과 같은 새로운 일을 가르치는 것을 상상해 보세요. 보통 이 과정은 두 단계의 댄스처럼 진행됩니다. 먼저, 인간이 그 일을 완벽하게 수행하는 수천 개의 영상을 로봇에게 보여줍니다. 로봇은 마치 교과서를 암기하는 학생처럼 그것을 똑같이 복제하려고 노력합니다. 이것을 "모방 학습(imitation learning)"이라고 부릅니다. 하지만 여기에는 함정이 있습니다. 만약 로봇이 본 적 없는 상황—예를 들어, 샌드위치가 이상한 모양의 접시 위에 놓여 있는 상황—에 직면하면, 로봇은 당황합니다. 왜냐하면 로봇은 "교과서"에 나온 접시에 맞춘 정확한 동작만을 암기했기 때문에, 상황이 엉망이 되었을 때 어떻게 해야 할지 배우지 못해 멈춰버리거나 불가능한 동작을 시도하게 됩니다.

이를 해결하기 위해, 과학자들은 종로히 로봇에게 무작위적인 노이즈를 추가하여 로봇이 "탐색"하도록 가르치려 노력하기도 합니다. 예를 들어, 로봇에게 팔을 무작위로 흔들어 보며 어떤 일이 일어나는지 확인하라고 말하는 식입니다. 하지만 이것은 마치 핸들을 무작위로 돌려가며 운전을 배우는 것과 같습니다. 결국에는 성공할 수도 있겠지만, 위험하고 비효율적입니다. 여기서 중요한 질문은 이것입니다. 어떻게 하면 로봇이 지시를 따를 만큼 정밀하면서도, 단순히 눈먼 움직임을 보이는 대신 막혔을 때 새로운 시도를 할 수 있을 만큼 유연하게 가르칠 수 있을까요?

여기에서 TMRL(시점 조절 강화 학습, Timestep-Modulated Reinforcement Learning)이라는 새로운 아이디어가 등장합니다. 워싱턴 대학교와 아마존의 연구진은 로봇을 가르치는 방식에 영리한 변화를 제안합니다. 단순히 완벽한 동작을 암기하거나 무작위적인 혼돈을 더하는 대신, 그들은 로봇에게 세상에 대한 시야를 의도적으로 약간 "흐릿하게(blur)" 만드는 법을 가르칩니다.

이렇게 생각해 보세요. 당신이 케이크를 굽는 법을 배우고 있다고 가정해 봅시다. 만약 당신이 정확히 밀가루 2컵을 사용하는 방식으로만 케이크를 구워봤다면, 실수로 2.1컵을 사용했을 때 실패할 수도 있습니다. 하지만 연습하는 동안, 만약 2.1컵, 2.2컵, 혹은 3컵을 사용한다고 가정하며 연습한다면 어떨까요? 이러한 "흐릿한" 레시피로 연습함으로써, 당신은 재료가 완벽하지 않더라도 케이크가 여전히 잘 만들어진다는 것을 배우게 됩니다. 당신은 정확한 숫자가 아니라 베이킹의 '본질'을 배우는 것입니다.

로봇의 세계에서 "레시피"는 지시 사항(예: "빨간 블록을 집어라")이고, "재료"는 로봇의 센서(로봇이 보고 느끼는 것)입니다. 이 논문의 방법론인 **문맥 평활화 사전 학습(Context-Smoothed Pre-training, CSP)**은 로봇의 지시 사항에 약간의 "디지털 안개"를 더합니다. 이는 로봇이 지시가 약간 흐릿하더라도 행동하는 법을 가르칩니다. 이를 통해 로봇은 더 넓은 범위의 동작을 배우게 됩니다. 만약 로봇이 "빨간 블록을 집어라"라는 흐릿한 버전의 지시를 받는다면, 로봇은 빨간 블록이 약간 더 멀리 있거나 약간 기울어져 있는 상황에서도 시도하게 될 것입니다. 로봇은 단순히 "좌표 X에서 빨간 것을 잡아라"가 아니라, "빨간 것을 가져가라"라는 목표를 배우게 되는 것입니다.

이러한 "흐릿한" 훈련을 마친 후, 마법의 두 번째 단계인 TMRL이 일어납니다. 이것은 로봇이 실제로 일을 하는 동안 돌릴 수 있는 특별한 다이얼을 주는 것과 같습니다. 로봇이 무엇을 해야 할지 확신할 때(예: 블록을 잡고 있을 때)는 다이얼을 "선명한 초점"으로 돌려 정밀하게 행동합니다. 하지만 만약 로봇이 막히거나 상황이 이상해지면(예: 블록이 새로운 위치에 있을 때), 다이얼을 "흐릿한 모드"로 돌립니다. 이는 로봇에게 "좋아, 잠시 교과서적인 정확한 동작은 잊어버려. 연습 때 배웠던 그 더 넓고 흐릿한 동작들을 시도해 봐"라고 말하는 것과 같습니다.

연구진은 컴퓨터 시뮬레이션과 실제 로봇을 통해 이 방법을 테스트했습니다. 그 결과, 이 "흐릿한" 방식으로 훈련된 로봇은 기존 방식으로 훈련된 로봇보다 새로운 퍼즐을 훨씬 더 잘 해결한다는 것을 발견했습니다. 시뮬레이션에서 이 새로운 방법은 로봇이 훨씬 빠르게 학습하도록 도왔으며, 다른 방법들이 완전히 실패하는 지점에서도 종종 완벽에 가까운 성공률에 도달했습니다. 더욱 인상적인 것은, 실제 세계의 실제 로봇에서도 이 효과를 입증했다는 점입니다. 한 테스트에서, 로봇 팔은 소시지를 냄비에 넣고 새우를 서랍에 넣는 법을 실제 실험 시간 1시간도 채 되지 않아 배웠습니다. 이 방법이 없었다면, 로봇은 물체를 어떻게 움직여야 할지 파악하지 못한 채 그저 물체를 빤히 바라보기만 했을 것입니다.

이 논문은 단순히 동작에 무작위 노이즈를 추가하는 기존 방식이 서투르고 비효율적이라고 주장합니다. 대신, "흐릿한" 지시 사항을 다루도록 가르침으로써, 로봇은 탐색을 똑똑하게 하는 법을 배웁니다. 로봇은 언제 정밀해야 하고 언제 창의적이어야 하는지를 알게 됩니다. 저자들은 이 접근 방식이 로봇을 경직된 규칙 준수자에서 유연한 문제 해결사로 변화시켜, 복잡하고 예측 불가능한 현실 세계에 적응하는 로봇을 만드는 데 있어 게임 체인저가 될 수 있다고 제안합니다. 이 로봇들이 모든 직업에 쓰일 만큼 안전하고 효율적인지 확인하기 위해 아직 할 일이 남아 있지만, 지금까지의 결과는 "흐릿하게 만들기"가 진정한 로봇 지능을 여는 비밀 소스가 될 수 있음을 시사합니다.

기술 요약: TMRL – 효율적인 정책 미세 조정을 위한 확산 타임스텝 변조 사전 학습 (Diffusion Timestep-Modulated Pretraining for Efficient Policy Finetuning)

1. 문제 정의

로봇 정책을 학습하는 표준 패러다임은 대규모 데모 데이터셋을 통한 행동 복제(Behavioral Cloning, BC) 기반의 사전 학습과, 이후 실제 배포 환경에서의 강화 학습(Reinforcement Learning, RL) 미세 조정을 포함합니다. BC는 익숙한 맥락에서는 정밀한 모방을 제공하지만, 결정적인 한계점인 행동 분포 붕괴(action distribution collapse) 문제를 겪습니다. 데이터가 희소하게 커버된 영역이나 분포 외(out-of-distribution, OOD) 맥락에서는 BC 정책이 관찰된 데이터에 과적합되어, 명시적으로 시연되지 않은 최적의 행동에 대해 거의 0에 가까운 확률을 할당하게 됩니다.

이러한 **행동 커버리지(action coverage)**의 부족은 다운스트림 RL의 병목 현상을 초래합니다. 사전 학습된 정책이 필요한 전이를 발견하기 위해 보상 신호를 탐색할 수 있는 샘플링을 수행하지 못하면, RL 미세 조정은 실패하게 됩니다. PostBC와 같이 행동에 구조화되지 않은 가우시안 노이즈를 주입하는 기존 방식들은 종종 "지터링(dithering)"이나 일관성 없는 실행을 유발합니다. 반대로, 순수하게 조건부 분포 $p(a|c)$ 에만 의존하는 방법들은 기본 정책의 서포트(support)를 넘어 탐색할 수 없습니다. 핵심 과제는 정밀한 활용(exploitation)과 필요한 탐색(exploration) 사이의 균형을 맞추기 위해, RL 단계에서 적응적으로 행동 분포를 넓힐 수 있는 정책을 어떻게 사전 학습할 것인가 하는 점입니다.

2. 방법론

저자들은 **맥락 평활화 사전 학습(Context-Smoothed Pre-training, CSP)**과 **타임스텝 변조 강화 학습(Timestep-Modulated Reinforcement Learning, TMRL)**의 두 단계로 구성된 통합 프레임워크를 제안합니다.

A. 맥락 평활화 사전 학습 (CSP)

CSP는 행동을 직접 섭동시키는 대신, 사전 학습 중에 **맥락 입력(context inputs, $c$ )**에 직접 노이즈를 주입합니다.

메커니즘: 순방향 확산 과정(forward diffusion process)이 타임스텝 $\sigma$ (또는 $t_c$ )로 파라미터화된 노이즈를 맥락 $c$ 에 주입하여, 노이즈가 섞인 맥락 $\tilde{c}$ 를 생성합니다.
학습 목표: 정책 $p_\theta$ 는 오염된 맥락 $\tilde{c}$ 와 잠재 변수 $z$ 에 조건화된 행동 $a$ 를 예측하도록 학습됩니다. 정책은 다양한 노이즈 레벨 $\sigma \in [0, T]$ 의 분포에 걸쳐 학습됩니다.
효과:
- 낮은 노이즈( $\sigma \to 0$ )에서, 정책은 정밀한 조건부 행동 $p(a|c)$ 를 학습합니다.
- 높은 노이즈( $\sigma \to T$ )에서, 맥락은 정보가 없는 상태가 되며, 정책은 주변부 행동 분포 $p(a)$ 를 근사합니다.
- 결정적으로, 이는 정책이 무작위 노이즈에 의존하는 대신, 인접하고 유사한(aliased) 맥락으로부터 일관된 행동 시퀀스를 "빌려올" 수 있는 **연속체(continuum)**를 생성합니다.

B. 타임스텝 변조 강화 학습 (TMRL)

RL 미세 조정 단계에서, 사전 학습된 CSP는 조종 가능한 베이스 정책 역할을 합니다.

상위 정책(High-Level Policy): RL 에이전트(상위 정책 $\pi_{HL}$ )는 각 단계에서 두 가지 변수, 즉 잠재 노이즈 $z$ (표준 스티어링)와 확산 타임스텝 $\sigma$ 를 선택하는 법을 학습합니다.
동적 제어: 에이전트는 $\sigma$ $σ$ 를 명시적인 제어 변수("커버리지 다이얼")로 취급합니다.
- 높은 $\sigma$ : 현재 맥락을 인접한 맥락과 중첩시켜, OOD 상태에서 안전하게 탐색할 수 있도록 행동 커버리지를 넓힙니다.
- 낮은 $\sigma$ : 에이전트가 유망한 궤적을 식 발견했을 때, 정밀한 활용을 위해 조건화를 날카롭게 만듭니다.
구현: 이 접근 방식은 상태 기반 확산 정책, 3D 포인트 클라우드 입력, 시각-언어-행동(VLA) 모델을 포함한 다양한 정책 아키텍처와 호환됩니다.

3. 주요 기여

맥락 평활화 정책 (CSP): 맥락 입력에 확산 노이즈를 주입함으로써 행동 서포트를 확장하고, 조건부 모방과 주변부 탐색 사이의 매끄러운 보간을 생성하는 사전 학습 프레임워크를 제안합니다.
타임스텝 변조 RL (TMRL): RL 동안 확산 타임스텝을 동적으로 변조하여, 에이전트가 탐색(넓은 커버리지)과 활용(정밀한 조건화) 사이의 트레이드오프를 명시적으로 제어할 수 있게 하는 미세 조정 알고리즘을 제안합니다.
이론적 보장: 본 논문은 맥락 평활화가 서로 다른 맥락 간의 행동 분포 사이의 총 변동(Total Variation, TV) 중첩을 증가시킨다는 이론적 분석을 제공합니다. 이는 평활화가 커버리지 붕괴를 완화하여, OOD 상태에서도 인접한 시연 맥락으로부터 최적의 행동을 샘플링할 수 있는 비제로(non-zero) 확률을 보장함을 증명합니다.
일반화 가능성: 이 방법은 2D 상태, 3D 포인트 클라우드, VLA 임베딩을 포함한 다양한 입력 양식에서 원활하게 작동함을 입증했습니다.

4. 실험 결과

저자들은 시뮬레이션 및 실제 로봇 작업에 걸쳐 TMRL을 평가했습니다.

행동 커버리지 (Zero-Shot): CSP는 미보지(unseen) 작업(예: OGBench 내비게이션 및 조작)에서 "Success@K" 지표를 통해 표준 BC 및 PostBC보다 성능이 우수함을 보여주었으며, 이는 더 넓은 초기 행동 커버리지를 입증합니다.
RL 샘플 효율성:
- 시뮬레이션: TMRL은 pointmaze-giant 및 cube-single과 같은 복잡한 작업에서 DSRL, SPiRL, RLPD와 같은 베이스라인을 능가하며 100%에 가까운 성공률을 달enc합니다. 특히 cube-single 작업에서 베이스라인들은 성공률이 거의 0이었으나 TMRL은 성공했습니다.
- VLA 작업: LIBERO 벤치마크에서 TMRL은 과적합으로 인해 다른 방법들이 실패하는 장기 호라이즌(long-horizon) 작업(libero-90)에 VLA 정책을 성공적으로 적응시킵 eyes.
- 3D 포인트 클라우드: 숙련된 파지(dexterous grasping) 작업에서, TMRL은 평활화된 맥락을 통해 파지 전략을 공유함으로써 새로운 물체 형태(예: 캔에서 마커로)에 대한 일반화 능력을 부여합니다.
실제 세계 성능:
- TMRL은 "소시지를 냄비에 넣기" 및 "버튼 누르기"와 같은 작업을 위해 실제 로봇(WidowX 및 Franka Panda)에 VLA 정책을 성공적으로 미세 조정할 수 있게 합니다.
- 효율성: 이 방법은 실제 실험 시간 1시간 미만 내에 성공적인 적응을 달성한 반면, 베이스라인 방법(예: DSRL)은 이러한 작업을 전혀 학습하지 못했습니다.
절제 연구 (Ablation Studies): Classifier-Free Guidance (CFG)와의 비교를 통해, TMRL의 맥락 오염 방식이 OOD 탐색에 있어 CFG보다 우수함을 보여주었습니다. CFG는 여전히 붕괴된 조건부 분포에 의존하기 때문입니다. 시각화 결과는 TMRL이 무작위 노이즈가 아닌, 일관되고 중첩된(aliased) 행동을 통해 탐색함을 확인해 줍니다.

5. 의의 및 주장

본 논문은 TMRL이 사전 학습과 미세 조정 사이의 관계를 근본적으로 재고한다고 주장합니다. 구조화되지 않은 행동 노이즈에서 구조화된 맥락 평활화로 초점을 전환함으로써, 이 방법은 실행의 일관성을 희생하지 않으면서도 정책이 적응적으로 서포트를 확장할 수 있는 메커니즘을 제공합니다.

저자들은 이 접근 방식이 모방 학습의 정밀함과 RL에 필요한 탐색 사이의 간극을 메운다고 강조합니다. 주요 의의는 복잡한 조작 작업을 위한 샘플 효율적인 RL 미세 조정을 가능하게 한다는 점에 있으며, 이는 표준 BC로 초기화된 정책이 갖지 못한 능력입니다. 이 연구는 "노이즈가 섞인 입력 표현에 대한 정책의 반응성"이 로봇 학습을 개선하기 위해 이전에 충분히 활용되지 않았던 중요한 레버임을 시사합니다.

인정된 한계점:
저자들은 행동 분포를 넓히는 것이 안전하지 않은 행동을 유발할 수 있는 안전 리스크를 도입할 수 있으므로, 신뢰할 수 있는 배포를 위해 안전 필터나 월드 모델(world model)이 필요하다고 언급했습니다. 또한, 샘플 효율성은 향상되었으나 매우 복잡한 실제 작업에서는 여전히 도전 과제로 남아 있어, 스티어링 알고리즘 및 오염 커널(corruption kernels)에 대한 추가적인 최적화 여지가 있음을 시사합니다.