🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

본 논문은 풍부하고 비정제된 오프라인 데이터를 경험 리허설과 실행 가이드를 통해 월드 모델을 유도함으로써 분포 변화 문제를 극복하고 다양한 시각-운동 작업에서 베이스라인을 크게 능가하는 방식으로 온라인 강화 학습의 샘플 효율성을 향상시키는 방법을 제안한다.

원저자: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 걷기, 달리기, 또는 커피컵 집는 법을 가르치고 싶다고 상상해 보세요. 전통적인 방식이라면 로봇이 무언가를 잘하거나 못할 때마다 일일이 지켜보며 알려줘야 했을 것입니다. 이는 매우 느리고 비용이 많이 들며, 데이터를 라벨링하는 데 엄청난 인간의 노력이 필요합니다.

이 논문은 '쓰레기를 보물로 만드는' 접근 방식을 통해 로봇을 훨씬 더 빠르게 가르치는 새로운 방법인 NCRL(Non-curated offline data for efficient Reinforcement Learning, 효율적인 강화 학습을 위한 비정제 오프라인 데이터)을 소개합니다. 이 방법이 어떻게 작동하는지 쉬운 개념으로 나누어 설명하겠습니다.

1. 문제점: "쓰레기" 데이터의 딜레마

보통 로봇을 훈련시키려면 모든 행동에 점수(예: "잘했어!" 또는 "못했어!")가 매겨진 깨끗하고 정리된 데이터셋이 필요합니다. 하지만 현실 세계에는 무질서하고 정리되지 않은 데이터가 산더미처럼 쌓여 있습니다.

점수가 없습니다 (보상 없음/reward-free).
훌륭한 움직임과 끔찍한 실수가 뒤섞여 있습니다 (혼합된 품질/mixed quality).
다양한 종류의 로봇으로부터 온 데이터입니다 (다중 형태/multi-embodiment).

이것은 마치 수백만 권의 책이 있는 도서관과 같지만, 그 어떤 책에도 제목, 요약, 또는 별점이 없는 것과 같습니다. 대부분의 사람들은 이 도서관을 사용하기 너무 어렵기 때문에 무시할 것입니다. 이전의 방법들은 이 데이터를 사용하려고 시도했지만, 데이터가 깔끔하고 라벨이 붙어 있다고 가정했기 때문에 종종 실패했습니다.

2. 해결책: 먼저 "정신적 지도" 구축하기

NCRL 방식은 특정 작업을 즉시 배우려고 하는 대신, 먼저 **세계 모델(World Model)**을 구축합니다.

비유: 운전을 배우려는 학생을 상상해 보세요. 자동차를 타고 바로 식료품점에 가려고 시도하는 대신, 학생은 먼저 온갖 종류의 운전 영상—레이싱 카, 트럭, 혹은 운전을 못 하는 사람들의 영상 등—을 몇 달 동안 관찰하며 시간을 보냅니다. 아직 목적지는 모르지만, 자동차가 어떻게 움직이는지, 도로가 어떻게 생겼는지, 스티어링 휠 조작은 어떻게 하는지를 먼저 배웁니다.
논문의 주장: 저자들은 이 무질서하고 라벨이 없는 데이터(6가지 유형의 로봇 데이터)를 사용하여 단 하나의 "두뇌"(세계 모델)를 훈련시켰습니다. 이 두뇌는 최종 목표가 무엇인지 알 필요 없이, 움직임의 일반적인 물리 법칙을 학습했습니다.

3. 함정: 왜 "미세 조정(Fine-Tuning)"만으로는 실패하는가?

연구진은 이렇게 사전 훈련된 두뇌를 가져와서 즉시 특정 새로운 작업(예: "문 앞까지 걷기")을 가르치려고 하면 자주 실패한다는 것을 발견했습니다.

비유: 일반적인 운전 영상을 공부한 학생을 곧바로 한 번도 본 적 없는 트랙 위의 레이싱 카에 앉히는 것과 같습니다. 학생은 자신이 본 영상들과 실제 트랙의 모습이 다르기 때문에 당황하게 됩니다. 그들이 구축한 "정신적 지도"가 새로운 작업의 현실과 일치하지 않는 것입니다.
논문의 발견: 이는 분포 변화(distributional shift) 때문에 발생한다고 밝혀졌습니다. 훈련에 사용된 무질서한 데이터와 로봇이 새로운 작업을 해결하기 위해 시작할 때 마주하는 특정 데이터 사이에는 큰 차이가 있습니다.

4. 해결책: 두 가지 특별한 기술

이 불일치를 해결하기 위해, 저자들은 무질서한 과거와 구체적인 현재 사이의 간극을 메울 수 있도록 두 가지 "보조 바퀴"를 추가했습니다.

기술 A: 경험 재현 (The "Flashcard" Method, 플래시카드 방식)

작동 원리: 로봇이 새로운 작업을 배우기 시작할 때, 단순히 자신의 작고 새로운 경험만을 보는 것이 아닙니다. 대신 거대한 무질서한 데이터 라이브러리로 돌아가 현재 상황과 유사해 보이는 특정 클립들을 검색합니다.
비유: 로봇이 특정 커브에서 막혔다고 가정해 봅시다. 단순히 추측하는 대신, 로봇은 라이브러리에서 다른 로봇이나 다른 날의 영상이라 할지라도, 현재의 커브와 유사한 모습을 보여주는 "플래시카드"를 꺼내 봅니다. 로봇은 이러한 관련 기억을 "재현"함으로써 사물이 어떻게 작동하는지 스스로 상기시키고, 이전에 배웠던 것을 잊어버리는 것을 방지합니다.

기술 B: 실행 가이드 (The "Co-Pilot" Method, 부조종사 방식)

작동 원리: 로봇에게는 완벽하지는 않더라도 안전하게 움직이는 법을 알고 있는 "부조종사"(무질서한 데이터로 훈련된 정책)가 있습니다. 학습 초기 단계에서 로봇은 자신의 새로운 아이디어를 시도하는 것과 부조로사가 몇 초간 운전대를 잡는 것을 번갈아 수행합니다.
비규: 옆자리에 운전 강사가 앉아 있는 초보 운전자를 생각해 보세요. 초보 운전자가 핸들을 조작하려 노력하지만, 만약 경로를 벗어나기 시작하면 강사가 잠시 제어권을 가져와 차를 도로 위에 유지시킨 뒤 다시 제어권을 넘겨줍니다. 이를 통해 로봇이 아무것도 배울 수 없는 "막다른 길"로 빠지는 것을 방지하고, 성공할 가능성이 높은 영역으로 유도합니다.

5. 결과: 두 배 더 빠른 속도

이 논문은 치타의 달리기부터 로봇 팔의 블록 쌓기까지 72가지의 다양한 작업에 대해 테스트를 진행했습니다.

주장: 이 방법을 사용했을 때, 로봇은 아무런 사전 데이터 없이 시작하는 로봇(처음부터 배우는 로봇)보다 두 배 더 빠르게 학습했습니다.
비교: 오프라인 데이터를 사용하려고 시도했던 다른 방법들과 비교했을 때도, 특히 로봇이 스스로 탐색하고 문제를 해결해야 하는 어려운 작업에서 NCRL은 압도적인 차이로 승리했습니다.

요약

이 논문은 로봇을 가르치기 위해 완벽하고 라벨이 붙은 데이터가 필요하지 않다고 주장합니다. 우리는 다음과 같은 과정을 거친다면 이미 가지고 있는 "무질서한" 데이터(점수 없이 움직임만 기록된 영상 등)를 활용할 수 있습니다.

먼저 세상에 대한 일반적인 이해를 구축한다.
새로운 작업을 배울 때 관련 있는 옛 기억을 찾는 "검색" 시스템을 사용한다 (경험 재현).
초기에 로봇이 길을 잃지 않도록 가이드 역할을 하는 "부조종사"를 활용한다 (실행 가이드).

이를 통해 로봇은 훨씬 적은 시도로 복잡한 기술을 습득할 수 있으며, 이는 AI 훈련을 훨씬 더 효율적으로 만듭니다.

기술 요약: 비정제된 데이터를 통한 월드 모델 가이딩 기반의 효율적인 강화 학습

문제 정의
오프라인 데이터를 활용하는 것은 온라인 강화 학습(RL)의 샘플 효율성을 개선하기 위한 유망한 방안입니다. 그러나 기존 방식들은 주로 보상이 라벨링되어 있고 특정 작업이나 형태(embodiment)에 국한된 정제된 오프라인 데이터셋에 의존합니다. 이러한 데이터를 확보하는 것은 특히 보상에 대한 사후적인 주석(annotation) 작업이 필요한 로봇 조작 분야에서 매우 비용이 많이 들고 까다로운 작업입니다. 최근 연구들은 보상이 없고, 품질이 혼합되어 있으며, 다양한 형태에서 수집된 풍부한 "비정제된(non-curated)" 데이터를 활용하는 방안을 탐색해 왔으나, 이러한 데이터셋을 나이브하게 적용하는 것은 불충분하다는 것이 증명되었습니다. 구체적으로, 비정제된 데이터로 월드 모델을 사전 학습(pre-training)한 후 이를 온라인 RL을 위해 나이브하게 미세 조정(fine-tuning)하는 방식은 학습 가속화에 실패하는 경우가 많습니다. 저자들은 이 실패의 근본 원인을 사전 학습에 사용된 오프라인 데이터와 미세 조정 단계에서 수집된 온라인 데이터 사이의 **분포 변화(distributional shift)**로 지목합니다. 사전 학습된 오프라인 분포가 다운스트림 작업의 데이터 분포를 충분히 커버하지 못할 경우, 사전 학습된 월드 모델은 정책 학습에 도움을 주지 못하고, 치명적 망각(catastrophic forgetting)이나 모델 정확도 저하를 초래합니다.

방법론: NCRL
본 논문은 비정제된, 보상 없는, 다중 형태의 데이터를 효과적으로 활용하기 위해 설계된 2단계 파이프라인인 NCRL(Non-curated offline data for efficient RL)을 제안합니다.

다중 형태 월드 모델 사전 학습:
단일 작업당 별도의 모델을 학습하는 대신, NCRL은 대규모 비정제 데이터셋을 사용하여 단일한 작업 불가지론적(task-agnostic) 월드 모델을 사전 학습합니다. 아키텍처는 RSSM(Recurrent State Space Model)을 기반으로 하며, 다양한 입력을 처리하기 위해 다음과 같은 특정 수정 사항을 포함합니다:

작업별 손실 함수(task-specific losses) 제거.
서로 다른 형태 간의 차원을 통일하기 위한 액션(action)의 제로 패딩(zero-padding).
2억 8천만 개의 파라미터로 규모 확장.
모델은 보상 라벨 없이, 가공되지 않은 오프라인 궤적(trajectories)에 대해 표준적인 예측, 역학(dynamics), 표현(representation) 손실을 사용하여 최적화됩니다.

리허설 및 가이딩을 통한 RL 기반 미세 조정:
분포 변화를 해결하고 사전 학습된 지식을 효과적으로 전이하기 위해, NCRL은 온라인 미세 조정 단계에서 두 가지 핵심 기술을 도입합니다:

경험 리허설(Experience Rehearsal): 사전 학습 후 오프라인 데이터를 폐기하는 대신, NCRL은 온라인 학습 중에 비정제 데이터셋에서 작업 관련 궤적을 검색합니다. 이는 사전 학습된 인코더를 사용하여 온라인 버퍼의 초기 관측값과 오프라인 궤적 사이의 신경 특징 거리(neural feature distance)를 계산함으로써 수행됩니다. 검색된 궤적은 다음을 위해 재생됩니다:
- 관련 있는 사전 학습 데이터를 지속적으로 학습함으로써 치명적 망각 방지.
- 모델 롤아웃을 위한 초기 상태 분포( $p_0(s)$ )를 증강하여, 정책 업데이트를 위한 유망한 궤적 생성 가능케 함.
- 분포 변화에 대한 정규화 도구로 활용.
실행 가이딩(Execution Guidance): 월드 모델의 신뢰도가 높고 오프라인 데이터가 존재하는 영역으로 탐색을 유도하기 위해, NCRL은 검색된 오프라인 데이터에 대한 행동 복제(behavioral cloning)를 통해 사전 정책( $\pi_{bc}$ )을 학습합니다. 온라인 데이터 수집 시, 에이전트는 RL 정책( $\pi_\phi$ )과 사전 정책( $\pi_{bc}$ ) 사이를 확률적으로 교차하며 실행합니다. 이 혼합 정책 접근법은 학습 초기 단계에서 에이전트를 고품질 상태 공간 영역으로 인도하여, 어려운 탐색(hard exploration)의 위험을 완화합니다.

주요 기여
본 논문은 네 가지 주요 기여를 제시합니다:

C1: 정제되고 보상이 라벨링된 데이터의 제약을 넘어, 보상이 없고 품질이 혼합된 다중 형태 데이터셋을 활용하는 보다 현실적인 설정을 제안합니다.
C2: 사전 학습과 미세 조정 데이터 사이의 분포 변화로 인해 나이브한 월드 모델 미세 조정이 많은 작업에서 실패함을 입증합니다.
C3: 이러한 분포 격차를 완화하고 탐색을 장려하기 위한 구체적인 기술로서 경험 리허설과 실행 가이딩을 도입합니다.
C4: 사전 학습과 미세 조정 단계 모두에서 비정제 데이터를 통합하는 NCRL 프레임워크를 제시하며, 기존 방식들에 비해 다양한 작업에서 우수한 성능을 입증합니다.

실험 결과
저자들은 DMControl 및 Meta-World 벤치마크를 사용하여 6개의 형태(locomotion 및 로봇 조작 포함)에 걸친 72개의 시각-운동 제어(visuomotor control) 작업에서 NCRL을 평가합니다. 오프라인 데이터셋은 비지도 에이전트와 노이즈가 섞인 데모로부터 수집된 6만 개의 궤적(1,000만 개의 상태-액션 쌍)으로 구성됩니다.

샘플 효율성: 15만 개의 온라인 샘플이라는 제한된 샘플 예산 하에서, NCRL은 처음부터 학습하는 베이스라인(Dr_Q-v2 및 DreamerV3)보다 거의 두 배 높은 누적 점수를 달 achieves 합니다. 이는 해당 베이스라인들이 3.3배에서 6.7배 더 많은 샘플로 학습했을 때의 성능과 일치합니다.
오프라인 방법론과의 비교: NCRL은 R3M(시각 사전 학습), UDS-RLPD, ExPLORe, JSRL-BC를 포함한 최신 오프라인 데이터 활용 방식들을 유의미하게 능가합니다. 특히, JSRL-BC와 같은 방법들이 비전문가 궤적 처리에 어려움을 겪는 반면, NCRL은 탐색적이고 품질이 혼합된 데이터를 효과적으로 활용합니다.
모델 기반 방법론과의 비교: NCRL은 새로운 아키텍처에 의존하지만 미세 조정 중 오프라인 데이터를 재사용하는 메커니즘이 부족한 다른 월드 모델 사전 학습 방식(예: iVideoGPT, 사전 학습된 DreamerV3)보다 뛰어난 성능을 보입니다. 결정적으로, NCRL은 일부 베이스라인에서 사용하는 보상 셰이핑(reward shaping)이나 전문가 리플레이 버퍼 초기화와 같은 기교 없이 이를 달성합니다.
작업 적응: 연속 학습(continual learning) 설정에서, NCRL은 Ant 로봇 작업과 같은 새로운 작업에 대해 PackNet 베이스라인보다 훨씬 빠르게 적응하며, 작업당 100회의 시도 내에 적응을 완료합니다.

의의 및 주장
본 논문의 주요 의의는 풍부한 비정제 데이터를 RL을 위해 활용할 수 있는 잠재력을 끌어올린 데 있습니다. 저자들은 분포 변화를 나이브한 미세 조정의 병목 현상으로 식별하고, 경험 리허설과 실행 가이딩을 통해 이를 해결함으로써, 비정제 데이터로 사전 학습된 월드 모델이 샘플 효율성을 실질적으로 높일 수 있음을 보여주었습니다. 이 연구는 비정제 데이터셋에 포함된 풍부한 정보(역학, 유익한 상태, 액션 사전 확률 등)가 사전 학습 후 데이터를 폐기하거나 온라인 목적 함수와 정렬하지 못하는 현재의 방식들에서는 충분히 활용되지 못하고 있음을 시사합니다. NCRL은 이러한 격차를 메우는 실용적인 파이프라인을 제공하여, 보상 주석 비용 없이도 광범위한 작업과 형태에 걸쳐 효율적인 RL을 가능하게 합니다.