💻 computer science

Adaptation of Generalist Robot Policies with Minimal Data

이 논문은 범용 로봇 정책이 단 한 번의 인간 시연만으로도 새로운 작업에 빠르게 적응하고 견고한 자율적 개선을 달성할 수 있게 하는 단순한 오프라인-투-온라인 강화 학습 프레임워크인 MiDAS를 소개한다.

원저자: Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

게시일 2026-08-13

📖 6 분 읽기🧠 심층 분석

원저자: Shreyas Kowshik, Sreyas Venkataraman, Leo Wang, Niharika Pant, Max Simchowitz, Aviral Kumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 인간 엔지니어가 작성한 경직된 스크립트를 따르는 것이 아니라, 우리처럼 스스로 학습하고 발전하는 세상을 상상해 보십시오. 이것은 로봇 공학의 성배입니다. 즉, 새로운 방에 걸어 들어가서 무엇을 해야 할지 파악하고, 시행착오를 통해 그 일을 점점 더 잘하게 되는 기계를 만드는 것입니다. 이 과정이 어떻게 작동하는지 이해하려면, 로봇의 뇌를 두 가지 주요 부분으로 나누어 생각하면 됩니다. 첫째, 로봇은 세상이 어떻게 돌아가는지에 대한 '일반 지식' 베이스를 가져야 하며, 이는 사람들이 무언가를 하는 수백만 개의 영상을 관찰함으로써 학습합니다. 둘째, 특정 잼 병을 열거나 특정 블록을 쌓는 것과 같은 구체적인 기술을 배워야 합니다. 과학자들이 직면한 큰 과제는 로봇이 이러한 일반 지식에는 뛰어나지고 있지만, 새로운 구체적인 작업을 스스로 배우는 데는 여전히 서툴다는 점입니다. 만약 로봇에게 본 적 없는 일을 시키면, 로봇은 어디서부터 시작해야 할지 몰라 그저 멍하니 서 있거나 허우적거리는 경우가 많습니다. 이는 마치 사람에게 전 세계의 지도는 주었지만, 정작 자신이 현재 어느 거리에 있는지는 모르는 것과 같습니다. 항해할 도구는 모두 갖추었지만, 첫 발을 내딛기 위해서는 약간의 도움이 필요한 상태인 것입니다.

이것은 '첫 단계' 문제를 해결하려는 새로운 방법인 MiDAS에 대한 이야기입니다. 연구진은 다음과 같은 간단한 질문을 던졌습니다. 만약 로봇에게 누군가가 성공적으로 과제를 수행하는 단 하나의 영상만을 제공하고, 나머지는 로봇이 스스로 알아서 해결하도록 한다면 어떨까? 보통 하나의 영상은 충분하지 않습니다. 그것은 마치 누군가 루빅스 큐브를 푸는 것을 한 번 보고 나서, 직접 풀어보라는 말을 듣는 것과 같습니다. 대략적인 개념은 알겠지만, 제대로 하기 전까지는 수없이 실패할 것입니다. 이 논문은 그 하나의 영상과 '실수로부터 배우는 스마트한 방식'을 결합함으로써, 로봇이 실제로 그 작업을 안정적으로 수행할 수 있다고 제안합니다. 연구진은 컴퓨터 시뮬레이션과 두 팔을 가진 실제 로봇을 통해 이를 테스트했으며, 단 하나의 예시만으로도 다른 방식들이 즉시 포기할 때 MiDAS는 몇 시간의 연습 끝에 성공적으로 과제를 수행할 수 있음을 발견했습니다.

문제점: 로봇의 "멍한 시선"

당신이 로봇에게 샌드위치를 만드는 법을 가르치고 있다고 상상해 보십시오. 당신은 인간이 요리하는 수백만 개의 영상을 본 아주 똑똑한 로봇을 가지고 있습니다. 로봇은 빵이 무엇인지, 치즈가 무엇인지, 칼이 어떻게 작동하는지 알고 있습니다. 이것이 로치의 '사전 학습된(pre-trained)' 뇌입니다. 하지만 당신이 주방으로 걸어 들어가 "왼쪽에 블루 치즈를 넣어서 샌드위치를 만들어줘"라고 말한다면, 로봇은 그저 당신을 빤히 바라볼지도 모릅니다. 재료는 알지만, '이 특정' 샌드위치를 어떻게 만드는지는 모르기 때문입니다.

만약 로봇이 스스로 학습하도록(자율 학습) 내버려 둔다면, 로봇은 아마 계속해서 실패할 것입니다. 빵을 잘못 집거나, 치즈를 떨어뜨리거나, 칼을 토스터기에 넣으려고 할 수도 있습니다. 로봇 공학의 세계에서 이러한 실패를 "희소한 보상(sparse rewards)"이라고 부릅니다. 이는 게임에서 마지막에 "승리했습니다!"라는 메시지만 받고, 목표에 가까워질 때마다 얻는 힌트나 점수는 전혀 없는 것과 같습니다. 로봇이 100번 중 99번을 실패한다면, "승리" 신호를 받지 못할 것이고, 결국 무엇을 해야 할지 배우지 못한 채 실패의 굴레에 갇히게 됩니다.

해결책: 하나의 영상과 "잔차(Residual)" 조력자

MiDAS(Minimal-Data Adaptation Strategy)를 개발한 연구진은 이 굴레를 깨기 위한 영리한 2단계 레시피를 고안했습니다.

1단계: "앵커링(Anchoring)" 영상
먼저, 로봇에게 과제를 성공적으로 수행하는 단 하나의 영상을 보여줍니다. 단순히 보여주기만 하는 것이 아니라, "행동 복제(behavior cloning)"라는 기술을 사용합니다. 이것은 로봇이 짧고 강렬한 집중 학습 세션을 갖는 것과 같습니다. 로봇은 그 하나의 영상을 보고 동작을 따라 하려고 노력합니다.

결과: 로봇은 훨씬 나아집니다. 더 이상 멍하니 서 있지 않습니다. 빵을 잡고, 그다음 치즈를 잡고, 그다음 칼을 잡아야 한다는 것을 알게 됩니다.
한계: 하지만 여전히 서툽니다. 빵은 제대로 잡았더라도 움켜쥐는 힘이 너무 강해 치즈를 떨어뜨릴 수도 있고, 접시가 약간 중심에서 벗어나 있으면 접시를 놓칠 수도 있습니다. 과제의 '개념'은 알지만, '정밀함'이 부족한 상태입니다. 논문의 테스트에서 이 '한 개의 영상'을 가진 로봇은 목표에 근접할 수는 있었지만, 종종 작업을 완수하는 데 실패했습니다.

**2단계: "잔차(Residual)" 코치
여기서 마법이 일어납니다. 로봇에게 처음부터 모든 것을 다시 가르치는 대신, MiDAS는 로봇의 뇌 위에 작고 가벼운 "코치"를 추가합니다.

작동 방식: 로봇의 메인 뇌(한 개의 영상으로 학습된 뇌)가 "내 생각에 팔을 이 방향으로 움직여야 할 것 같아"라고 말하면, 새로운 "코치"(잔차 정책, residual policy라고 불림)가 그 제안을 듣고 "사실, 아주 조금만 더 왼쪽으로 움직여야 해"라고 말합니다.
학습: 로봇은 이 조정된 움직임을 시도합니다. 만약 성공하면 코치는 점수를 얻습니다. 만약 실패하면, 코치는 다음에 어떻게 다르게 조정해야 할지 배웁니다.
특별한 이유: 메인 뇌는 고정되어 있기 때문에(변하지 않기 때문에), 로봇이 영상에서 배운 것을 잊어버리지 않습니다. 코치는 작고 빠르며, "좋은 시도"를 "완벽한 성공"으로 바꾸는 데 필요한 아주 미세한 교정만을 학습합니다.

결과: 한 번의 시도에서 숙련까지

연구팀은 이 아이디어를 두 가지 가상 세계(LIBERO-Long 및 RoboCasa)와 두 팔을 가진 실제 로봇(YAM)에서 테스트했습니다.

시뮬레이션에서의 결과:
결과는 놀라울 정도로 강력했습니다. 단 하나의 시연만으로:

처음부터 배우거나 단순히 영상을 복제하려고 했던 표준 방식들은 거의 완전히 실패했습니다 (성공률 0%).
로봇의 행동을 미세하게 조정하려고 했던 다른 고급 방식들은 약 30%에서 40%의 과제를 수행했습니다.
MiDAS는 평균 **91%**의 과제에서 성공했습니다. 냄비를 가스레인지 위에 올리는 것과 같은 특정 작업에서는 **98%**의 성공률에 도달했습니다.

실제 환경에서의 결과:
연구진은 이 방법을 두 팔을 가진 실제 로봇에 적용했습니다.

과제 1: 초록색 블록을 한 용기에, 파란색 블록을 다른 용기에 넣기. 로봇은 한 개의 영상을 본 후 **40%**의 성공률로 시작했습니다. 약 6시간 동안 자율적으로 연습한 후, 성공률은 **67%**로 향상되었습니다.
과제 2: 칼과 도넛을 접시에 놓기. 이 과제는 더 어려웠습니다. 로봇은 처음에 단 **27%**의 성공률로 시작했습니다. 하지만 5~6시간의 자율적인 상호작용 후에, 성공률은 **80%**로 뛰어올랐습니다.

논문은 이 방식이 효과적인 이유가 로봇의 사전 학습된 뇌가 이미 팔을 어떻게 움직이는지와 물체가 무엇인지 알고 있기 때문이라고 설명합니다. 단 하나의 영상은 로봇에게 '무엇을 할지' 알려주고, 온라인 학습(코치)은 '어떻게 완벽하게 할지'에 대한 빈틈을 채워줍니다.

의미하는 바 (그리고 그렇지 않은 것)

연구진은 이 방법이 할 수 있는 것과 할 수 없는 것을 명확히 구분하고 있습니다.

잘 수행하는 것:

로봇이 이미 어느 정도 일반적인 지식을 가지고 있는 작업에 대해 "아마도"를 "예"로 바꿉니다.
로봇이 일반화할 수 있게 해줍니다. 물체를 약간 옮기거나 조명을 바꿔도, 로봇의 "뇌"가 충분히 똑똑하기 때문에 여전히 문제를 해결할 수 있습니다.
인간의 도움을 매우 적게 받습니다. 100개의 영상을 녹화할 필요 없이, 하나면 충분합니다.

아직 하지 못하는 것:

로봇이 사전 지식이 전혀 없는 완전히 새로운 일을 가르칠 수는 없습니다. 만약 로봇이 칼이나 도넛을 본 적이 없다면, 하나의 영상만으로는 부족합니다.
움직임의 방식이 완전히 달라져야 하는 경우 어려움을 겪습니다. 예를 들어, 로봇이 영상과 상충되는 방식으로 두 물체의 위치를 바꿔야 한다면 혼란을 겪을 수 있습니다.
"6시간"의 연습은 로봇에게 여전히 긴 시간입니다. 논문은 이 방식이 큰 진전이지만, 학습을 더 빠르고 효율적으로 만들어야 한다고 제안합니다.

큰 그림

MiDAS를 하나의 '다리'라고 생각하십시오. 이전에는 "일반적인 것을 아는 로봇"와 "특정한 일을 할 수 있는 로봇" 사이에 거대한 간극이 있었습니다. 모든 움직임을 사람이 프로그래밍하거나, 수백 시간의 시행착오가 필요했습니다. MiDAS는 만약 로봇에게 아주 약간의 인간 가이드(한 개의 영상)를 주고 스마트하고 가벼운 코치와 함께 연습하게 한다면, 로봇이 스스로 그 간극을 건널 수 있다는 것을 보여줍니다.

저자들은 이것이 단 하나의 시연으로부터 로봇이 새로운 작업에 안정적으로 적응할 수 있음을 보여준 첫 번째 사례라고 제-언합니다. 이것은 모든 문제를 해결하는 마법 지팡이는 아니지만, 우리가 아주 약간의 도움만으로도 로봇이 진정으로 우리로부터 배울 수 있는 시대에 가까워지고 있음을 시사하는 강력한 도구입니다.

기술 요약: 최소 데이터 기반 범용 로봇 정책의 적응 (Adaptation of Generalist Robot Policies with Minimal Data)

문제 정의: 최소 데이터 적응 (Minimal-Data Adaptation, MDA)

본 논문은 범용 로봇 정책이 최소한의 인간 감독만으로 새로운 작업에 적응할 수 있도록 하는 과제를 다룹다. 다양한 데이터셋으로 사전 학습된 최신 시각-언어-행동(VLA) 모델들은 광범위한 사전 지식(prior)을 제공하지만, 보상이 희소하고 탐색이 취약하여 새로운 환경에서 제로샷 학습자(zero-shot learner)로서 실패하는 경우가 많다. 반대로, 처음부터 완전히 자율적으로 학습하는 것은 현재의 정책들에게는 실행 불가능한 일이다.

저자들은 완전한 자율적 개선을 위한 실행 가능한 대리 모델로서 최소 데이터 적응 (MDA) 체계를 제안한다. 이 설정에서 사전 학습된 정책은 단 $K$ 개의 성공적인 시연(여기서 $K=1$ 은 가장 극단적인 경우임)과 이후의 자율적인 온라인 상호작용만을 사용하여 새로운 작업을 학습해야 한다. 목표는 시연만으로 작업을 해결하는 것이 아니라, 시연을 스캐폴드(scaffold)로 사용하여 후속 자율 학습을 가능하게 만드는 것이다. 핵심 과제는 $K=1$ 일 때, 초기 정책이 보상이 있는 영역에 일관되게 도달하기에는 너무 약하여, 희소한 보상 하에서 정책 붕괴(policy collapse)가 발생하기 쉽다는 점이다.

방법론: MiDAS

저자들은 약한 사전 학습 정책과 견고한 작업 특화 컨트롤러 사이의 간극을 메우기 위해 설계된 2단계 오프라인-투-온라인 강화 학습 레시피인 **MiDAS (Minimal-Data Adaptation Strategy)**를 소개한다.

단계 I: 작업 앵커링을 위한 행동 복제 (Behavior Cloning, BC)

목표: 제로샷 사전 학습 정책( $\pi_{base}$ )을, 비록 실행은 불안정할지라도 작업을 대략적으로 시도할 수 있는 작업 지향적 정책( $\pi^K_{base}$ )으로 변환한다.
메커니ism: 사전 학습된 VLA 백본을 $K$ 개의 시연에 대해 **저차원 적응(Low-Rank Adaptation, Lo-RA)**을 사용하여 미세 조정(fine-tuning)하며, 액션 헤드는 표준 플로우 매칭(flow matching)을 사용하여 미세 조정한다.
결과: 이 단계는 거칠고 작업 관련적인 행동(예: 올바른 물체에 접근하기)을 회복하지만, 신뢰할 수 있는 제어(예: 정밀한 파지 또는 정렬)를 달려하지는 못한다. 이는 정책을 작업에 "앵커링(anchoring)"하여 온라인 학습을 위한 탐색 공간을 좁히는 역할을 한다.

단계 II: 잔차 강화 학습(Residual RL)을 통한 온라인 개선

목표: 자율적인 상호작용을 통해 $\pi^K_{base}$ 의 취약성을 극복하기 위한 미세한 교정 사항을 학습한다.
메커니즘:
- 동결된 백본 (Frozen Backbone): 작업에 앵커링된 정책 $\pi^K_{base}$ 는 동결된다.
- 잔차 액터 (Residual Actor): 경량화된 잔차 정책( $\pi^{res}_{\theta}$ )이 동결된 표현 위에 학습된다. 제안된 오프셋을 예측하는 가산적 잔차 공식과 달리, MiDAS는 베이스 정책의 제안( $a_{base}$ )에 조건화되어 실행되는 액션을 직접 예측한다( $a_{exec} \sim \pi^{res}_{\theta}(\cdot | s, a_{base})$ ). 이를 통해 정책이 필요할 경우 베이스 제안의 즉각적인 근방을 벗어나 액션 분포를 이동할 수 있게 한다.
- 가치 기반 학습 (Value-Based Learning): 시스템은 템포럴 차이(TD) 학습을 통해 학습된 크리틱 앙상블을 사용하는 정책 불가지론적 강화 학습(Policy-Agnostic RL, PA-RL)을 사용한다. 액터는 후보 액션들이 Q-함수에 대한 경사 상승법(gradient ascent)을 통해 정교해진 후 다시 정책으로 증류(distillation)되는 "Best-of-N" 증류 목적 함수를 사용하여 업데이트된다.
안정화 기법:
1. 오프라인 웜업 (Offline Warmup): 잔차 액터와 크리틱은 $K$ 개의 시연과 $\pi^K_{base}$ 로부터 얻은 몇 개의 롤아웃을 포함하는 버퍼를 사용하여 초기화된다. 액터는 베이스 정책의 액션을 재현하도록 초기화되어( $\mathcal{L}_{warm}$ ), 초기 탐색이 작업 관련성을 유지하도록 보장한다.
2. 성공 밸런싱 (Success Balancing): 보상의 희소성(성공률이 2~5%까지 떨어질 수 있음)에 대응하기 위해, 리플레이 버퍼를 일반 버퍼( $\mathcal{B}$ )와 성공 버퍼( $\mathcal{B}_{succ}$ )로 분할한다. 크리틱 업데이트는 이 두 버퍼의 혼합물에서 샘플링하며, 성공적인 궤적을 오버샘플링하여 가치 함수가 실패에 의해 지배되는 것을 방지한다.

주요 기여

MDA의 정의: 본 논문은 범용 사전 학습 정책이 $K=1$ 일 때 자율적 온라인 학습을 용이하게 만드는 임계점임을 식별함으로써 MDA 체계를 공식화하였다.
MiDAS 알고리즘: 소수의 시연을 이용한 행동 복제와 동결된 백본 기반의 잔차 RL을 결합한 새로운 레시피를 제시한다. 이는 단 하나의 시연이 사전 학습된 표현 및 가치 유도 교정과 결합될 때 자율적 학습을 부트스트랩할 수 있음을 입증한다.
실증적 검증:
- 시뮬레이션: LIBERO-Long 및 RoboCasa에서 MiDAS는 단 하나의 시연으로부터 높은 성공률(예: LIBERO에서 약 91%)을 달성하며, Filtered BC, Diffusion-Steering RL (DSRL), DICE-RL과 같은 베이스라인을 크게 상회한다.
- 실제 환경: 이 방법은 양팔 YAM 플랫폼으로 성공적으로 전이되었다. 복잡한 작업(칼과 도넛 놓기)에서 약 27%의 성공률을 보이는 취약한 정책에서 시작하여, MiDAS는 약 6시간의 자율 상호작용 후 **80%**의 견고성으로 개선되었다.
메커니즘적 통찰: 저자들은 다음을 실증적으로 검증하였다:
- 사전 학습된 VLA 표현은 샘플 효율성에 필수적이다. 일반적인 시각 사전 학습(예: DINO)이나 처음부터 학습하는 방식은 $K=1$ 에서 수렴에 실패한다.
- 행동 복제는 거친 작업 접지(task grounding)를 제공하지만 신뢰할 수 있는 제어는 제공하지 못한다.
- 온라인 잔차 RL은 DSRL과 같은 베이스라인이 갖지 못한, 소수의 시연 정책의 유효 서포트(effective support) 외부에 있는 액션을 학습하는 데 필수적이다.

결과 및 일반화

성능: MiDAS는 다양한 장기 호라이즌(long-horizon) 작업에서 일관되게 강력한 성능을 회복한다. "One Demonstration" 설정에서, 제로샷 및 표준 베이스라인들이 완전히 실패하는 많은 LIBERO 작업들에 대해 완벽에 가까운 성공률을 달성한다.
일반화:
- 관측 변화 (Observation Shifts): 이 방법은 동결된 VLM 백본으로부터 시각적(색상, 질감) 및 언어적 변화에 대한 견고성을 상속받는다.
- 상태 변화 (State Shifts): 온라인 RL은 요구되는 조작 전략이 유사한 경우(예: 물체 위치, 모양 변화) 중간 정도의 상태 변화에 대한 견고성을 향상시킨다. 그러나 근본적으로 새로운 전략이 필요한 변화(예: 물체 교체 또는 카테데리 변경)에 대해서는 성능이 저하되며, 이는 단일 시연의 한계를 나타낸다.
- 커리큘럼 학습: 온라인 RL 동안 리셋 분포를 점진적으로 넓히는 것이 추가적인 인간 데이터 없이도 50개의 시연으로 학습된 정책에 필적하는 일반화 성능을 회복할 수 있음을 보여준다.

의의 및 주장

본 논문은 범용 사전 학습 정책을 사용하여 단 하나의 작업 시연으로부터 신뢰할 수 있는 로봇 정책 적응을 보여준 첫 번째 사례라고 주장한다.

저자들은 MDA가 세 가지 요소의 상호작용을 통해 자율적 개선을 가능하게 하는 핵심적인 체계라고 주장한다:

사전 학습 (Pretraining): 재사용 가능한 특징과 광범위한 액션 사전 지식을 제공한다.
시연 (Demonstrations): 정책을 특정 작업에 앵커링하여, 작업 관련 행동에 도달할 수 있게 한다.
자율적 상호작용 (Autonomous Interaction): 견고성을 확보하고 분포 변화를 처리하기 위한 필요한 교정을 제공한다.

이 연구는 현대의 사전 학습된 로봇 정책들이, 적절한 적응 전략(MiDAS)이 설계되어 학습 과정을 안정화하고 초기 소수 시연 정책의 서포트를 확장할 수 있다면, 단 하나의 시연만으로도 남은 격차를 온라인 상호작용을 통해 학습 가능하게 만들 수 있을 만큼 성숙한 단계에 도달했음을 시사한다. 본 논문은 MDA가 사전 학습 분포에 잘 표현된 행동에는 효과적이지만, 완전히 새로운 행동 모드나 정교한 조작이 필요한 작업에 적응하는 데는 여전히 더 많은 감독이나 다른 메커니즘이 필요할 수 있음을 인정하며 겸허한 태도를 유지한다.