💻 computer science

Scalable Behavior Cloning with Open Data, Training, and Evaluation

이 논문은 현재까지 가장 큰 규모의 원격 조작 데이터셋(ABC-130K), 공동 학습 레시피를 포함한 재현 가능한 하드웨어 및 시뮬레이션 파이프라인, 그리고 복잡한 데스크테러스(dexterous) 작업에 대한 Diffusion Transformer 및 Vision-Language-Action 아키텍처의 포괄적인 평가를 특징으로 하는 로봇 조작을 위한 완전한 오픈 소스 스택인 ABC를 소개한다.

원저자: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Mali

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 여러분이 로봇에게 종이 상자 접기, 레고 블록 분류하기, 혹은 꽉 끼어 있는 지갑에서 신용카드를 꺼내기 같은 복잡한 집안일을 가르치고 싶다고 말입니다. 과거에 로봇을 가르치는 것은 마치 아이에게 단 한 장의 흐릿한 사진을 보여주며 스스로 알아서 깨우치길 바라는 것과 같았습니다. 이는 비용이 많이 들고 느리며, 로봇이 결국 포기하게 만드는 경우가 많았습니다.

이 논문은 인간이 하는 행동을 보고 배우는 법을 가르치기 위한 거대하고 오픈 소스인 "입문 키트"인 ABC를 소개합니다. 이것은 단순한 영상이 아니라, 누구나 직접 해볼 수 있도록 실제 레시피와 주방 도구, 그리고 테스트용 주방까지 포함된 로봇 학습의 "위키피디아"나 "유튜브"라고 생각하면 됩니다.

다음은 이들의 "ABC 스택"을 쉬운 비유를 들어 설명한 내용입니다.

1. 도서관: ABC-130K (The "Cookbook", 요리책)

단순히 한두 개의 레시피가 있는 것이 아니라, 인간이 수행하는 3,500시간 분량의 영상 데이터가 담긴 도서관을 상상해 보세요. 여기에는 130,000개의 서로 다른 작업이 들어 있습니다.

내용물: 인간이 두 개의 로봇 팔을 사용하여 단순한 "집어서 놓기" 작업부터 종이비행기 접기나 열쇠로 상자 열기 같은 매우 까ç로운 정교한 작업까지 수행하는 영상입니다.
중요한 이유: 이전까지 로봇 데이터는 규모가 너무 작거나, 수집 비용이 너무 많이 들거나, 혹은 대기업의 비밀 금고 안에 갇혀 있었습니다. 이것은 로봇 가격이 약 8,000달러(로봇 치고는 저렴한 편)인 모델을 기반으로 구축되어, 거대 IT 기업뿐만 아니라 일반 연구자들도 접근할 수 있는 가장 큰 규모의 공개 컬렉션입니다.

2. 두뇌: ABC-Models (The "Students", 학생들)

저자들은 단순히 데이터를 쏟아부은 것이 아니라, 데이터를 통해 학습할 두 가지 유형의 서로 다른 "학생" 로봇을 만들었고, 어떤 학습 방식이 가장 효과적인지 테스트했습니다.

"디퓨전 트랜스포머" (Diffusion Transformer, DiT): 이것은 마치 사진을 보고 다음 단계를 십자말풀이를 채우듯 단계별로 추측하는 데 능숙한 학생과 같습니다.
"시각-언어-행동" (Vision-Language-Action, VLA): 이것은 명령어를 읽고, 사진을 보고, 맥락을 동시에 이해할 수 있는 학생과 같습니다.
실험: 저자들은 다양한 "선생님"(다양한 카메라 뷰와 언어 입력)을 통해 이 학생들을 테스트했습니다. 그 결과, VLA 학생은 컴퓨팅 파워가 많을 때 더 빨리 배웠고, DiT 학생은 적은 전력으로 더 효율적이라는 것을 발견했습니다. 저자들은 누구나 사용할 수 있도록 "졸업한" 두뇌(모델 가중치)를 공개했습니다.

3. 시뮬레이터: ABC-Sim (The "Flight Simulator", 비행 시뮬레이터)

보통 로봇이 똑똑한지 확인하려면 실제 세상에서 직접 해보게 해야 합니다. 만약 실패한다면 무언가를 부수거나 재설정하는 데 몇 시간이 걸릴 수도 있습니다.

해결책: 저자들은 로봇을 위한 가상 현실 "비행 시뮬레이터"를 구축했습니다. 그들은 인간이 컴퓨터 게임 안에서 로봇을 원격 제어하여 만든 400시간 분량의 데이터를 생성했습니다.
마법 같은 효과: 저자들은 만약 로봇이 이 비디오 게임에서 잘 해낸다면, 실제 세상에서도 잘 해낼 것이라는 점을 증명했습니다. 이것은 "이 시뮬레이터에서 비행기를 조종할 수 있다면, 실제 하늘에서도 날 준비가 된 것과 같다"는 말과 같습니다. 이를 통해 연구자들은 물리적인 로봇을 갖추거나 파손 위험을 감수하지 않고도 자신의 아이디어를 테스트할 수 있습니다.

4. 시승 테스트: ABC-Eval (The "Driving Test", 운전 면허 시험)

그들은 단순히 "작동한다"라고 말하는 데 그치지 않고, 실제로 로봇을 여러 과제 속에 몰아넣었습니다.

결과: 로봇은 상자 접기, 물건 분류하기, 그리고 열쇠를 자물쇠에 넣는 것과 같은 섬세한 작업을 성공적으로 학습했습니다.
"DAgger" 기술: 가장 어려운 작업(상자 접기)에서 로봇은 계속 실패했습니다. 저자들은 DAgger라는 기법을 사용했습니다. 이것은 마치 운전 강사가 학생이 운전하도록 내버려 두되, 학생이 사고를 내기 직전의 순간에 핸들을 뺏어 바로잡은 뒤 다시 학생에게 시도하게 하는 것과 같습니다. 이러한 "수정하는 순간"들을 수집함으로써, 로봇은 실수로부터 회복하는 법을 배웠고 결국 상자 접기를 마스터했습니다.

핵심 요약

저자들의 메시지는 이렇습니다. "우리는 로봇 학습을 위한 전체 학교 시스템을 만들었습니다. 우리는 교과서(데이터), 선생님(모델), 연습 시험(시뮬레이션), 그리고 최종 테스트(실제 환경 결과)를 모두 갖추었습니다. 그리고 이 모든 것을 무료로 공개합니다."

그들의 목표는 로봇 학습이 부유한 기업들만의 비밀 클럽이 되지 않도록 하고, 모두가 함께 로봇을 가르치는 "ABC"를 배울 수 있는 커뮤니티의 노력으로 만드는 것입니다. 그들이 내일 당장 여러분의 빨래를 대신 해줄 로봇을 약속하는 것은 아니지만, 연구자들이 마침내 그런 로봇을 만들기 시작할 수 있도록 그 토대를 제공하고 있는 것입니다.

기술 요약: 오픈 데이터, 학습 및 평가를 통한 확장 가능한 행동 복제(ABC)

1. 문제 정의

행동 복제(Behavior Cloning, BC)를 통한 로봇 조작의 진보는 현재 재현성과 확장성의 부족으로 인해 정체되어 있습니다. 최첨단 시스템들은 대개 폐쇄형 데이터셋을 사용하는 독점적인 산업 연구소에서 개발되므로, 커뮤니티가 결과를 검증하거나 어떤 설계 선택이 성능을 주도하는지 이해하기 어렵습니다. 기존의 오픈 데이터셋은 규모가 불충분하거나, 값비싼 맞춤형 하드웨어에 의존하거나, 필요한 학습 인프라 및 평가 스위트가 부족하다는 단점이 있습니다. 더욱이, BC 정책에 대한 엄격한 평가는 비용이 많이 들고 물류적으로 까다로운 실제 환경에서의 확장을 요구하며, 이는 최전선의 발전이 불투명한 상태로 남게 만드는 병목 현상을 초래합니다.

2. 방법론 및 시스템 개요

저자들은 로봇 학습을 민주화하기 위해 설계된 완전한 오픈 소스 엔드 투 엔드 스택인 ABC를 소개합니다. 이 시스템은 네 가지 통합된 구성 요소로 이루어져 있습니다.

A. ABC-130K (데이터셋)

이번 릴리스의 핵심은 ABC-130K로, 현재까지 공개된 가장 큰 규모의 텔레오퍼레이션(원격 조종) 데이터셋입니다.

규모: 195개의 고유한 태스크에 걸친 134,806개의 에피소드로 구성된 3,553시간의 실제 양손 텔레오퍼레이션 데이터.
하드웨어: 저가형($8,000) 양손 YAM 로봇 플랫폼에서 수집되었습니다.
다양성: 태스크는 7가지 기본 카테고리(예: pick-and-place, 접기, 도구 사용, 조립)를 포괄하며, 상자 접기, 지갑에서 신용카드 꺼내기, 에어팟 삽입과 같은 매우 정교한 동작을 포함합니다.
메타데이터: 익명화된 운영자 ID, 타임스탬프, 그리고 서브골(subgoal) 주석이 달린 1,552시간의 서브셋(서브태스크 설명이 라벨링된 연속적 궤적)을 포함합니다.
기술적 과제: 저자들은 이 규모에서 인코딩된 비디오 프레임을 디코딩할 때 발생하는 처리량 병목 현상을 해결하기 위해 최적화된 데이터로더를 구현했습니다.

B. ABC-Models (아키텍처 및 학습)

본 논문은 대규모 BC를 위한 두 가지 주요 정책 패밀리를 조사하고, 실제 환경에서의 절제 실험(ablation)을 통해 아키텍처 선택을 비교합니다.

ABC-DiT: 경량 비전 및 언어 인코더를 갖춘 디퓨전 트랜스포머(Diffusion Transformer) 정책.
- 아키텍처: 32레이어 DiT 백본 (20억 파라미터).
- 주요 결과: 저자들은 글로벌 AdaLN 컨디셔닝을 **풀링된 크로스 어텐션(pooled cross-attention)**으로 교체하는 것이 조작에 필수적인 미세한 공간 정보를 보존한다는 것을 발견했습니다. 또한, CLIP 이미지 인코더를 DINOv3로 교체했을 때 성능이 크게 향상되었으며, 이는 픽셀 정렬된 표현(pixel-aligned representations)이 저수준 로봇 동작에 더 우수함을 시사합니다.
ABC-VLA: 디퓨전 액션 헤드를 가진 Gemma 3(40억 파라미터) 기반의 비전-언어-액션(Vision-Language-Action) 모델.
- 아키텍처: 액션 예측 목적 함수로 파인튜닝된 VLM 백본을 사용합니다.
- 커넥터 분석: 저자들은 세 가지 커넥터 메커니즘인 Cross-Attention, Cross-Attention + FAST (공동 학습), Adaptive LayerNorm (AdaLN)을 비교했습니다. AdaLN이 다른 방식들보다 뛰어난 성능(평균 진행도 61.4% vs FAST 32.6%)을 보였으며, 이는 디퓨전 그래디언트가 적절하게 인터페이스될 경우 VLM 특징과 호환될 수 있음을 시사합니다.
- 스케일링: 배치 크기(1.5k, 4.6k, 9.2k)를 탐구합니다. DiT가 연산량(FLOP-wise) 측면에서 더 효율적이지만, VLA는 더 큰 배치 사이즈(9.2k)에서 상당한 성능 도약을 보이며 결국 실제 작업에서 DiT를 능가합니다.

C. ABC-Sim (시뮬레이션 및 상관관계)

물리적 하드웨어 없이 반복 연구를 가능하게 하기 위해, 저자들은 고충실도 렌더링을 위한 Blender 파이프라인과 함께 MuJoCo로 구축된 10개의 시뮬레이션 태스크(예: 머그컵 뒤집기, 접시 싣기)를 제공합니다.

데이터: GELLO 리더 암을 사용하여 VR(Meta Quest/Apple Vision Pro)을 통해 수집된 400시간의 시뮬레이션 텔레오퍼레이션 데이터.
Sim-to-Real 상관관계: 저자들은 시뮬레이션과 실제 환경 성능 사이의 강한 상관관계( $r=0.85$ 엄격한 성공 기준, $r=0.91$ 작업 진행도 기준)를 입증하여, 시뮬레이션이 절제 실험을 위한 신뢰할 수 있는 대리 도구임을 검증했습니다.

D. ABC-Eval (평가)

이 스택은 100시간 이상의 실제 정책 롤아웃과 "엄격한 성공(Strict Success, 작업 완료)" 및 "진행도(Progress, 평균 작업 진행도)"와 같은 지표를 위한 루브릭을 포함한 표준화된 평가 스 suite를 포함합니다.

E. 고급 학습 기법

오프라인 지표: 본 논문은 **학습 손실(training loss)**과 **검증 액션 오차(validation action error, 예측된 액션과 실제 액션 간의 L2 거리)**가 실제 성능과 음의 상관관계를 가짐을 입증하여, 모델 선택을 위한 저렴한 대리 지표로서 기능함을 보여줍니다. 검증 손실(validation loss) 단독으로는 상관관계가 없는 것으로 나타났습니다.
정교한 태스크를 위한 DAgger: 박스 접기와 같이 단순 파인튜닝이 실패하는 복잡한 태스크를 위해, 저자들은 DAgger(Dataset Aggregation)를 사용합니다. 이들은 전체 데몬스트레이션을 수집하는 대신, 정책이 어려움을 겪을 때 개입하여 "회복 동작(recovery behaviors)"을 수집합니다. 이 접근 방식은 특정 데이터 혼합 비율(이전 데이터 80%, 현재 개입 10%, 현재 롤아웃 10%)과 결려 장기 실행(long-horizon) 태스크의 성능을 크게 향상시켰습니다.

3. 주요 결과

성능: 결과물인 베이스라인 정책(ABC-DiT 및 ABC-VLA)은 판지 상자 접기, 열쇠 자물쇠 삽입, 가방 챙기기 등을 포함한 정교한 태스크를 즉각적으로 수행합니다.
아키텍처: DINOv3와 풀링된 크로스 어텐션이 DiT를 위한 최적의 비전 표현으로 식별되었습니다. AdaLN은 VLA 모델의 컨디셔닝 메커니즘으로서 가장 우수한 것으로 식별되었습니다.
스케일링: 배치 크기를 9,216으로 늘리면 VLA 모델에서 상당한 이득을 얻어 DiT의 성능을 실제 지표에서 추월할 수 있지만, DiT는 여전히 FLOP 효율성이 높습니다.
파인튜닝: 다양한 ABC-130K 데이터셋에서의 프리트레이닝은 처음부터 학습하거나 더 작은 내부 데이터셋을 사용하는 것에 비해 다운스트림 단일 태스크 파인튜닝 성능을 크게 향상시킵니다.

4. 의의 및 주장

본 논문은 재현 가능한 툴킷(데이터, 모델, 인프라, 평가)을 제공함으로써 연구자들이 "동등한 위치"에 설 수 있게 한다고 주장합니다. 그 의의는 다음과 같습니다:

민주화: 로봇 조작 연구를 불투명하고 독점적인 산업 연구실에서 오픈 커뮤니티 중심의 기초로 이동시킵니다.
표준화: 건축적 및 학습적 결정을 엄격하게 비교할 수 있는 공통 벤치마크(ABC-130K)와 평가 프로토콜을 확립합니다.
효율성: 시뮬레이션과 오프라인 지표를 신뢰할 수 있는 대리 도구로 검증하여, 반복적인 모델 개발에 드는 비용과 시간을 줄입니다.
미래 연구를 위한 토대: 저자들은 ABC를 히스토리 컨디셔닝, BC의 스케일링 법칙, RL 파인튜닝에 관한 열린 질문에 답하기 위한 기반으로 설정하며, "커뮤니티와 함께 행동 복제의 ABC를 배워나가고자" 합니다.