💻 computer science

PrimitiveVLA: Learning Reusable Motion Primitives for Efficient and Generalizable Robotic Manipulation

PrimitiveVLA는 시연을 공유된 멀티모달 표현을 통해 재사용 가능한 동작 프리미티브로 분해하고 추론 시 이를 다시 결합하는 프리미티브 중심 프레임워크를 도입함으로써, 더 효율적인 학습과 복잡한 작업에 대한 강건한 제로샷 일반화를 가능하게 하여 시각-언어-행동(Vision-Language-Action) 모델의 데이터 비효율성과 낮은 일반화 문제를 해결합니다.

원저자: Yutai Li, Shaohui Peng, Jiaming Guo, Di Huang, Zihao Zhang, Yuxuan Guo, Yunkai Gao, Siming Lan, Ling Li, Xing Hu, Yunji Chen

게시일 2026-07-21

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yutai Li, Shaohui Peng, Jiaming Guo, Di Huang, Zihao Zhang, Yuxuan Guo, Yunkai Gao, Siming Lan, Ling Li, Xing Hu, Yunji Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 어제 배운 대로만 할 수 있는 서툴고 미리 프로그래밍된 기계가 아니라, 매뉴얼 없이도 새로운 종류의 병을 어떻게 여는지 혹은 이상하게 생긴 블록을 어떻게 쌓는지 스스로 알아내는 영리한 조력자가 되는 세상을 상상해 보십시오. 이것이 바로 로봇에게 보고, 듣고, 움직이는 법을 결합한 '두뇌'를 부여하는 '임보디드 AI(Embodied AI)'의 꿈입니다. 현재 과학자들은 '시각-언어-행동(Vision-Language-Action, VLA)' 모델이라는 것을 이용해 이러한 두뇌를 구축하려고 노력하고 있습니다. 이 모델들을 로봇의 '두뇌'라고 생각하면 쉽습니다. 이 두뇌는 사진을 보고, "컵을 탁자 위에 놓아줘"와 같은 문장을 읽은 뒤, 이를 실행하기 위해 어떤 근육을 어떻게 움직일지 결정합니다. 큰 문제는 현재의 로봇들이 새로운 것을 배우는 데 매우 서투르다는 점입니다. 이들은 특정 시험의 정답지를 통째로 외워버렸지만, 선생님이 문제의 숫자만 바꿔도 완전히 실패해 버리는 학생과 같습니다. 이들은 작업의 전체적이고 복잡한 경로를 한꺼번에 통째로 외우려 하기 때문에 학습 속도가 느리고 세상이 변할 때 쉽게 혼란에 빠집니다.

여기서 'PrimitiveVLA'라는 새로운 논문이 구원 투수로 등장합니다. 연구진은 로봇이 일반화에 서툰 이유가 거대하고 복잡한 작업을 하나의 크고 깨지지 않는 덩어리로 학습하려고 하기 때문이라고 주장합니다. 대신 그들은 더 똑똑한 방법, 즉 로봇에게 '프리미티브(primitives, 기본 단위)'를 학습시키는 방법을 제안합니다. 여러분이 요리를 배우는 과정을 상상해 보십시오. '스파게티 카르보나라'라는 레시피 하나를 하나의 거대하고 혼란스러운 단계로 통째로 외우는 대신, 여러분은 썰기, 끓이기, 젓기, 볶기와 같은 기본적인 동작들을 배웁니다. 일단 이 재사용 가능한 기본 동작들을 숙달하고 나면, 한 번도 본 적 없는 요리라도 이들을 조합하여 거의 모든 음식을 만들어낼 수 있습니다. 저자들은 로봇도 이와 같아야 한다고 제안합니다. 그들은 복잡한 로봇 작업을 학습 과정에서 잡기, 밀기, 들어 올리기와 같은 작고 재사용 가능한 '모션 프리미티브(motion primitives)'로 분해하는 시스템을 구축했습니다. 그러고 나서 로봇이 새롭고 까다로운 과제에 직면했을 때, 전체를 기억하려고 애쓰는 대신 문제를 해결하기 위해 적절한 기본 동작들의 순서를 조립하기만 하면 됩니다.

논문은 이 '분해 후 조립' 방식이 놀라울 정도로 효과적이라는 것을 보여줍니다. 테스트 결과, 이 방식으로 훈련된 로봇은 전체 데이터셋으로 훈련된 로봇만큼의 성능을 내면서도 필요한 연습 데이터 양은 절반밖에 필요하지 않았습니다. 하지만 진짜 마법은 로맷이 한 번도 본 적 없는 것들을 마주했을 때 일어났습니다. 예를 들어, 길고 복잡한 작업 세트에서 기존의 최상위 로봇 모델은 성공률이 약 30%에 불과했습니다. 그러나 PrimitiveVLA를 사용한 로봇은 성공률이 80%까지 뛰어올랐습니다. 더욱 인상적인 것은, 로봇이 전혀 접해보지 못한 완전히 새로운 과제에 직면했을 때, 이 새로운 방식이 기존 방식보다 성공률을 6배나 향상시켰다는 점입니다. 연구진은 이를 컴퓨터 시뮬레이션과 실제 물리적인 로봇 팔 모두에서 테스트했으며, 이는 로봇에게 전체 그림을 암기하게 하는 대신 기초를 먼저 마스터하게 하는 것이 진정으로 똑똑하고 적응력 있는 조력자로 만드는 열쇠임을 입증했습니다.

기술 요약: PrimitiveVLA

문제 정의

RT-2 및 OpenVLA와 같은 현재의 시각-언어-행동(Vision-Language-Action, VLA) 모델들은 다운스트림 로봇 작업에 적응할 때 상당한 데이터 효율성 및 일반화의 병목 현상에 직면해 있다. 저자들은 이러한 한계가 지배적인 직접 명령-제어 매핑(Direct Instruction-to-Control Mapping) 패러다임에서 기인한다고 주장한다. 이 전통적인 방식에서는 모델이 단일한 작업 궤적(monolithic task trajectories)을 학습하도록 강요하며, 이로 인해 모델은 재사용 가능한 불변의 물리적 운동 패턴을 배우기보다는 장면 특유의 시각적 패턴과 작업 맥락 간의 상관관계를 암기하게 된다. 결과적으로, 한 작업(예: 캐비닛 열기)에서 얻은 지식이 유사한 작업(예: 전자레인지 열기)으로 전이되지 못하여, 새로운 객체-기술 조합 및 장기적 과제(long-horizon tasks)에서 취약한 성능을 보인다.

방법론: PrimitiveVLA

이러한 문제를 해결하기 위해 저자들은 PrimitiveVLA를 제안하며, 이는 학습 패러다임을 단일 궤적 암기에서 프리미티브 중심의 분해 및 조립(Primitive-Centric Disassemble & Assemble) 방식으로 전환하는 프레임워크이다. 이 프레임워크는 공유된 **멀티모달 정규 표현(Multimodal Canonical Representation, MCR)**을 통해 통합되는 두 가지 별개의 단계로 작동한다.

1. 미세 조정 단계: 프리미티브 분해 (Fine-tuning Phase: Primitive Disassembly)

전체 궤적을 학습하는 대신, 이 프레임워크는 시연(demonstrations)을 재사용 가능한 운동 프리미티브(예: 잡기(Grasp), 밀기(Push), 돌리기(Twist)) 라이브러리로 분해한다. 이 단계는 자동화된 파이프라인을 통해 공개 데이터셋의 세밀한 레이블 부족 문제를 해결한다:

프리미티브 시퀀스 추론 (Primitive Sequence Reasoning): 시각-언어 모델(VLM)은 명시적인 경계 주석(boundary annotations) 없이도 작업 지침과 비디오 시연을 분석하여 필요한 프리미티브 시퀀스를 예측한다.
상태 기반 경계 분할 (State-Based Boundary Segmentation): LLM은 물리적 상태 변화(예: 그리퍼 너비, 말단 장치 높이)를 기준으로 각 프리미티브의 종료 기준을 정의하는 Python 코드를 생성한다. 이 코드는 궤적을 이산적인 프리미티브 샘플로 자동 분할한다.
학습 목표 (Learning Objective): VLA는 특정 작업 맥락이 아닌 근본적인 운동 패턴을 숙달하기 위해 이러한 분할된 샘플을 바탕으로 미세 조정된다.

2. 추론 단계: 프리미티브 조립 (Inference Phase: Primitive Assembly)

실행 중에는 시스템이 복잡하거나 새로운 작업을 해결하기 위해 학습된 프리미티브를 조립한다:

프리미티브 플래너 (Primitive Planner): VLM은 분해 라이의(Disassembly Library)에서 유사한 작업-프리미티브 시퀀스를 검색하고 현재 작업에 대한 상위 수준의 계획을 생성한다.
프리미티브 스위치 컨트롤러 (Primitive Switch Controller): LLM이 생성한 스위치 모듈은 폐루프(closed-loop) 방식으로 로봇의 상태를 모니터링한다. 이 모듈은 슬라이딩 히스토리 윈도우의 통계적 추세를 사용하여 프리미티브 간의 전환을 트리거함으로써, 센서 노이즈로 인한 조기 전환을 방지하고 견고한 실행 흐름을 보장한다.

3. 멀티모달 정규 표현 (Multimodal Canonical Representation, MCR)

프리미티브가 다양한 작업 간에 일관되게 유지되고 재사용될 수 있도록, 프레임워크는 입력을 통일하기 위해 MCR을 사용한다:

의미론적 통일 (Semantic Unification): 작업별 지침은 정규 프리미티브 지침으로 매핑된다 (예: "검은색 그릇을 잡아라"는 "녹색 마스크가 있는 객체를 잡아라"가 됨). 이는 모델이 텍스트의 변형이 아닌 프리미티브 정체성과 관련된 행동을 학습하도록 강제한다.
시각적 호환성 (Visual Compatibility): 원시 관측값은 객체 중심 마스크(SAM 및 Cutie 사용)로 변환된다. 이는 작업 특유의 맥락을 보존하면서도 VLA에 균일한 시각적 특징 형식을 제공하여, 운동 패턴을 특정 장면의 세부 사항으로부터 분리한다.

주요 기여

프리미티브 중심 패러다임: VLA 학습을 분해 불가능한 궤적을 암기하는 것에서 유한한 세트의 재사용 가능한 물리적 프리미티브를 숙달하는 것으로 전환하는 "분해 및 조립" 패러다임을 도입하였다.
PrimitiveVLA 프레임워크: MCR을 통해 미세 조정과 추론을 통합하는 모델 불가지론적(model-agnostic) 프레임워크이다. 이는 분해를 위한 자동화된 세분화 파이프라인과 조립을 위한 계층적 VLM-LLM 메커니즘을 특징으로 한다.
경험적 검증: 시뮬레이션 및 실제 환경 전반에서 데이터 효율성과 제로샷 일반화 성능의 상당한 향상을 입증하는 광범위한 실험을 수행하였다.

실험 결과

저자들은 Libero 제품군(Libero-90, Libero-90-Novel, Libero-Long 포함)과 RLBench 제품군, 그리고 실제 UR5e 로봇 설정에서 PrimitiveVLA를 평가하였다.

데이터 효율성: PrimitiveVLA는 제한된 데이터에서도 성능을 크게 향상시킨다. Libero-90에서 PrimitiveVLA는 OpenVLA의 성능을 9.2%, OpenVLA-OFT의 성능을 5.0% 높였다. 특히, 데이터의 50%만을 사용했을 때에도 PrimitiveVLA는 표준 OpenVLA의 전체 데이터 베이스라인보다 우수한 성능을 보였다.
제로샷 일반화 (OOD): 이 방법은 보지 못한 작업(Libero-90-Novel)에 대해 탁월한 일반화 능력을 보여주었다. 표준 OpenVLA 베이스라인(45.50%) 대비 6배의 개선을 달성했으며, SOTA인 $\pi0.5$ (56.00%)를 75.50%로 끌어올렸다.
장기적 과제 (Long-Horizon Tasks): 표준 모델들이 흔히 처참하게 실패하는(<5%) 장기적 과제(Libero-Long)에서, PrimitiveVLA는 $\pi0 \text{.} 5$ 의 성공률을 30.50%에서 80.25%로 높였다.
실제 환경 성능: 실제 실험에서 이 방법은 분포 내(in-distribution) 작업에 대해 **90%**의 평균 성공률을 달 Ach성하였으며, 보지 못한 객체에 대한 제로샷 일반화에서도 견고함을 보여주어 성공률을 10%에서 80%로 높였고, 베이스라인이 실패했던 구성적 작업(0%에서 60-70%)을 가능하게 했다.
절제 연구 (Ablation Studies): 결과는 MCR이 도메인 외 일반화의 주요 동력인 반면, 프리미티브 분해가 장기 실행의 안정성에 결정적임을 확인해주었다.

의의

본 논문은 물리적 상호작용을 재사용 가능한 프리미티브로 분해하는 것이 확장 가능한 Embodied AI에 필수적이라고 주장한다. 불변의 운동 패턴을 특정 작업 맥락으로부터 분리함으로써, PrimitiveVLA는 데이터 비효율성과 낮은 일반화라는 이중 병목 현상을 해결한다. 저자들은 이 접근 방식이 모델이 학습된 프리미티브를 유연하게 조립하여 새롭고, 보지 못한, 그리고 장기적인 과제를 해결할 수 있게 함으로써 직접 명령-제어 매핑의 한계를 넘어선다고 역설한다.

한계점: 저자들은 현재의 프리미티브 세트가 사전 정의된 운동학적 분류 체계(kinematic taxonomy)에 의존하고 있어, 매우 전문화된 정교한 조작(dexterous manipulations)을 다루지 못할 수 있다고 언급했다. 향후 연구는 비지도 학습 기반의 프리미티브 분해와 엔드 투 엔드 미분 가능한 플래닝을 탐구하는 것을 목표로 한다.