🤖 machine learning

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip은 표현, 동작, 행동 차원 전반에 걸친 통합 정렬 프레임워크를 활용하여 약 38,100시간의 오픈 소스 코퍼스에 대한 대규모 학습을 가능하게 함으로써, 다양한 로봇 플랫폼과 분포 외(out-of-distribution) 벤치마크에서 최첨단 성능과 창발적 일반화 능력을 달성하는 범용 시각-언어-행동 파운데이션 모델입니다.

원저자: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An

게시일 2026-06-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 Qwen-RobotManip 기술 보고서를 일상적인 언어와 비유를 사용하여 쉽게 풀어서 설명한 내용입니다.

핵심 아이디어: 로봇에게 인간처럼 "생각하는 법" 가르치기

당신이 로봇에게 집안일을 하는 법을 가르치고 싶다고 상상해 보세요. 과거에 과학자들은 특정 작업을 수행하는 다른 로봇들의 영상을 수천 개 보여주는 방식으로 로봇을 가르치려 했습니다. 하지만 이것은 강아지에게 체스를 두는 법을 가르치기 위해 다른 강아지들이 체스를 두는 영상을 보여주는 것과 같습니다. 비용이 많이 들고, 데이터도 희귀하며, 만약 새로운 로봇의 모습이 조금이라도 다르면(팔의 모양이 다르면) 혼란에 빠집니다.

Qwen-RobotManip 팀은 다른 질문을 던졌습니다: AI 챗봇을 똑똑하게 만든 것과 같은 "스케일링 레시피(scaling recipe)"를 로봇에게도 적용할 수 있을까?

챗봇이 똑똑해진 이유는 인터넷에 있는 모든 것—책, 포럼, 기사, 그리고 영상—을 읽었기 때문입니다. 그들은 모든 텍스트가 "정렬(aligned)"되어 있었기에(모두 같은 언어를 사용했기에) 아이디어를 연결하는 법을 배웠습니다. 팀은 로로봇에게도 똑같이 적용할 수 있는지 확인하고 싶었습니다. 즉, 사용 가능한 모든 로봇 데이터(서로 다른 로봇의 데이터라도)와 사용 가능한 모의 인간 손 동작 영상을 모두 섞어서, 로봇이 단 하나의 특정 작업이 아니라 세상을 일반적인 관점에서 이해하도록 가르치는 것입니다.

문제점: 로봇 사이의 "언어 장벽"

팀은 큰 문제가 있다는 것을 깨달았습니다. 텍text는 정렬하기 쉽습니다. "고양이(cat)"라는 단어는 어떤 책에서도 똑같은 의미를 갖습니다. 하지만 로봇 데이터는 무질서합니다.

서로 다른 신체: 어떤 로봇은 긴 팔을 가졌고, 다른 로봇은 짧은 팔을 가졌습니다. 어떤 로봇은 두 손이 있고, 다른 로봇은 한 손뿐입니다.
서로 다른 시점: 어떤 카메라는 위에서 내려다보고, 어떤 카메라는 옆에서 봅니다.
서로 다른 언어: 어떤 로봇은 움직임을 "관절 각도"(팔꿈치가 얼마나 굽혀지는지)로 기록하고, 다른 로봇은 "3D 공간"(방 안에서 손이 어디에 있는지)으로 기록합니다.

이 모든 데이터를 그냥 믹서기에 넣고 돌려버리면 로봇은 머리가 아파질 것입니다. 이는 마치 통역사 없이 프랑스어, 일본어, 스페인어 화자들이 동시에 소리 지르는 것을 들으며 언어를 배우려는 것과 같습니다. 신호들이 서로 충돌하여 로봇은 아무것도 배울 수 없게 됩니다.

해결책: "만능 번역기"

이를 해결하기 위해 팀은 만능 번역기 역할을 하는 로봇의 뇌, Qwen-RobotManip을 구축했습니다. 그들은 단순히 데이터를 쏟아부은 것이 아니라, 로봇을 가르치기 전에 모든 것을 공통된 언어로 번역하는 엄격한 규칙을 만들었습니다.

그들은 세 가지 요소를 정렬했습니다:

신체 (표현 방식): 그들은 "표준화된 신체 지도"를 만들었습니다. 로봇이 인간형 팔이든 단순한 그리퍼(집게)든 상관없이, 뇌는 그 움직임을 하나의 공유된 형식으로 번형합니다.
시점 (움직임): 로봇에게 "팔꿈치를 30도 굽혀라"라고 말하는 대신, "그 컵을 향해 손을 움직여라"라고 가르칩니다. 이들은 모든 움직임을 카메라의 시점에 고정합니다. 카메라가 컵을 왼쪽으로 이동시키면, 로봇은 자신의 관절이 어떻게 움직이는지와 상관없이 왼쪽으로 움직이는 법을 배웁니다. 이는 핸들을 얼마나 돌려야 하는지를 외우는 것이 아니라, 도로를 보면서 운전을 배우는 것과 같습니다.
맥락 (행동): 그들은 로봇에게 "기억 창(memory window)"을 주었습니다. 움직임을 만들기 전, 로봇은 바로 직전의 행동을 살펴봅니다. 이는 마치 사람이 물건이 미끄러지는 것을 느꼈을 때 움켜쥐는 힘을 조절하는 것처럼, 로잡이 상황에 맞춰 즉각적으로 적응하도록 돕습니다.

데이터: "인간에서 로봇으로"의 마법 같은 기술

팀은 이 뇌를 훈련시키기 위해 방대한 양의 데이터가 필요했습니다. 하지만 값비싼 로봇 녹화 영상 수백만 시간은 가지고 있지 않았습니다. 그래서 그들은 영리한 기술을 사용했습니다: 인간-로봇 합성(Human-to-Robot Synthesis).

출처: 그들은 인간이 과업(요리나 청소 등)을 수행하는 수천 시간의 영상을 수집했습니다. 이 영상들은 1인칭 시점(고프로를 착용한 듯한 시점)으로 촬영되었습니다.
마법: 그들은 AI를 사용하여 영상 속의 인간 손을 로봇 팔로 "교체"했습니다.
- 비유: 인간 셰프가 채소를 써는 영상을 찍었다고 상상해 보세요. AI는 인간의 손이 움직이는 것을 관찰하여 칼이 어디에 있어야 하는지 파악한 다음, 인간의 손을 디지털로 제거하고 그 자리에 로봇 팔을 렌더링하여 로봇 팔이 정확히 똑같은 동작으로 채소를 썰도록 만듭니다.
결과: 그들은 1,900시간의 인간 영상을 15가지 유형의 로봇에 걸친 24,800시간의 로봇 데이터로 변환했습니다.

결과적으로, 그들은 오직 오픈 소스 데이터만을 사용하여 총 38,100시간의 훈련 라이브러리를 구축했습니다 (비밀 기업 데이터는 사용하지 않았습니다).

결과: 실제로 효과가 있는가?

팀은 두 가지 방식으로 이 로봇의 뇌를 테스트했습니다:

"교과서" 테스트: 로봇이 훈련받았던 것과 정확히 똑같은 방과 물체를 보는 표준 테스트입니다. 여기서 로봇은 잘 작동했지만, 다른 모델들도 잘 작동했습니다.
"실제 환경" 테스트 (OOD): 여기서 마법이 일어났습니다. 그들은 새로운 방, 새로운 물체, 다른 조명, 심지어 한 번도 본 적 없는 로봇을 사용하여 테스트했습니다.

발견된 사실:

일반화 능력: 다른 로봇들이 조명이 바뀌거나 테이블이 움직였을 때 실패한 반면, Qwen-RobotManip은 계속해서 작동했습니다. 이 모델은 단순히 시각적 패턴을 따라 하는 것이 아니라, 작업의 개념을 이해하고 있었습니다.
신체 간 전이 (Cross-Body Transfer): 그들은 두 팔이 있는 로봇(AgileX)으로 훈련시킨 후, 한 번도 본 적 없는 완전히 다른 로봇(Franka나 UR5 암 등)으로 테스트했습니다. 이 모델은 다른 모델들이 실패한 지점에서 성공했습니다.
자기 수정: 실제 테스트에서 로봇이 물건을 떨어뜨렸을 때, 그냥 포기하는 것이 아니라 인간처럼 움켜쥐는 힘을 조절하며 다시 시도했습니다.
지시 이행: 만약 "빨간 컵을 집어 들어"라고 말하면, 컵이 이상한 위치에 있거나 조명이 나쁘더라도 빨간 컵을 집어 들었습니다. 다른 모델들은 종종 지시를 무시하고 그냥 가장 가까이 있는 것을 잡곤 했습니다.

요점

이 논문은 똑똑한 로봇을 만드는 비결은 단순히 더 많은 데이터를 수집하는 것이 아니라, 데이터를 먼저 올바르게 **정렬(aligning)**하는 것이라고 주장합니다.

이것은 도서관을 짓는 것과 같습니다. 서로 다른 언어, 크기, 형식을 가진 책들을 그냥 쌓아두면 아무도 읽을 수 없습니다. 하지만 그 책들을 모두 하나의 표준 언어로 번翻译하고 동일한 선반에 정리한다면, 무엇이든 읽을 수 있습니다.

Qwen-RobotManip은 모든 로봇 및 인간 데이터를 "공통 언어(카메라에 정렬된 동작)"로 번역함으로써, 로봇을 진정한 **범용 전문가(generalist)**로 훈련할 수 있음을 증证明했습니다. 즉, 처음부터 다시 훈련할 필요 없이 새로운 작업을 배우고 서로 다른 신체에서도 작동할 수 있게 된 것입니다. 그들은 오직 무료인 오픈 데이터를 사용하여 이를 달성했으며, 이는 우리가 적절한 "번역 도구"만 가지고 있다면 똑똑한 로봇을 만드는 장벽이 생각보다 낮을 수 있음을 시사합니다.

기술 요약: Qwen-RobotManip: 로봇 조작 파운데이션 모델을 위한 정렬(Alignment)의 스케일 확장성 확보

문제 정의

언어 및 멀티모달리티 분야의 파운데이션 모델들은 이질적인 데이터 소스를 통일된 공식 아래 정렬함으로써 강력한 일반화 성능을 달ach했습니다. 반면, 로봇 조작에 이러한 "스케일링 레시피(scaling recipe)"를 적용하는 것은 여전히 큰 과제로 남아 있습니다. 텍스트와 달리 조작 데이터는 본질적으로 이질적이며, 수집 비용이 높고 다양성이 낮습니다. 현재의 시각-언어-행동(VLA) 모델들은 표준 인-디스트리뷰션(in-distribution) 벤치마크에서는 우수한 성능을 보이지만, 범위를 벗어난 설정(예: 다른 로봇 형태, 시각적 섭동, 미학습 지시문 등)에서 테스트할 경우 표면적인 일반화에 그치는 경우가 많습니다. 핵심 문제는 통일된 정렬 프레임워크 없이는 다양한 형태(embodiment)에 걸친 데이터 볼륨을 확장할 때, 서로 호환되지 않는 관측 및 행동 표현으로 인해 시너지가 아닌 간섭(interference)이 발생하여 모델이 전이 가능한 물리적 기술을 학습하는 것을 방해한다는 점입니다.

방법론

1. 통합 교차 형태(Cross-Embodiment) 정렬 프레임워크

Qwen-RobotManip의 핵심은 대규모 멀티 소스 학습을 일관되게 만드는 통합 정렬 프레임워크입니다. 이 프레임워크는 세 가지 차원에서 작동합니다:

표현 정렬(Representation Alignment): 모델은 80차원의 정형 상태-행동 벡터(canonical state-action vector)를 활용합니다. 이 구조는 다양한 로봇 형태(단일 암, 양팔, 데크스트러스 핸드, 모바일 베이스)를 수용할 수 있도록 특정 자유도(DoF)를 고정된 의미론적 슬롯(관절 위치, 말단 장치 포즈, 그리퍼 상태)에 매핑하고, 사용되지 않는 차원은 제로 패딩(zero-padding) 처리합니다. 차원별 바이너리 마스크를 통해 그래디언트가 의미론적으로 채워진 항목을 통해서만 흐르도록 보장합니다.
모션 정렬(Motion Alignment): 서로 다른 데이터셋 간의 좌표계 파편화 문제를 해결하기 위해, 모델은 말단 장치(end-effector) 행동에 대해 **카메라 프레임 델타 포즈 표현(camera-frame delta pose representation)**을 채택합니다. 로봇 베이스 프레임에서의 절대적 포즈 대신, 행동을 카메라 좌표계에서의 상대적 델타 값으로 표현합니다. 이를 통해 시각적으로 유사한 동작들이 서로 다른 형태 간에도 수치적으로 근접하게 되어, 교차 형태 간 전이를 용이하게 합니다. 카메라 기하 구조는 카메라 위치 인코딩(CaPE)을 통해 행동 전문가(action expert)에 주입됩니다.
행동 정렬(Behavioral Alignment): 모델은 인-컨텍스트 정책 적응(in-context policy adaptation) 메커니즘을 사용합니다. 현재의 행동 예측을 동일 에피소드의 최근 실행 이력(관측-행동 쌍)의 구조화된 윈도우에 조건화함으로써, 모델은 파라미터 업데이트 없이도 현재 로봇의 특정 운동학적 특징과 행동 역학에 적응합니다. 학습 중 수행되는 확률적 컨텍스트 샘플링은 모델이 최근성 편향(recency shortcuts)에 의존하는 것을 방지하여, 일관된 행동 프로필을 학습하도록 강제합니다.

2. 확장 가능한 멀로 소스 데이터 코퍼스

필요한 규모를 달성하기 위해, 저자들은 독점적인 데이터 수집을 피하고 오직 오픈 소스 데이터셋과 인간 시연 영상을 사용하여 약 38,100시간의 사전 학습 코퍼스를 구축했습니다.

인간-로봇 합성(Human-to-Robot Synthesis): 약 1,933시간의 1인칭 시점 인간 손 조작 영상을 15가지 서로 다른 로봇 플랫폼에 대한 로봇 궤적으로 변환하는 파이프라인을 구축했습니다. 여기에는 행동 리타겟팅(손 키포인트를 그리퍼 포즈로 매핑), 시각적 정렬(인간의 손을 인페인팅하고 로봇 모델을 렌더링), 베이스 포즈 최적화가 포함됩니다. 이 과정을 통해 약 24,808시간의 합성 데이터를 얻었습니다.
데이터 큐레이션: 이질적인 데이터에서 급격한 변화, 상태-행동 추세 불일치, 극단값, 운동학적 일관성(순운동학 체크)을 필터링하는 엄격한 다단계 파이프라인을 적용했습니다. 또한 지시문 일관성 및 비디오-상태 중첩에 대한 교차 모달 품질 검사도 포함됩니다.
시각-언어 공동 학습(Vision-Language Co-training): 지각 및 추론 능력의 파괴적 망각을 방지하기 위해, 모델은 조작 코퍼스와 선별된 시각-언어(VL) 스트림(~2,800만 데이터 포인트)을 공동 최적화하는 이중 스트림 전략을 통해 학습됩니다. VL 스트림에는 체화된 사고 사슬(Embodied Chain-of-Thought, ECoT) 추론, 1인칭 시점 비디오 이해, 일반 공간 추론 과제가 포함됩니다.

3. 모델 아키텍처

Qwen-RobotManip은 멀티모달 입력을 인코딩하는 Qwen-VL(Qwen3.5-4B) 백본을 기반으로 구축되었습니다. 행동 생성은 행동 전문가 역할을 하는 **플로우 매칭 디퓨전 트랜스포머(Flow-Matching Diffusion Transformer, DiT)**에 의해 처리됩니다. 백본과 전문가는 크로스 어텐션(cross-attention)을 통해 결합되며, 여기서 전문가는 공간적 관측과 언어적 지시문에 행동 예측을 접지(grounding)합니다. 모델은 연속적인 행동 생성을 위해 속도장(velocity fields)을 예측하는 플로우 매칭 목적 함수로 학습됩니다.

주요 기여

통합 정렬 프레임워크: 다양한 형태 간의 일관된 학습을 가능하게 하는 정형 상태-행동 표현, 카메라 프레임 델타 포즈 파라미터화, 인-컨텍스트 정책 적응의 도입.
확장 가능한 데이터 엔진: 인간-로봇 합성 파이프라인과 큐레이션 프로세스를 통해 약 38,100시간의 조작 데이터를 오픈 소스로서 집계하여, 대규모 사전 학습이 독점 데이터 없이도 가능하다는 것을 입증함.
새로운 평가 표준: 인-디스트리뷰션 벤치마크에서 아웃-오브-디스트리뷰션(OOD) 평가로의 전환. 논문은 새로운 벤치마크(지시문 준수 능력을 위한 RoboTwin-IF, 교차 형태 전이를 위한 RoboTwin-XE)를 도입하고, 기존 OOD 설정(LIBERO-Plus, RoboCasa365, EBench)을 활용하여 진정한 일반화 성능을 측정함.
실세계 검증: 네 가지 물리적 플랫폼(AgileX ALOHA, Franka, UR, ARX)에 대한 광범로한 검증을 수행하였으며, RoboChallenge Table30-v1 제너럴리스트 트랙에서 1위를 차지함.

결과

Qwen-RobotManip은 모든 OOD 평가 축에서 기존의 최첨단 모델( $\pi0.5$ , GR00T-N1.7, StarVLA 포함) 대비 상당한 개선을 보여주었습니다:

태스크 및 장면 일반화: LIBERO-Plus에서 $\pi0.5$ 보다 7.0포인트, 까다로운 RoboTwin-Clean2Rand Hard 설정에서 21.5포인트, EBench에서 18.5포인트 높은 성능을 기록했습니다.
지시문 준수: 새로운 RoboTwin-IF 벤치마크에서 72.2%를 달성하여 $\pi0.5$ 대비 22.6포인트 향상되었으며, 이는 강력한 언어 조건화 능력을 나타냅니다.
교차 형태 전이: 제로샷 전이 테스트(AgileX로 학습하고 ARX, UR5, Franka로 테스트)에서 카메라 프레임 EEF 행동을 사용하여 23.9%의 성공률을 달성했는데, 이는 $\pi0.5$ (7.5%)보다 3.2배 높은 수치이며 조인트 공간(joint-space) 베이스라인들을 크게 상회합니다.
실세계 성능: RoboChallenge Table30-v1 제너럴리스트 트랙에서 45%의 성공률과 59.83의 프로세스 점수를 기록하며 1위를 차지했습니다. 또한 잡기(grasp) 실패 시 자발적인 재시도 행동이나 감자튀김을 붓거나 케이블을 꽂는 것과 같은 복잡한 작업에서의 견고한 양손 협응력과 같은 창발적 능력을 보여주었습니다.
스케일링 법칙: 절제 연구(Ablation studies)를 통해 적절한 정렬(UnifiedEEF)이 이루어질 경우 성능이 데이터 볼륨에 따라 로그-선형적으로 확장되는 반면, 정렬되지 않은 표현은 스케일링 이득을 보여주지 못함을 확인했습니다.

의의 및 주장

본 논문은 정렬이 로봇 공학을 위한 데이터 스케일링의 전제 조건이라고 주장합니다. 물리적 움직임을 다양한 형태 간에 수치적으로 일관되게 만드는 통일된 공식 없이는, 데이터 볼륨을 늘리는 것이 개선된 능력보다는 상충하는 신호를 생성할 뿐입니다.

저자들은 Qwen-RobotManip이 언어 모델의 스케일링 레시피가 로봇 공학에도 적용될 수 있는지에 대한 긍정적인 답변을 제공한다고 주장합니다. 정렬을 우선시함으로써, 모델은 오직 오픈 소스 데이터만을 사용하여 창발적 일반화 능력(제로샷 지시문 준수, 섭동에 대한 견고성, 반응적 오류 복구, 교차 형태 전이 포함)을 달성했습니다.

나아가, 본 논문은 표준 인-디스트리뷰션 벤치마크가 파운데이션 모델의 능력을 나타내는 충분한 대리 지표가 될 수 없으며, 종종 진정한 일반화보다 패턴 암기를 보상하는 경향이 있다고 지적합니다. 저자들은 OOD 평가 설정을 로봇 파운데이션 모델을 측정하는 "북극성(north star)"으로 옹호하며, 진정한 일반화는 모델이 보지 못한 태스크, 환경, 형태에 대해 테스트될 때 비로소 드러난다고 주장합니다. 이 연구는 견고한 합성 및 큐레이션 인프라가 갖춰진다면 조작 파운데이션 모델을 위한 데이터 장벽이 예상보다 낮을 수 있음을 시사합니다.