🤖 machine learning

SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding

SPEAR-1은 인터넷 이미지 데이터에 3D 주석을 추가하여 VLM의 공간 이해 능력을 강화함으로써, 기존 로봇 모델보다 20배 적은 시연 데이터만으로도 뛰어난 성능을 보이는 3D 인지 기반 로봇 파운데이션 모델입니다.

원저자: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 배경: "눈치 없는 로봇 요리사"

지금까지의 로봇 인공지능(VLA 모델)은 마치 **'레시피만 달달 외운 요리사'**와 같았습니다.
"당근을 집어서 접시에 놓으세요"라는 명령을 받으면, 자기가 연습했던 똑같은 주방, 똑같은 각도의 조명, 똑같은 위치의 당근이 있을 때만 완벽하게 해냈죠.

하지만 만약 주방 조명이 바뀌거나, 당근이 조금 옆으로 옮겨져 있으면 로봇은 당황해서 허둥대거나 엉뚱한 곳을 집어버립니다. 왜냐하면 이 로봇들은 사진(2D)은 볼 줄 알지만, 물체가 실제로 공간 속 어디에 있는지(3D)에 대한 **'입체적인 감각'**이 부족했기 때문입니다.

💡 SPEAR-1의 해결책: "공간 지각 능력을 키워준 훈련법"

연구팀은 로봇에게 단순히 "움직이는 법"만 가르치는 대신, 두 단계에 걸친 특별한 훈련을 시켰습니다.

1단계: "눈치와 공간 감각 키우기" (SPEAR-VLM)

로봇에게 직접 움직임을 가르치기 전에, 먼저 **'세상을 입체적으로 보는 법'**을 가르쳤습니다.
비유하자면, 요리 연습을 하기 전에 **'공간 지각 능력이 뛰어난 눈'**을 만들어준 거예요.

로봇에게 수많은 일반 사진(로봇 데이터가 아닌 일반 이미지)을 보여주며 퀴즈를 냈습니다.

"저 사과가 카메라로부터 몇 cm 떨어져 있니?"
"컵의 모서리 좌표는 어디니?"

이 과정을 통해 로봇은 사진 한 장만 보고도 **"아, 저 물체는 저 정도 깊이에 있고, 저 정도 크기구나!"**라는 입체적인 감각(3D Understanding)을 갖게 되었습니다.

2단계: "실전! 로봇 조종하기" (SPEAR-1)

이제 입체적인 눈을 가진 로봇에게 실제 로봇 팔을 움직이는 법을 가르칩니다.
이미 '공간 감각'이 탑재된 상태이기 때문에, 로봇은 훨씬 적은 양의 연습(로봇 동작 데이터)만으로도 훨씬 빠르게 배울 수 있었습니다.

🚀 이 논문이 대단한 이유 (핵심 성과)

"가성비 끝판왕" (데이터 효율성)
기존의 똑똑한 로봇 모델들은 엄청나게 많은 양의 로봇 동작 데이터를 먹어야 겨우 똑똑해졌습니다. 하지만 SPEAR-1은 기존 모델보다 무려 20배나 적은 데이터만 쓰고도 비슷하거나 더 뛰어난 실력을 보여주었습니다. (마치 남들이 1,000번 연습할 때, 원리를 깨우쳐서 50번만 연습하고도 똑같이 잘하는 것과 같습니다!)
"처음 가본 주방에서도 척척" (제로샷 성능)
연습하지 않은 완전히 새로운 환경(새로운 조명, 새로운 배경)에 로봇을 가져다 놓아도, SPEAR-1은 당황하지 않고 명령을 수행합니다. 공간을 이해하고 있기 때문에 물체가 어디에 있든 찾아낼 수 있는 것이죠.

🌟 요약하자면?

"로봇에게 단순히 '동작'만 가르치지 말고, 먼저 '세상이 어떻게 입체적으로 생겼는지'를 가르쳐라!"

이것이 SPEAR-1의 핵심 비결입니다. 덕분에 로봇은 훨씬 적은 공부량으로도, 처음 가본 낯선 환경에서 사람처럼 능숙하게 물건을 집고 옮길 수 있게 되었습니다.

[기술 요약] SPEAR-1: 3D 이해를 통한 로봇 시연 데이터의 한계 극복

1. 문제 정의 (Problem Statement)

현재의 로봇 파운데이션 모델(Robotic Foundation Models, RFMs) 및 시각-언어-행동(VLA) 모델들은 다음과 같은 근본적인 한계에 직면해 있습니다.

3D 공간 추론 능력의 부재: 대부분의 VLA 모델은 인터넷 규모의 2D 이미지-텍스트 데이터로 사전 학습된 시각-언어 모델(VLM)을 기반으로 합니다. 이들은 2D 세만틱(Semantic) 이해에는 뛰어나지만, 로봇 제어에 필수적인 **3D 공간 기하학적 구조(Geometric understanding)**에 대한 이해가 부족합니다.
데이터 효율성 및 확장성 문제: 3D 이해력을 높이기 위해 대규모 로봇 시연 데이터를 직접 사용하는 방식은 비용이 매우 높고 수집이 어렵습니다. 이로 인해 새로운 환경, 새로운 작업, 새로운 로봇 형태(Embodiment)에 대한 제로샷(Zero-shot) 일반화 성능이 떨어지는 문제가 발생합니다.
일반화의 한계: 기존 모델들은 학습된 환경과 유사한 '장난감' 환경에서는 잘 작동하지만, 카메라 위치가 바뀌거나 배경이 다른 실제 복잡한 환경(예: Franka DROID 설정)에서는 성능이 급격히 저하됩니다.

2. 핵심 방법론 (Methodology)

SPEAR-1은 로봇 데이터가 아닌, **"3D 주석이 달린 일반 이미지 데이터"**를 활용하여 VLM의 공간 지각 능력을 먼저 강화하는 2단계 학습 파이프라인을 제안합니다.

Stage 1: SPEAR-VLM (3D-aware VLM 구축)

로봇 학습에 들어가기 전, VLM이 3D 공간을 이해하도록 만드는 단계입니다.

아키텍처 확장: 기존 PaliGemma 모델에 단안 깊이 추정기(Monocular depth encoder)인 MoGe를 통합하여 시각적 특징(SigLIP)과 깊이 정보(MoGe)를 결합합니다. 또한, 3D 좌표를 표현하기 위해 1,024개의 새로운 3D 토큰을 토크나이저에 추가했습니다.
데이터 생성 파이프라인: 로봇 데이터가 아닌 일반 2D 이미지(EgoExo4D 등)를 사용하여, Gemini(객체 탐지), SAM2(세그멘테이션), MoGe(3D 포인트 클라우드)를 결합해 3D 바운딩 박스, 객체 간 거리, 3D 키포인트 등의 주석을 자동으로 생성합니다.
VQA 학습: "객체 X의 3D 바운딩 박스 좌표는 무엇인가?"와 같은 3D 추론 중심의 시각 질의응답(VQA) 태스크로 VLM을 미세 조정합니다.

Stage 2: SPEAR-1 (Embodied Control 학습)

강화된 SPEAR-VLM을 기반으로 실제 로봇 동작을 학습하는 단계입니다.

Action Expert: VLM의 중간 특징(Key-Value pairs)을 참조하여 로봇의 관절/말단 장치 동작을 예측하는 Flow Matching 기반의 액션 전문가 모듈을 결합합니다.
S3 매니폴드 기반 Flow Matching: 회전(Rotation) 표현의 안정성을 위해 유닛 사원수(Unit Quaternion) 공간인 S3 매니폴드 상에서 Flow Matching을 수행하여 회전 제어의 정확도를 높였습니다.
데이터 효율성: 로봇 시연 데이터(Open X-Embodiment)를 사용하여 학습하되, Stage 1에서 얻은 3D 지식 덕분에 훨씬 적은 양의 데이터로도 높은 성능을 냅니다.

3. 주요 기여 (Key Contributions)

SPEAR-VLM 개발: 제어에 특화된 3D 이해 능력을 갖춘 VLM을 제안하였으며, 이는 단순한 2D 인식을 넘어 3D 좌표 및 공간 관계를 예측할 수 있습니다.
데이터 효율적 학습 전략: 로봇 시연 데이터의 양을 획기적으로 줄이면서도 성능을 높일 수 있음을 증명했습니다. (비로봇 3D 이미지 20만 장을 사용하여, 9억 프레임 이상의 로봇 데이터로 학습된 모델보다 우수한 성능을 보임)
강력한 제로샷 일반화: 학습하지 않은 새로운 환경과 로봇(Franka DROID 등)에서도 별도의 미세 조정 없이 높은 성능을 발휘하는 오픈 소스 로봇 파운데이션 모델을 구축했습니다.

4. 실험 결과 (Results)

Franka (DROID) 환경: 가장 도전적인 환경인 Franka DROID 설정에서, SPEAR-1은 기존의 강력한 모델인 $\pi_0$ -FAST를 능가하며, 훨씬 더 많은 데이터를 사용한 $\pi_0.5$ 와 대등한 성능을 기록했습니다. (로봇 데이터 사용량은 20배 적음)
WidowX 환경: SIMPLER 시뮬레이션 및 실제 WidowX 로봇 실험에서 OpenVLA 등 기존 SOTA(State-of-the-art) 모델보다 평균 작업 진행률(Task Progress)이 약 10% 이상 높게 나타났습니다.
3D Ablation: 실험을 통해 MoGe 깊이 인코더의 통합과 객체 단위의 3D VQA 태스크가 VLA의 최종 제어 성능을 높이는 데 결정적인 역할을 함을 확인했습니다.

5. 의의 및 결론 (Significance)

본 논문은 **"로봇 제어 능력을 키우기 위해 반드시 로봇 데이터만 필요한 것은 아니다"**라는 중요한 통찰을 제시합니다.

비로봇 데이터(인터넷 이미지)에 3D 기하학적 정보를 입혀 VLM의 기초 체력을 기르는 방식은, 데이터 수집 비용이 매우 높은 로봇 분야에서 **확장성(Scalability)**을 확보할 수 있는 매우 유망한 경로임을 입증했습니다. 이는 향후 더 적은 로봇 데이터로도 더 똑똑하고 일반화 능력이 뛰어난 로봇 지능을 만들 수 있는 가능성을 열어주었습니다.