From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors

이 논문은 2D 인코더의 공간적 한계를 극복하고 RGB 만으로 강력한 3D 기하학적 사전 지식을 제공하며, 언어 추론을 보존하기 위해 공간 토큰을 행동 헤드로만 주입하는 새로운 패러다임인 FALCON 을 제안하여 다양한 시뮬레이션 및 실세계 작업에서 최첨단 성능을 달성함을 보여줍니다.

핵심

🤖 문제: "눈은 좋지만, 공간감은 없는 로봇"

지금까지의 로봇 (VLA 모델) 은 마치 2D 만화책을 읽는 사람과 비슷했습니다.

• 장점: 카메라로 본 사진 (2D 이미지) 과 사람의 말 (언어) 을 아주 잘 이해합니다. "과일 가져와"라고 하면 어떤 과일인지, 어디에 있는지 언어적으로 파악하죠.
• 단점: 하지만 실제 세상은 **3D(입체)**입니다. 로봇은 사진만 보고 "이 사과가 얼마나 멀리 있는지", "얼마나 높은 곳에 있는지", "손이 닿을 수 있는 높이인가?"를 정확히 계산하지 못했습니다.
  • 비유: 평면 지도만 보고 산을 오르는 것과 같습니다. "산 정상까지 5km"라고 적혀 있어도, 실제로는 가파른 절벽이 있는지, 계단이 있는지 모르고 넘어가다 넘어지거나 길을 잃기 쉽죠.

이 때문에 로봇은 물체의 크기가 조금만 달라지거나, 배경이 바뀌면 당황해서 일을 못 하거나, 물건을 떨어뜨리는 실수를 자주 했습니다.

---

🦅 해결책: FALCON(팔콘) 의 등장

저자들은 이 문제를 해결하기 위해 FALCON이라는 새로운 로봇 두뇌를 개발했습니다. FALCON 은 로봇에게 **'공간 감각 (3D 감각)'**을 선물합니다.

1. "눈"에서 "손"으로 직접 연결하기 (공간 토큰 주입)

기존 방식은 로봇의 '언어 이해부 (대뇌)'에 3D 정보를 억지로 섞어서 이해시키려 했습니다. 하지만 이는 언어 능력을 흐리게 만들었습니다.

• FALCON 의 방식: 언어 이해부 (대뇌) 는 "무엇을 해야 할지"만 생각하고, **직접적인 공간 정보 (깊이, 거리, 높이)**는 로봇의 **손을 움직이는 부위 (소뇌)**에 직접 전달합니다.
• 비유: 요리사가 "소스 좀 짜줘"라고 말하면 (대뇌), 소금통을 들고 정확한 위치와 양을 조절하는 것은 손의 감각 (소뇌) 이 담당하는 것과 같습니다. FALCON 은 이 두 가지 역할을 명확히 나누어, 언어는 언어대로, 공간 감각은 공간 감각대로 최상의 상태로 작동하게 합니다.

2. "가상 현실"과 "실제 센서"를 모두 활용 (모달리티 이동성)

기존 기술은 3D 센서 (깊이 카메라 등) 가 있어야만 잘 작동했습니다. 하지만 센서가 고장 나거나 없으면 로봇은 눈이 먼 상태가 됩니다.

• FALCON 의 방식: FALCON 은 RGB(일반 카메라) 이미지만으로도 마치 3D 지도를 그린 것처럼 깊이와 거리를 추론할 수 있는 능력을 가지고 있습니다. 하지만 만약 3D 센서가 있다면, 그 정보를 추가로 받아서 더 정밀하게 움직입니다.
• 비유: FALCON 은 안개 낀 날에도 길찾기가 가능한 내비게이션입니다. 안개가 끼어 있어도 (센서 없이) 대략적인 길을 알고 가지만, 안개가 걷히고 정밀한 지도 (3D 센서) 가 들어오면 더 정확한 길로 안내합니다. 어떤 환경에서도 로봇이 실수하지 않게 해줍니다.

3. "뇌"와 "몸"의 완벽한 협업

FALCON 은 로봇이 언어를 이해하는 '지적 능력'과 물체를 잡는 '운동 능력'을 분리하면서도 서로 돕도록 설계했습니다.

• 대뇌 (VLM): "빨간 사과를 가져와"라는 명령을 이해하고, 사과가 무엇인지 파악합니다.
• 소뇌 (Action Head): "사과가 내 손에서 30cm 위에 있고, 높이가 5cm 라서 잡을 때 힘을 조절해야 해"라고 계산하여 손을 움직입니다.

---

🏆 결과: 얼마나 잘할까요?

이론만 좋은 게 아니라, 실제로도 놀라운 성과를 냈습니다.

1. 복잡한 환경에서도 성공: 물건이 뒤죽박죽 섞여 있어도 (Cluttered scene), 로봇은 정확한 물체를 골라냅니다.
2. 크기와 높이에 강함: 평소보다 큰 블록이나 작은 컵, 혹은 평소보다 높은 선반에 있는 물건도 척척 처리합니다. (기존 로봇들은 크기만 바뀌어도 실패율이 급증했습니다.)
3. 적은 데이터로도 학습: 몇 번만 보여줘도 (Few-shot) 새로운 상황을 잘 적응합니다.

💡 한 줄 요약

FALCON은 로봇에게 **"사진만 보는 2D 눈"에서 "세상의 깊이와 높이를 느끼는 3D 감각"**을 심어주어, 로봇이 언어 명령을 듣고도 실제 3D 세상에서 물건을 더 정확하고 안전하게 다룰 수 있게 만든 혁신적인 기술입니다.

마치 로봇이 안경을 벗고 3D 안경을 쓴 것처럼, 이제 로봇은 세상을 훨씬 더 똑똑하게 보고 행동할 수 있게 되었습니다!

기술 요약

1. 문제 정의 (Problem)

기존의 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델들은 3D 실제 세계에서의 행동을 수행하지만, 대부분 2D 기반의 비전 - 언어 모델 (VLM) 을 기반으로 구축되어 있습니다. 이로 인해 다음과 같은 공간적 추론의 격차 (Spatial Reasoning Gap) 가 발생하여 일반화 및 적응 능력이 제한됩니다.

• 2D 한계: VLM 은 2D 이미지와 텍스트의 정렬에 최적화되어 있어, 깊이 (depth), 기하학적 구조, 공간적 관계에 대한 명시적인 3D 인식이 부족합니다.
• 기존 3D 통합 방식의 결함:
  1. 명시적 3D 입력 의존성: 포인트 클라우드나 깊이 맵과 같은 3D 데이터를 직접 입력으로 사용하는 방법들은 특수 센서가 필요하며, RGB 만 있는 환경이나 다른 모달리티로 전환 시 성능이 급격히 떨어집니다 (모달리티 전이성 부족).
  2. 약한 3D 단서 (Weak Cues): 학습 가능한 공간 임베딩이나 의사 깊이 (pseudo-depth) 를 사용하는 방법들은 기하학적 신호가 약하고, VLM 의 사전 학습된 비전 - 언어 정렬을 해쳐 제로샷 (zero-shot) 일반화 능력을 저하시킵니다.

2. 제안 방법론: FALCON (Methodology)

저자들은 FALCON (From Spatial to Action) 이라는 새로운 패러다임을 제안합니다. 이는 공간 기반 모델 (Spatial Foundation Models) 의 강력한 기하학적 사전 지식을 활용하여, VLA 모델의 행동 헤드를 강화하는 방식입니다.

핵심 아키텍처 구성 요소

1. Embodied Spatial Model (ESM):

   • 목적: RGB 이미지 (선택적으로 깊이, 카메라 포즈) 에서 풍부한 3D 공간 토큰을 추출합니다.
   • 기능: DUSt3R, VGGT 와 같은 최신 공간 기반 모델을 기반으로 하며, RGB 만으로도 강력한 3D 재구성이 가능합니다.
   • 모달리티 전이성: RGB-D 카메라나 보정된 포즈가 제공될 경우 이를 추가 입력으로 받아 정확도를 높일 수 있지만, 없어도 RGB 만으로 작동하도록 설계되어 유연성을 보장합니다.
   • 학습 전략: 스토캐스틱 (Stochastic) 조건부 학습을 통해 훈련 시 깊이/포즈 정보를 무작위로 주입하거나 생략하여, 다양한 센서 환경에 적응하도록 합니다.

2. Spatial-Enhanced Action Head (공간 강화 행동 헤더):

   • 혁신적 설계: 공간 토큰을 VLM 의 백본 (백본) 에 직접 연결하여 언어 - 비전 정렬을 깨뜨리는 기존 방식과 달리, 행동 헤드로 직접 주입합니다.
   • 동기: 뇌의 기능 분업 (대뇌: 고수준 추론/의미, 소뇌: 정밀 운동 제어/센서모터 통합) 에서 영감을 받았습니다. VLM 은 의미적 맥락을 유지하고, 행동 헤드는 ESM 에서 추출한 정밀한 공간 토큰을 받아 구체적인 로봇 동작을 생성합니다.
   • 퓨전 전략: 공간 토큰을 최대 풀링 (Max-pooling) 하고 MLP 로 투명한 후, 의미적 행동 토큰과 요소별 덧셈 (Element-wise Addition) 으로 결합합니다. 이는 파라미터를 추가하지 않으면서도 효율적인 융합을 가능하게 합니다.

3. 학습 파이프라인:

   • 2 단계 후학습 (Post-training):
     • 1 단계: VLM 과 ESM 을 고정하고 어댑터만 학습하여 공간 토큰과 VLA 특징 공간의 초기 정렬을 수행합니다.
     • 2 단계: VLM 과 어댑터를 함께 미세 조정 (Fine-tuning) 하여 의미적 특징이 공간 단서를 자연스럽게 통합하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 강력한 3D 공간 표현: 사전 학습된 공간 기반 모델에서 풍부한 3D 토큰을 추출하여, 명시적인 3D 센서 없이도 RGB 만으로 강력한 기하학적 사전 지식을 제공합니다.
2. 높은 모달리티 전이성 (Modality Transferability): ESM 을 통해 RGB, RGB-D, 카메라 포즈 등 다양한 입력 모달리티를 유연하게 처리하며, 특정 센서 설정에 종속되지 않습니다.
3. 정렬 유지 및 효율적 통합: 공간 정보를 VLM 내부가 아닌 행동 헤드로 직접 주입하여, 기존 VLM 의 강력한 언어 - 비전 정렬을 해치지 않으면서 정밀한 공간 제어를 가능하게 합니다.

4. 실험 결과 (Results)

FALCON 은 3 개의 시뮬레이션 벤치마크 (CALVIN, SimplerEnv) 와 11 개의 실제 세계 작업에서 기존 모델들을 압도하는 성능을 보였습니다.

• 시뮬레이션 벤치마크 (CALVIN):
  • 장기 작업 (Long-horizon) 과 제로샷 설정 (ABC→D) 에서 SOTA(State-of-the-Art) 성능을 기록했습니다.
  • 특히 3DDP 나 3D Diffuser Actor 와 같은 명시적 3D 입력을 사용하는 모델들보다도 평균 성공 길이 (Avg. Len.) 에서 더 높은 성능을 보였습니다.
• 실제 세계 작업 (Real-World Tasks):
  • Base Tasks: 복잡한 장면 (Cluttered scenes) 에서 70% 의 성공률을 기록하여 기존 최상위 모델 (SpatialVLA 등) 보다 25.6%p 이상 우월했습니다.
  • Few-shot Adaptation: 제한된 데이터 (20 회 시연) 로도 높은 적응력을 보였으며, 보이지 않는 객체나 배경 변화에 강건했습니다.
  • 공간 이해 능력: 객체의 크기, 높이 변화, 복잡한 공간 지시 (예: "가장 가까운 과일", "사이의 접시") 에 대해 기존 모델들이 실패하는 상황에서도 높은 성공률을 보였습니다.
• 모달리티 전이성 검증:
  • RGB 만으로 학습된 모델이 테스트 시 깊이 정보를 추가하면 성능이 향상되며, 반대로 RGB-D 로 학습된 모델이 RGB 만으로 테스트해도 성능이 크게 떨어지지 않는 등 뛰어난 적응력을 입증했습니다.

5. 의의 및 결론 (Significance)

FALCON 은 로봇 공학 분야에서 일반적 로봇 정책 (Generalist Robot Policy) 의 핵심 병목 현상이었던 '3D 공간 이해의 부재'를 해결하는 중요한 전환점을 제시합니다.

• 실용성: 고가의 3D 센서나 복잡한 3D 데이터 주석이 없어도, 일반적인 카메라 (RGB) 만으로 정밀한 3D 조작이 가능해져 실제 배포 비용과 장벽을 낮춥니다.
• 설계 철학: VLM 의 의미적 능력을 보존하면서 공간 정보를 제어 정책에 통합하는 '분리된 아키텍처' 설계는 향후 VLA 모델 개발에 새로운 표준을 제시합니다.
• 영향: 복잡한 환경에서의 로봇 조작, 물체의 크기/높이 변화에 대한 적응, 그리고 추상적인 공간 지시 따르기 등 다양한 분야에서 로봇의 자율성과 신뢰성을 획기적으로 높일 것으로 기대됩니다.