StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation

이 논문은 2D 시각 입력뿐만 아니라 미래 3D 공간 기하학적 지식과 4D 역사적 시공간 표현을 명시적으로 통합하여 로봇 조작의 공간 추론 및 장기 계획 능력을 획기적으로 향상시킨 오픈소스 비전 - 언어 - 행동 모델인 StemVLA 를 제안합니다.

핵심

스템 VLA (StemVLA): 로봇에게 '미래의 3D 공간'과 '과거의 기억'을 가르친 혁신

이 논문은 로봇이 물건을 잡거나 움직일 때, 단순히 "눈에 보이는 것"만 보고 행동하는 것이 아니라, 미래의 공간 구조를 예측하고 과거의 움직임을 기억하여 훨씬 똑똑하게 행동하게 만든 새로운 기술 '스템 VLA(StemVLA)'를 소개합니다.

기존 로봇들이 겪던 문제를 해결하기 위해, 이 기술이 어떻게 작동하는지 일상적인 비유로 설명해 드리겠습니다.

---

1. 기존 로봇의 문제: "눈이 멀고 기억력이 짧은 사람"

기존의 로봇 (VLA 모델) 은 카메라로 찍은 2D 사진 (평면 이미지) 과 지시 명령만 보고 행동을 결정했습니다. 이를 비유하자면 다음과 같습니다.

• 2D 사진만 보는 것: 로봇은 마치 2 차원 만화책을 보고 3 차원 현실을 이해하려는 사람과 같습니다. 책에 그려진 사각형 상자를 보고 "이건 입구가 좁아서 안으로 들어갈 수 있겠구나"라고 깊이감을 느끼기 어렵습니다.
• 과거를 잊어버림: 로봇은 매순간 새로 찍힌 사진만 보고 다음 행동을 결정합니다. 마치 단기 기억력만 있는 사람처럼, "방금 손이 어디로 갔지?", "그 물체가 어떻게 움직였지?"를 기억하지 못해 복잡한 작업을 하다가 길을 잃기 쉽습니다.

이 때문에 로봇은 복잡한 환경에서 길을 잃거나, 물건을 잡다가 떨어뜨리는 실수를 자주 했습니다.

2. 스템 VLA 의 해결책: "미래를 보는 눈"과 "과거의 기억력"

스템 VLA 는 로봇에게 두 가지 강력한 능력을 추가했습니다.

① 미래의 3D 공간 지도 그리기 (3D Future Spatial Knowledge)

• 비유: 로봇이 **"미래를 내다보는 점성술사"**가 됩니다.
• 설명: 로봇은 지금 보이는 화면만 보지 않습니다. "내가 지금 이 컵을 잡으면, 1 초 뒤에는 컵이 어디로 이동할까? 그 뒤에 있는 벽은 어떻게 보일까?"라고 미래의 3D 공간 구조를 미리 상상합니다.
• 효과: 마치 체스를 두는 것처럼, "다음 수"가 어떻게 될지 미리 시뮬레이션하기 때문에, 물건을 잡을 때 충돌을 피하고 정확한 위치에 놓을 수 있습니다.

② 과거의 4D 역사 기록 (4D Historical Representation)

• 비유: 로봇이 **"과거의 모든 장면을 영상으로 저장해 둔 영화관"**을 갖게 됩니다.
• 설명: 로봇은 단순히 과거의 사진 (프레임) 을 나열하는 게 아니라, **시간이 흐르며 공간이 어떻게 변했는지 (4 차원)**를 하나의 연속된 영상으로 기억합니다. "물체가 어떻게 움직였는지", "내가 어떤 순서로 행동했는지"를 연결해서 이해합니다.
• 효과: 복잡한 작업을 할 때, "아, 방금 그 물건을 왼쪽으로 밀었으니 이제 오른쪽으로 당겨야겠다"라고 연속적인 흐름을 이해하여 긴 작업도 실수 없이 해냅니다.

3. 어떻게 작동할까요? (기술적 비유)

이 시스템은 크게 두 단계로 작동합니다.

1. 과거를 4D 로 변환 (VideoFormer): 로봇이 본 과거의 영상들을 AI 가 분석하여, 단순한 픽셀이 아닌 '깊이 (3D)'와 '시간 (4D)'이 섞인 풍부한 정보로 바꿉니다. 마치 흑백 사진이 생생한 3D 영상으로 변하는 것과 같습니다.
2. 미래를 3D 로 예측 (FSGWP): 로봇은 지금 상황을 바탕으로 **"앞으로 1 초 뒤의 3D 공간 지도"**를 그려냅니다. 이 지도를 바탕으로 "어디로 손을 뻗어야 할지"를 계산합니다.

마치 고급 내비게이션이 현재 위치뿐만 아니라, **앞으로 10 분 뒤의 교통 상황 (미래)**과 **지금까지의 주행 경로 (과거)**를 모두 고려하여 최적의 경로를 안내하는 것과 같습니다.

4. 실제 성과: "로봇의 실력 대폭 상승"

이 기술을 적용한 로봇은 복잡한 미로 같은 작업에서도 놀라운 성과를 냈습니다.

• CALVIN(칼빈) 벤치마크: 로봇이 여러 가지 작업을 연속으로 수행하는 테스트에서, 기존 최고의 로봇들보다 훨씬 더 긴 순서의 작업을 성공적으로 완료했습니다. (예: "상자를 열고, 컵을 꺼내서, 식탁에 올려라" 같은 긴 지시도 한 번에 해결)
• 정확도 향상: 특히 공간적인 관계가 복잡한 작업 (물건끼리 부딪히지 않게 피하기 등) 에서 실수가 크게 줄었습니다.

5. 결론: 로봇이 '생각'하는 시대가 왔습니다

기존의 로봇이 "눈에 보이는 대로" 반응했다면, 스템 VLA는 **"과거를 기억하고 미래를 상상하며 행동"**합니다.

• 과거의 기억 (4D 역사): "어떻게 움직였지?"를 기억하여 흐름을 유지합니다.
• 미래의 예측 (3D 공간): "앞으로 어떻게 될지"를 그려서 충돌을 방지합니다.

이 기술은 로봇이 단순히 명령을 수행하는 기계가 아니라, 주변 환경을 깊이 이해하고 스스로 판단하는 지능형 파트너로 성장하는 중요한 발걸음이 될 것입니다. 앞으로는 로봇이 더 복잡한 집안일이나 공장 작업을 사람처럼 자연스럽게 해낼 수 있을 것으로 기대됩니다.

기술 요약

StemVLA 기술 요약

1. 문제 정의 (Problem)

기존의 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델들은 로봇 조작 작업을 수행할 때 주로 2D 시각 입력을 행동 시퀀스로 직접 매핑하는 방식에 의존합니다. 이러한 접근 방식에는 다음과 같은 한계가 존재합니다.

• 3D 공간 구조의 부재: 명시적인 3D 공간 기하학 (깊이, 장면 배치 등) 을 모델링하지 않아 복잡한 환경에서의 공간 추론 능력이 제한적입니다.
• 시간적 역동성 부족: 과거 관측치를 프레임 단위로 인코딩하여 장기적인 시간적 역동성과 일관성을 충분히 포착하지 못합니다.
• 미래 예측의 비효율성: 기존 미래 프레임 예측 방식은 고해상도 픽셀 예측에 의존하여 중복성이 크고, 구조화된 3D 정보를 명시적으로 추출하지 못합니다.
• 동적 환경에서의 의사결정 한계: 이러한 표현의 부족은 동적 환경에서의 장기 작업 (Long-horizon tasks) 성공률을 낮추는 주요 원인이 됩니다.

2. 방법론 (Methodology)

StemVLA 는 로봇 조작을 위한 통합된 VLA 프레임워크로, 미래 지향적 3D 공간 기하학 지식과 과거 4D 시공간 표현을 명시적으로 행동 예측에 통합합니다.

• 핵심 아키텍처:

  • 입력 처리: 자연어 지시, 2D 이미지 관측, 로봇의 고유 상태 (Proprioception), 그리고 비디오 시퀀스를 처리합니다.
  • 4D 역사적 시공간 표현 (4D Historical Spatiotemporal Representation):
    • 과거 2D 이미지에서 VGGT Aggregator [36] 를 사용하여 잠재적 3D 공간 기하학 특징을 추출합니다.
    • 추출된 3D 특징을 VideoFormer [20] (시계열 어텐션 모듈) 를 통해 시간 축으로 집계하여 4D 시공간 표현을 생성합니다. 이는 운동 상태, 변화, 인과적 추론을 가능하게 합니다.
  • 3D 미래 공간 기하학 지식 예측 (3D Future Spatial-Geometric World Knowledge Prediction):
    • 언어 모델 내에 학습 가능한 <spatial-geometric> 쿼리를 도입하여, 현재 관측을 기반으로 미래 장면의 3D 기하학 구조 (깊이, 배치 등) 를 예측합니다.
    • 이는 단순한 픽셀 예측이 아닌, 구조화된 세계 지식의 추론을 가능하게 합니다.
  • 행동 생성 (Action Generation):
    • 통합된 공간 임베딩과 <action> 쿼리를 기반으로 Denoising-Diffusion Transformer (DiT) 를 통해 n-스텝 행동 시퀀스를 생성합니다.

• 학습 전략:

  • 3D 미래 공간 기하학 감독 (Supervision): 미래 시간대의 실제 관측 데이터를 VGGT 로 처리하여 생성된 3D 특징을 'Ground Truth'로 사용하여 모델의 미래 예측 능력을 감독합니다.
  • 이중 쿼리 메커니즘: <spatial-geometric> 쿼리 (세계 지식 예측) 와 <action> 쿼리 (행동 생성) 를 분리하여 상호 보완적인 추론을 지원합니다.

3. 주요 기여 (Key Contributions)

1. 명시적 3D/4D 표현 통합: 기존 2D 기반 VLA 의 한계를 극복하기 위해, 3D 공간 기하학 지식과 4D 시공간 역동성을 명시적으로 모델링하는 최초의 프레임워크 중 하나를 제안합니다.
2. 잠재 3D 특징 기반 예측: 고해상도 픽셀 예측의 비효율성을 피하고, VGGT 와 VideoFormer 를 활용하여 3D 구조와 시간적 맥락을 효율적으로 추출하는 새로운 인코딩 방식을 도입했습니다.
3. 미래 지향적 세계 모델링: 로봇이 미래의 장면 기하학을 예측하여 장기 작업 계획 수립 능력을 향상시키는 '미래 지향적 3D 지식' 모듈을 개발했습니다.
4. 오픈 소스 프레임워크: StemVLA 를 오픈 소스로 제공하여 연구 커뮤니티의 접근성을 높였습니다.

4. 실험 결과 (Results)

• CALVIN ABC-D 벤치마크:
  • 기존 최첨단 (SOTA) 모델들 (OpenVLA, RoboVLM, VPP 등) 을 능가하는 성능을 기록했습니다.
  • 특히 평균 연속 작업 성공 길이 (Average Sequence Length) 에서 가장 높은 수치를 달성하여, 장기 작업에서의 안정성과 성공률을 크게 향상시켰습니다.
  • 개별 작업 성공률에서도 모든 태스크에서 최상위권을 기록했습니다.
• LIBERO 벤치마크 (Ablation Study):
  • 4D 표현의 효과: 4D 시공간 표현을 제거한 모델에 비해 모든 하위 태스크 (Spatial, Object, Goal, Long) 에서 성공률이 크게 향상되었습니다 (예: LIBERO-Long 에서 83.5% → 86.0%).
  • 3D 미래 지식의 효과: 3D 미래 기하학 지식 예측 모듈을 제거했을 때 성능이 급격히 하락하여, 이 모듈이 장기 작업과 복잡한 공간 추론에 필수적임을 입증했습니다 (예: LIBERO-Long 에서 67.0% → 86.0%).

5. 의의 및 결론 (Significance)

StemVLA 는 embodied AI(구체화된 인공지능) 분야에서 물리적 추론 (Physical Reasoning) 과 미래 예측 (Future Forecasting) 을 위한 핵심 요소인 3D 공간성과 4D 시간성을 통합했다는 점에서 중요한 의미를 가집니다.

• 단순한 시각 - 행동 매핑을 넘어, 로봇이 미래의 공간 구조를 예측하고 과거의 운동 역학을 이해함으로써 더 정교하고 장기적인 작업을 수행할 수 있게 합니다.
• 이는 동적이고 복잡한 환경에서의 로봇 자율성 향상과 장기 작업 (Long-horizon tasks) 의 성공률 향상에 기여하며, 향후 더 정교한 물리 상호작용이 필요한 로봇 제어 기술의 기반을 마련합니다.

한계 및 향후 과제:
현재 모델은 병렬 그리퍼 (Parallel Gripper) 에 국한되어 있으며, DiT 아키텍처의 실시간 제어 시 발생할 수 있는 움직임의 불연속성 (jerky motions) 이 존재합니다. 향후 정교한 손 조작 (Dexterous hand) 데이터 수집, 온-폴리시 (On-policy) 미세 조정, 그리고 Flow Matching 기술 도입을 통해 이러한 한계를 극복할 계획입니다.