FutureVLA: Joint Visuomotor Prediction for Vision-Language-Action Model

FutureVLA 는 비전과 모션 정보를 구조적으로 분리한 후 물리적 사전 지식을 통합하는 새로운 예측 아키텍처를 통해 시공간 연속성과 시각적 조건 해리를 실현함으로써, 로봇의 미래 예측 능력을 향상시키고 다양한 Vision-Language-Action 모델의 성능을 개선합니다.

핵심

이 논문은 로봇이 세상을 더 똑똑하게 이해하고, 미래를 내다보며 움직일 수 있게 해주는 새로운 방법인 **'FutureVLA'**를 소개합니다.

기존의 로봇 학습 방식은 마치 **"눈을 감고 앞으로 한 발짝만 내디디는 것"**과 비슷했습니다. 지금 보고 있는 것만 보고 다음 행동을 결정하니까, 갑자기 장애물이 생기거나 계획이 틀어지면 당황하기 일쑤였죠.

FutureVLA 는 이 문제를 해결하기 위해 "눈을 뜨고 10 초 뒤의 미래를 상상하며 움직이는" 방식을 제안합니다. 이를 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: 로봇은 왜 '눈'만 쫓다가 넘어질까?

기존의 최신 로봇 기술 (VLA) 들은 미래를 예측하려 했지만, 두 가지 큰 실수를 저질렀습니다.

• 과도한 '눈'의 집착 (시각적 지배):
  로봇이 미래를 예측할 때, 단순히 "앞으로의 영상이 어떻게 변할까?"를 너무 열심히 공부했습니다. 마치 드라이브 스쿠터 (자전거) 를 타는 사람이 앞바퀴의 무늬나 주변 풍경의 색깔 변화에만 집중하다가, 핸들을 어떻게 돌려야 넘어지지 않을지 잊어버린 상황과 같습니다. 로봇은 "잔디가 어떻게 흔들릴지"는 잘 예측했지만, "손을 어떻게 움직여야 컵을 잡을지"는 잊어버린 거죠.
• 끊어진 시간의 흐름 (시간적 단절):
  다른 방법들은 "지금 이 장면"과 "10 초 뒤 장면"만 짝을 지어 학습했습니다. 이는 만화책을 볼 때 1 페이지와 10 페이지만 보고 중간 내용을 상상하는 것과 비슷합니다. 로봇은 그 사이의 연속적인 움직임 (어떻게 손을 들어 올리고, 어떻게 잡는지) 을 놓치게 되어, 실제 행동이 부자연스럽고 끊어지게 됩니다.

2. 해결책: FutureVLA 의 '두 개의 뇌' 시스템

FutureVLA 는 로봇에게 두 가지 다른 역할을 가진 두 개의 '뇌'를 만들어주어 이 문제를 해결합니다.

• 뇌 1: '현상 유지' 담당 (시각 스트림)
  이 뇌는 고정된 카메라처럼 작동합니다. "지금 내 앞에는 어떤 물체가 있고, 공간은 어떻게 생겼는가?"를 정확히 기억합니다. 하지만 이 뇌는 "무엇을 할지"는 생각하지 않습니다. 오직 **환경의 제약 조건 (벽이 여기 있네, 컵이 저기에 있네)**만 전달합니다.
• 뇌 2: '행동' 담당 (모터 스트림)
  이 뇌는 댄서처럼 작동합니다. "어떻게 움직여야 물체를 잡을지"에 집중합니다. 중요한 점은, 이 뇌가 춤을 추기 전에 **뇌 1(카메라)**에게 "지금 내 앞에는 뭐가 있니?"라고 물어본다는 것입니다.
  • 비유: 춤추는 사람 (행동 뇌) 이 무대 (시각 뇌) 를 먼저 확인하고, 무대의 크기나 장애물을 고려해서 춤을 추는 것입니다.

이 두 뇌는 **특수한 문지기 (Joint Visuomotor Gating)**를 통해 연결됩니다. 이 문지기는 "시각 정보 중 행동에 필요한 정보만 골라 행동 뇌에 전달"하고, "행동 뇌가 시각 정보에 너무 휘둘리지 않게" 막아줍니다. 덕분에 로봇은 환경을 고려하면서도 순수한 '움직임의 논리'를 배우게 됩니다.

3. 학습 방법: '연습'과 '실전'의 두 단계

FutureVLA 는 두 단계로 로봇을 훈련시킵니다.

1. 연습 단계 (Pretraining): 다양한 상황에서의 '예측 훈련'
   다양한 로봇들의 영상 데이터를 보며, "이렇게 움직이면 10 초 뒤에는 이렇게 될 것이다"라는 물리 법칙과 운동 감각을 배웁니다. 이때 위에서 말한 '두 개의 뇌' 시스템을 통해, 시각적 잔소리 (색깔, 배경) 는 배제하고 순수한 움직임의 흐름만 학습합니다.
2. 실전 단계 (Post-training): 배운 감각을 로봇에 심어주기
   이제 실제 로봇 (예: Franka 로봇) 에게 이 '예측 능력'을 심어줍니다. 로봇이 새로운 일을 할 때, 미리 배운 '미래 예측 감각'을 참고하도록 합니다. 이때 로봇의 기본 구조를 뜯어고치지 않고, 마치 '내비게이션'을 추가하는 것처럼 미래 예측 능력을 연결합니다.

4. 결과: 실제로 얼마나 잘할까?

이 방법을 적용한 로봇은 기존 로봇들보다 훨씬 똑똑해졌습니다.

• 시뮬레이션에서: 복잡한 장난감 상자에서 물건을 꺼내거나 서랍을 여는 작업에서 기존 기술보다 약 11% 이상 성공률이 높아졌습니다.
• 실제 세상에서: 햄버거를 만들거나, 장미꽃을 화분에 꽂고, 스푼으로 콩을 퍼서 옮기는 등 정교한 손놀림이 필요한 작업에서 기존 최고의 로봇 (π0) 보다 약 27% 더 잘 수행했습니다. 특히, 칠판을 지우듯 지속적인 압력과 접촉이 필요한 작업에서 그 차이가 극명하게 드러났습니다.

요약

FutureVLA는 로봇에게 "지금 보이는 것만 보고 반응하는" 수동적인 존재에서, "앞으로의 상황을 상상하고 물리 법칙에 맞춰 움직이는" 능동적인 존재로 바꿔줍니다.

마치 숙련된 요리사가 재료를 보며 "이 재료를 자르면 어떻게 될지, 어떻게 섞어야 맛있는지"를 미리 상상하며 손놀림을 조절하는 것처럼, FutureVLA 는 로봇에게 미래를 내다보는 '예지력'과 '물리적 감각'을 동시에 가르쳐준 것입니다.

기술 요약

FutureVLA: Joint Visuomotor Prediction for Vision-Language-Action Model 기술 요약

이 논문은 로봇의 지능적인 물리적 행동을 위해 시각 (Visual) 과 운동 (Motor) 정보가 어떻게 긴밀하게 결합되어야 하는지를 다루며, 기존 비전 - 언어 - 행동 (VLA) 모델의 한계를 극복하기 위한 새로운 프레임워크 FutureVLA를 제안합니다.

1. 문제 정의 (Problem)

기존의 VLA 모델들은 로봇이 현재 관측치에 반응하는 데 중점을 두어, 환경의 동역학을 예측하거나 미래 상태를 고려하는 능력이 부족했습니다. 이를 개선하기 위해 '미래 지향 (Future Guidance)'을 도입한 연구들이 있었으나, 두 가지 근본적인 한계가 존재했습니다.

• 시각적 지배 (Visual Dominance): 명시적 미래 지향 방법 (Explicit) 은 미래 비디오 프레임을 예측하는 데 집중하여, 작업과 무관한 시각적 세부 사항 (배경, 조명 등) 에 모델 용량을 낭비하고 실제 제어 논리를 희석시킵니다.
• 시간적 불연속성 (Temporal Discontinuity): 암시적 미래 지향 방법 (Implicit) 은 희소하게 샘플링된 프레임 쌍 (예: 시작과 끝 프레임) 을 사용하여 잠재 벡터를 학습합니다. 이는 로봇 행동의 연속적인 다단계 특성과 불일치하며, 시각적 변화와 실제 물리적 운동 동역학을 혼동하게 만듭니다.

결론적으로, 기존 방법들은 정적인 장면 컨텍스트와 동적인 행동 의도를 분리하지 못해 효과적인 결합된 시운전 (Visuomotor) 예측 모델링에 실패했습니다.

2. 방법론 (Methodology)

저자들은 FutureVLA를 제안하며, 이는 시각 정보와 운동 정보를 구조적으로 분리 (Decoupling) 하되, 물리적 제약을 조건으로 결합하는 두 단계 훈련 파이프라인을 따릅니다.

2.1. 주요 아키텍처: 결합 시운전 예측 (Joint Visuomotor Prediction)

• 연속적인 멀티프레임 처리: 희소 샘플링 대신 연속적인 비디오 클립 (예: 17 프레임) 을 입력받아 3D-VAE 를 통해 시간적 토큰으로 인코딩합니다.
• 결합 시운전 게이트 (Joint Visuomotor Gating, JVG): 핵심 메커니즘으로, 인코딩된 토큰을 두 개의 스트림으로 분리합니다.
  • 시각 스트림 (Visual Stream): 초기 프레임의 정적 공간 정보 (환경 기하학, affordance) 를 보존하도록 학습됩니다.
  • 운동 스트림 (Motor Stream): 연속적인 물리적 동역학 (행동 흐름) 에만 집중합니다.
  • 게이트 메커니즘: 운동 스트림이 시각 스트림의 토큰을 '쿼리 (Query)'로 사용하여 환경의 공간적 제약을 선택적으로 참조합니다. 이는 시각적 지배를 방지하고 물리적으로 타당한 결합 임베딩을 생성합니다.

2.2. 훈련 단계

1. Joint Visuomotor Pretraining (예비 훈련):
   • 이질적인 조작 데이터셋 (OXE, LIBERO 등) 을 사용하여 일반화된 물리적 사전 지식을 학습합니다.
   • 손실 함수: 시각 스트림은 초기 프레임 재구성을, 운동 스트림은 행동 덩어리 (Action Chunk) 예측을 통해 각각 감시됩니다.
   • 결과물: 미래 지향적인 결합 시운전 임베딩 (Joint Visuomotor Embeddings).
2. Joint Visuomotor Embedding Guided VLA Post-training (후속 훈련):
   • 사전 훈련된 FutureVLA 모델은 고정 (Frozen) 되어 미래 지향 임베딩을 추출합니다.
   • 하류 VLA 모델의 중간 표현 (Intermediate Representations) 을 이 임베딩과 정렬 (Alignment) 시킵니다.
   • 장점: 추론 시 멀티프레임 입력이 필요 없으며, 기존 VLA 아키텍처를 수정하지 않고도 미래 예측 능력을 내재화할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 문제 인식 및 해결: 기존 미래 지향 방법의 '시각적 지배'와 '시간적 불연속성' 문제를 규명하고, 이를 해결하기 위해 물리적으로 기반을 둔 결합 시운전 임베딩을 추출하는 프레임워크를 제안했습니다.
2. 구조적 분리 및 결합: 시각적 상태 보존과 연속적 행동 모델링을 구조적으로 분리하는 Joint Visuomotor Gating 메커니즘을 도입하여, 시각적 잔차가 아닌 순수한 운동 의도를 학습하도록 했습니다.
3. 범용성 있는 전이 학습: 추론 구조를 변경하지 않고도 다양한 하류 VLA 모델 (GR00T 스타일, OFT 스타일 등) 에 미래 예측 능력을 전이할 수 있는 잠재 임베딩 정렬 (Latent Embedding Alignment) 전략을 제시했습니다.

4. 실험 결과 (Results)

FutureVLA 는 시뮬레이션 및 실제 로봇 환경에서 기존 최첨단 (SOTA) 모델들을 압도적으로 능가했습니다.

• SimplerEnv (시뮬레이션):
  • Google Robot 환경에서 평균 11.4% 향상 (기존 베이스라인 대비).
  • WidowX Robot 환경에서도 일관된 성능 개선을 보였습니다.
• LIBERO 벤치마크:
  • 모든 태스크 (Object, Spatial, Goal, Long) 에서 성능이 향상되었으며, 특히 장기 계획이 필요한 Long 태스크에서 가장 큰 개선을 보였습니다.
• 실제 로봇 (Real-world):
  • Franka 로봇을 이용한 4 가지 복잡한 작업 (버거 만들기, 장미 삽입, 콩 퍼기, 화이트보드 지우기) 에서 21.7% 의 성공률 향상을 기록했습니다.
  • 특히 접촉이 많은 (Contact-rich) 작업 (예: 화이트보드 지우기) 에서 정밀한 제어 능력이 크게 향상되었습니다.
• Ablation Study:
  • JVG 메커니즘이 없거나 희소 샘플링을 사용할 경우 성능이 저하됨을 확인하여, 연속적인 시간 모델링과 시각/운동 분리의 중요성을 입증했습니다.
  • 잠재 임베딩의 유사성이 실제 물리적 행동의 일관성과 높은 상관관계를 가짐을 확인했습니다.

5. 의의 및 결론 (Significance)

FutureVLA 는 로봇이 환경을 단순히 '보는' 것을 넘어, 시각적 제약 하에서 미래의 물리적 동역학을 예측하고 행동할 수 있는 능력을 부여합니다.

• 물리적 일관성: 시각적 노이즈나 무관한 배경 변화에 흔들리지 않고, 순수한 운동 의도 (Motor Intent) 에 집중하여 로봇의 견고한 제어 (Robust Control) 를 가능하게 합니다.
• 확장성: 추론 아키텍처를 변경하지 않고도 다양한 VLA 모델에 미래 예측 능력을 주입할 수 있어, embodied AI 의 기초 모델 개발에 중요한 이정표가 됩니다.
• 미래 전망: 이 연구는 로봇이 장기적인 계획과 정밀한 물리적 상호작용을 수행하는 데 필수적인 '예측적 통찰 (Predictive Foresight)'을 구현하는 새로운 패러다임을 제시합니다.