VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

이 논문은 미래 프레임의 잠재 표현을 타겟으로만 사용하여 정보 유출을 방지하고 외관 편향을 극복하는 VLA-JEPA 프레임워크를 제안함으로써, 기존 방법보다 뛰어난 일반화 능력과 강건성을 갖춘 비전 - 언어 - 행동 모델을 구축하는 것을 목표로 합니다.

핵심

🤖 로봇이 '눈'과 '손'을 함께 배우는 새로운 방법: VLA-JEPA 설명

이 논문은 로봇이 인간처럼 세상을 보고, 이해하고, 행동을 취하는 방식을 더 똑똑하고 안전하게 만드는 새로운 기술인 VLA-JEPA를 소개합니다.

기존의 로봇 학습 방식이 가진 문제점과 이를 해결한 VLA-JEPA의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. 기존 방식의 문제: "무엇이 움직였는지"만 보는 함정

기존의 로봇 학습 모델들은 인터넷에 떠도는 수많은 동영상 (요리, 청소, 운동 등) 을 보고 학습하려 했습니다. 하지만 여기서 큰 함정이 있었습니다.

• 비유: "바람에 흔들리는 나뭇잎"과 "나무를 흔드는 손"
  • 기존 모델은 동영상을 볼 때, **나뭇잎이 흔들리는 것 (배경, 조명, 카메라 움직임)**에 너무 집중했습니다.
  • 로봇이 진짜로 배워야 할 것은 **"나무를 흔든 손의 움직임 (행동)"**인데, 모델은 나뭇잎이 어떻게 흔들렸는지만 외워서 "아, 바람이 불었구나"라고 착각하는 경우가 많았습니다.
  • 결과: 로봇은 실험실에서는 잘 작동하다가, 실제 집안에서 배경이 조금만 바뀌거나 조명이 달라지면 엉뚱한 행동을 하거나 아예 멈춰버리는 **'약한 로봇'**이 되었습니다.

2. VLA-JEPA 의 해결책: "미래를 미리 상상하는 훈련"

이 문제를 해결하기 위해 연구팀은 VLA-JEPA라는 새로운 방식을 고안했습니다. 핵심은 **'미래를 예측하는 능력'**을 기르는 것입니다.

• 비유: "장래희망 시험" vs "정답지 훔쳐보기"
  • 기존 방식 (정답지 훔쳐보기): 학생 (모델) 이 문제를 풀 때, 정답이 적힌 미래의 장면을 미리 보고 답을 맞췄습니다. 그래서 정답은 맞췄지만, 진짜 원리를 모른 채 정답만 외운 꼴이 됩니다. (정보 유출 문제)
  • VLA-JEPA 방식 (장래희망 시험): 학생은 **현재의 상황 (현재 프레임)**만 보고, **"내가 지금 이 행동을 하면 미래에 세상이 어떻게 변할까?"**를 추론해야 합니다. 정답은 나중에 채점관 (타겟 인코더) 이 미래 영상을 보고 알려줍니다.
  • 핵심: 학생은 미래 영상을 볼 수 없으니, 오직 **행동의 결과 (상태 변화)**만 추론해야 합니다. 그래서 배경이 바뀌거나 조명이 달라져도 상관없이, "손이 물건을 잡으면 물건이 움직인다"는 진짜 원리를 배우게 됩니다.

3. 두 단계로 완성되는 학습 과정

이 기술은 복잡한 과정을 거치지 않고, 두 단계로 깔끔하게 학습됩니다.

1. 1 단계: 세계 모델 훈련 (VLA-JEPA)

   • 로봇이 직접 움직일 필요 없이, 인간의 동영상만 보고 학습합니다.
   • "사람이 컵을 잡으면 컵이 어떻게 움직일까?"를 추상적인 개념 (잠재 공간) 으로만 학습합니다. 픽셀 (화소) 단위의 세부적인 그림자는 무시하고, 행동의 핵심만 추출합니다.
   • 마치 요리 레시피를 읽으며 "재료와 불의 관계"를 이해하는 것과 같습니다.

2. 2 단계: 행동 조절기 미세 조정

   • 이제 실제 로봇 데이터를 조금만 더 추가하여, 위에서 배운 추상적인 개념을 실제 로봇 팔의 움직임으로 연결합니다.
   • 마치 요리 레시피를 이해한 후, 실제 주방에서 칼질과 뒤집기를 연습하는 것과 같습니다.

4. 왜 이것이 중요한가요? (실제 효과)

이 방법을 적용한 로봇은 다음과 같은 놀라운 능력을 보입니다.

• 🛡️ 강한 내구성: 배경이 어지럽거나, 빛이 달라지거나, 카메라 각도가 바뀌어도 로봇은 당황하지 않고 똑같은 일을 해냅니다. (나뭇잎 흔들림에 흔들리지 않는 나무처럼)
• 🔄 실패 후 재도전 능력: 로봇이 물건을 잡으려다 놓쳤을 때, 그냥 멈추지 않고 그립퍼 (손) 를 다시 열고 다시 잡으려 시도합니다.
  • 이유: 인간 동영상에는 "실패하고 다시 시도하는 모습"이 많이 포함되어 있기 때문입니다. 기존 로봇 데이터에는 이런 '실수 후 교정' 장면이 거의 없어서 로봇이 실패하면 멈추는 경우가 많았습니다.
• 📉 적은 데이터로 큰 성과: 수천 개의 로봇 실험 데이터를 모으지 않아도, 인터넷의 인간 동영상만으로도 뛰어난 성능을 냈습니다.

5. 한 줄 요약

"VLA-JEPA 는 로봇에게 '미래의 정답'을 미리 보여주지 않고, '현재의 행동이 미래에 어떤 변화를 만들까'를 스스로 추론하게 함으로써, 배경에 흔들리지 않는 진짜 지능을 심어줍니다."

이 기술은 로봇이 우리 일상생활 (집안일, 공장 작업 등) 에서 더 안전하고 똑똑하게 일할 수 있는 기반을 마련해 줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 대규모 인터넷 비디오를 활용한 비전 - 언어 - 액션 (VLA) 모델의 사전 학습 (Pretraining) 방식, 특히 '잠재 행동 (Latent Action)' 기반 접근법에는 다음과 같은 근본적인 한계점이 존재합니다:

• 픽셀 편향 (Pixel-level Bias): 기존 방법들은 미래 프레임을 예측하거나 프레임 간 차이를 잠재 변수로 압축하는 방식을 사용합니다. 이로 인해 모델이 실제 '조작 가능한 상태 변화 (Action-relevant state transition)'가 아닌, 조명, 배경, 카메라 움직임 등 **시각적 외관 (Appearance) 과 잡음 (Nuisance motion)**에 과도하게 의존하게 됩니다.
• 정보 누출 (Information Leakage): 많은 잠재 행동 모델들이 학습 과정에서 현재 관측치와 미래 관측치를 모두 입력으로 사용하거나, 미래 컨텍스트가 행동 변수 학습에 직접 관여하게 합니다. 이는 모델이 미래 정보를 '예측'하는 것이 아니라 단순히 **미래 정보를 '암호화' (Shortcut)**하는 결과를 초래하여, 제어에 의미 있는 동역학 (Dynamics) 을 학습하지 못하게 만듭니다.
• 복잡한 파이프라인: 이러한 문제들을 해결하기 위해 기존 방법들은 표현 학습, 잠재 행동 정렬, 정책 학습 등 다단계 (Multi-stage) 학습 파이프라인을 사용해야 했으며, 이는 공학적 복잡성과 불안정성을 초래했습니다.

2. 제안 방법론 (Methodology: VLA-JEPA)

저자들은 위 문제들을 해결하기 위해 JEPA(Joint-Embedding Predictive Architectures) 스타일의 사전 학습 프레임워크인 VLA-JEPA를 제안합니다. 핵심 아이디어는 **"누출 없는 상태 예측 (Leakage-free state prediction)"**입니다.

2.1 아키텍처 및 핵심 설계

• 잠재 세계 모델 (Latent World Model):
  • 타겟 인코더 (Target Encoder): 미래 프레임 (Future Context) 에서 잠재 표현 (Latent Representation) 을 생성합니다. 이 과정은 **그라디언트 (Gradient) 가 차단 (Stop-gradient)**되어 있어 미래 정보가 학습된 모델의 입력으로 유입되지 않도록 합니다.
  • 학생 경로 (Student Pathway): 현재 관측치 (Current Observation) 와 언어 지시 (Instruction) 만을 입력받아 VLM(Vision-Language Model, Qwen3-VL 기반) 을 통해 잠재 표현을 생성합니다.
  • 예측기 (Predictor): 현재 상태와 학습된 '잠재 행동 토큰 (Latent Action Tokens)'을 기반으로 미래의 잠재 상태를 예측합니다.
• 손실 함수 (Loss Function): 픽셀 재구성이 아닌 **잠재 공간 (Latent Space) 정렬 (Alignment)**을 목표로 합니다. 예측된 미래 잠재 상태와 타겟 인코더가 생성한 실제 미래 잠재 상태 간의 거리를 최소화합니다.
• 행동 생성 (Action Generation):
  • 사전 학습된 잠재 행동 표현을 기반으로 Flow-Matching 기반의 액션 헤드를 사용하여 실제 로봇의 엔드 이펙터 (End-effector) 궤적을 생성합니다.
  • 로봇 데이터 (액션 레이블 있음) 에서는 세계 모델 손실과 액션 예측 손실을 결합하여 최적화합니다.

2.2 학습 파이프라인

• 단일 단계 (Single-stage) 학습: 기존 복잡한 다단계 파이프라인 대신, 인간 비디오 (액션 레이블 없음) 와 로봇 데이터 (액션 레이블 있음) 를 통합하여 **JEPA 사전 학습 후 액션 헤드 미세 조정 (Fine-tuning)**의 2 단계로만 구성됩니다.
• 누출 방지: 미래 프레임은 오직 **학습 목표 (Target)**로만 사용되며, VLM 백본의 입력으로는 절대 제공되지 않습니다. 이를 통해 모델이 미래 정보를 '기억'하는 것이 아니라 상태 전이의 동역학을 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 잠재 행동 사전 학습의 함정 분석: 기존 미래 예측 기반 객관식이 왜 시각적 외관에 편향되고, 잡음에 취약하며, 정보 누출로 인해 제어 semantics 를 학습하지 못하는지 체계적으로 분석했습니다.
2. VLA-JEPA 프레임워크 제안: 픽셀 재구성과 정보 누출 없이, 잠재 공간에서의 상태 예측을 통해 **행동 관련 전이 의미 (Action-relevant transition semantics)**를 학습하는 새로운 JEPA 스타일 사전 학습 방식을 제시했습니다.
3. 간소화된 워크플로우와 향상된 성능: 복잡한 다단계 정렬 과정 없이도, LIBERO, SimplerEnv 등 시뮬레이션 벤치마크 및 실제 로봇 실험에서 기존 SOTA 방법들보다 **강건성 (Robustness)**과 일반화 (Generalization) 능력을 크게 향상시켰습니다.

4. 실험 결과 (Results)

저자들은 LIBERO, LIBERO-Plus, SimplerEnv 벤치마크 및 실제 Franka 로봇 실험을 통해 모델을 평가했습니다.

• LIBERO (시뮬레이션): 4 가지 태스크 스위트 중 2 개에서 SOTA 를 기록했으며, 평균 성공률은 **97.2%**로 기존 방법 (OpenVLA-OFT, UniVLA 등) 을 상회했습니다. 특히 인간 비디오만 사용한 사전 학습 없이도 로봇 데이터만으로 높은 성능을 보였으나, 인간 비디오를 추가하면 일반화 능력이 더욱 향상되었습니다.
• SimplerEnv (Real-to-Sim Gap): 실제 로봇 데이터로 학습된 모델을 시뮬레이션에서 평가한 결과, Google Robot 과 WidowX Robot 모두에서 최상위 또는 최상위권 성능을 달성했습니다. 이는 인간 비디오 기반 사전 학습이 실제 - 시뮬레이션 간격 (Sim-to-Real Gap) 을 줄이는 데 효과적임을 보여줍니다.
• LIBERO-Plus (강건성 테스트): 조명, 배경, 언어, 카메라 각도 등 7 가지 교란 (Perturbation) 조건에서 5 개 조건에서 가장 높은 성공률을 기록했습니다. 특히 언어 및 배경 변화에 대한 강건성이 뛰어나며, 이는 잠재 행동이 시각적 변화가 아닌 작업의 본질적 동역학을 학습했음을 시사합니다.
• 실제 로봇 실험 (Real-world):
  • OOD (Out-of-Distribution) 일반화: 훈련 데이터에 없는 작업이나 물체 배치를 변경했을 때, 기존 모델 (π0, π0.5) 보다 더 안정적이고 신뢰할 수 있는 궤적을 생성했습니다.
  • 반복 그리핑 (Repeated Grasping): 인간 비디오의 풍부한 지식 덕분에, 실패 후 그리퍼를 다시 열어 재시도하는 **복구 행동 (Recovery behavior)**을 학습했습니다. 이는 로봇 데이터만으로는 학습하기 어려운 중요한 능력입니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성 및 확장성: VLA-JEPA 는 방대한 양의 레이블 없는 인간 비디오를 효과적으로 활용하여 로봇 제어의 동역학을 학습할 수 있음을 입증했습니다. 이는 고비용의 로봇 상호작용 데이터에 대한 의존도를 낮춥니다.
• 학습 안정성: 정보 누출을 방지하는 JEPA 구조는 모델이 시각적 노이즈에 휘둘리지 않고, 실제 물리적 상태 전이를 학습하도록 보장합니다.
• 실용적 가치: 복잡한 다단계 정렬 과정 없이도 단일 파이프라인으로 높은 성능을 달성함으로써, 실제 로봇 시스템에 적용 가능한 간소화된 학습 프로세스를 제시했습니다.

결론적으로, VLA-JEPA는 비전 - 언어 - 액션 모델이 "무엇이 보이는가 (Appearance)"가 아닌 "무엇이 어떻게 변하는가 (Dynamics)"를 학습하도록 유도하여, 더 강건하고 일반화된 로봇 제어 정책을 가능하게 하는 중요한 진전입니다.