World Guidance: World Modeling in Condition Space for Action Generation

이 논문은 미래 관측을 압축된 조건 공간으로 매핑하여 VLA 모델의 행동 생성 정확도와 일반화 능력을 동시에 향상시키는 'WoG (World Guidance)' 프레임워크를 제안하고, 시뮬레이션 및 실세계 실험을 통해 기존 방법보다 우수한 성능을 입증합니다.

핵심

1. 로봇의 고민: "내일 날씨를 알면 좋겠는데..."

로봇이 컵을 들어 옮기려고 할 때, 단순히 "지금 컵이 여기 있네"라고 보는 것만으로는 부족합니다.

• "내가 손을 뻗으면 컵이 넘어질까?"
• "다른 물체가 방해할까?"
• "내 손이 닿는 순간 컵이 어떻게 움직일까?"

이런 미래의 상황을 미리 상상하고 계획하는 것이 중요합니다. 하지만 기존 기술들은 두 가지 큰 문제를 겪고 있었습니다.

1. 너무 많은 정보 (과부하): 미래의 모든 장면을 고화질 영상처럼 다 그려내려다 보니, 로봇의 뇌 (컴퓨터) 가 너무 바빠져서 실제 행동은 느려졌습니다. (예: 길을 가는데 모든 나무의 잎사귀까지 다 그려보려고 하다가 걸음을 멈춤)
2. 너무 적은 정보 (막연함): 반대로 정보를 너무 줄여서 "앞으로 간다"는 정도만 알려주면, 정교한 작업 (예: 컵을 깨지지 않게 옮기기) 을 하기에 정보가 부족했습니다. (예: 지도에 '서울로 간다'만 적혀있고, 어떤 길로 가야 하는지 모름)

2. WoG 의 해결책: "미래의 핵심만 요약한 나침반"

이 논문은 **'WoG (World Guidance)'**라는 새로운 방법을 제안합니다. 핵심 아이디어는 **"미래의 장면을 다 그릴 필요 없이, 행동을 결정하는 데 꼭 필요한 '핵심 요약본'만 만들어서 로봇에게 알려주자"**는 것입니다.

이를 **'미래 나침반'**이라고 부르겠습니다.

🌟 비유: 요리사 vs. 레시피 요약본

• 기존 방법 (과부하): 요리사가 요리를 하려고 할 때, 1 시간 뒤의 주방 전체를 고화질로 상상하려다 보니 머리가 아파서 칼질도 못 함.
• 기존 방법 (부족함): "요리해"라고만 말해주니, 재료가 어디 있는지, 불은 어떻게 조절해야 하는지 몰라서 실패함.
• WoG 방법 (나침반): "1 시간 뒤에는 소금이 떨어질 거야"와 **"불은 약불로 해"**라는 핵심 정보만 요약해서 알려줌. 요리사는 이 정보만으로도 완벽하게 다음 행동을 계획할 수 있음.

3. 어떻게 작동할까요? (두 단계 훈련 과정)

이 로봇 AI 는 두 단계로 훈련을 받습니다.

1 단계: 미래의 나침반 만들기 (지도 제작)

• 로봇은 먼저 미래에 어떤 일이 일어날지 (예: 컵이 어떻게 움직일지) 를 미리 보는 '선생님 (기존의 거대한 AI 모델)'을 따라 배웁니다.
• 이때, 미래의 복잡한 영상 전체를 외우는 게 아니라, **"행동에 중요한 정보만 뽑아낸 요약본 (조건)"**을 만들어냅니다.
• 마치 여행 계획을 세울 때, "내일 비가 오니까 우산 챙겨라"는 정보만 뽑아내는 것과 같습니다.

2 단계: 나침반을 내 머리에 심기 (내면화)

• 이제 로봇은 미래의 영상을 직접 볼 수 없습니다. 오직 지금의 상황만 볼 수 있습니다.
• 하지만 1 단계에서 배운 대로, **"지금 상황을 보면 미래에 어떤 '핵심 요약'이 나올지"**를 스스로 예측하도록 훈련합니다.
• 결과적으로 로봇은 미래를 직접 보지 않아도, 마치 미래를 미리 본 것처럼 정확한 행동을 할 수 있게 됩니다.

4. 왜 이 방법이 더 좋은가요?

이 방법은 실제 실험에서 기존 기술들보다 훨씬 뛰어난 성과를 보였습니다.

• 정교한 작업: 컵을 옮길 때 다른 물체에 부딪히지 않게 피하거나, 접시를 접는 등 섬세한 작업에서 훨씬 성공률이 높았습니다.
• 새로운 환경 적응: 훈련할 때와 다른 배경, 다른 조명, 다른 물체를 사용해도 잘 작동했습니다. (예: 훈련할 때는 초록색 컵을 썼는데, 실험할 때는 빨간 컵이어도 잘 옮김)
• 사람의 동작 학습: 로봇 데이터뿐만 아니라, 사람이 하는 동작 영상을 많이 보여주면 로봇이 더 똑똑해졌습니다. 사람이 컵을 어떻게 잡는지, 어떻게 피하는지 '핵심 원리'를 배우기 때문입니다.

5. 결론: 로봇의 '직관'을 깨우다

이 논문은 로봇에게 **"미래를 완벽하게 상상하는 능력"**을 주는 대신, **"미래를 예측하는 데 꼭 필요한 핵심 정보 (나침반)"**를 주는 방식을 제안했습니다.

마치 우리가 길을 갈 때, 모든 건물의 세부 묘사를 기억할 필요 없이 **"다음에 신호등이 있고, 오른쪽으로 꺾어야 한다"**는 핵심 정보만 기억하고 길을 찾듯이, 로봇도 핵심적인 미래 정보만 기억하고 행동함으로써 훨씬 빠르고 똑똑하게 세상을 다룰 수 있게 된 것입니다.

한 줄 요약:

"로봇에게 미래의 모든 장면을 보여주기보다, 행동에 꼭 필요한 '미래의 핵심 요약본'만 알려주어, 로봇이 스스로 미래를 예측하고 똑똑하게 움직이게 한 혁신적인 방법입니다."

기술 요약

1. 문제 정의 (Problem)

비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델의 성능을 향상시키기 위해 미래 관측 (Future Observation) 을 활용하는 연구가 활발히 진행되고 있습니다. 그러나 기존 접근법들은 다음과 같은 근본적인 트레이드오프 (Trade-off) 에 직면해 있습니다.

• 과도한 중복성 (Redundancy): 미래의 이미지, 깊이, 비디오 등 명시적인 모달리티를 예측하는 방식은 풍부한 지각 정보를 제공하지만, 작업과 무관한 (task-agnostic) 정보가 많아 계산 비용이 크고 미세한 행동 생성에 불필요한 노이즈를 유발합니다.
• 정밀도 부족 (Coarse Guidance): 잠재 행동 (Latent Action) 모델은 행동을 압축하여 추상적인 패턴을 학습하지만, 이는 고수준의 계획에는 유용할지 몰라도 정밀한 미세 제어 (fine-grained control) 에 필요한 구체적인 정보를 제공하지 못합니다.

따라서, **VLA 모델이 예측하기 용이하면서도 정밀한 행동 생성을 유도할 수 있는 충분한 정보를 가진 '조건 공간 (Condition Space)'**을 찾는 것이 핵심 과제였습니다.

2. 방법론 (Methodology)

저자들은 **WoG (World Guidance)**라는 새로운 프레임워크를 제안합니다. 이는 미래 관측을 행동 생성 파이프라인에 주입하여 압축된 '조건 (Condition)'으로 변환하고, VLA 가 이 조건과 행동을 동시에 예측하도록 학습시키는 방식입니다.

핵심 아이디어

미래 관측을 직접 행동에 매핑하는 대신, 행동 생성에 필요한 충분하고 효율적인 조건으로 압축하여 VLA 내부에 주입합니다. 이 조건 공간은 행동 생성에 필수적인 정보만 포함하므로 중복성이 제거되고, VLA 가 이를 학습하기 용이합니다.

2 단계 학습 커리큘럼 (Two-Stage Training Curriculum)

1. 1 단계: 세계 지도 (World Guidance)

   • 입력: 현재 관측 (VLM 인코딩) + 미래 관측 (프리트레인된 비전 모델인 DINOv2, Wan VAE 등으로 인코딩).
   • 과정: 미래 관측은 학습 가능한 Q-Former 기반 인코더를 통해 행동 관련 핵심 특징만 추출되어 저차원의 조건 벡터 ($O^c$) 로 압축됩니다.
   • 목표: VLA 는 현재 관측과 이 압축된 미래 조건 ($O^c$) 을 함께 입력받아 행동을 생성하도록 학습됩니다. 이 과정에서 인코더는 효율적인 조건 공간을 학습합니다.

2. 2 단계: 세계 추론 (World Inference)

   • 고정: 1 단계에서 학습된 Q-Former 인코더와 비전 모델은 고정 (Freeze) 됩니다.
   • 과정: VLA 는 현재 관측만을 입력받아 두 가지 목표를 동시에 달성하도록 학습됩니다.
     1. 행동 예측: 미래 행동을 생성.
     2. 조건 예측: 고정된 인코더가 생성한 미래 조건 ($O^c$) 을 내부적으로 예측 (Alignment).
   • 효과: VLA 는 추론 시 외부 미래 정보를 필요로 하지 않고, 내부 표현을 통해 미래 상황을 '예상'하고 이를 행동에 활용하는 자기 주도적 (Self-guided) 모델이 됩니다.

인간 조작 데이터 학습 확장

WoG 는 대규모 인간 조작 비디오 (레이블 유무 상관없이) 를 통해 학습할 수 있습니다.

• 레이블 없는 데이터: 2 단계에서 미래 조건 예측을 위한 감독 신호로만 활용.
• 레이블 있는 데이터: 1, 2 단계 모두에서 행동 및 조건 예측에 활용.
  이를 통해 로봇 데이터만으로는 학습하기 어려운 광범위한 동역학 (Dynamics) 을 습득하여 일반화 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 조건 공간 (Condition Space) 모델링: 미래 관측을 행동 생성에 최적화된 압축된 조건 공간으로 변환하는 새로운 패러다임을 제시하여, 기존 세계 모델의 중복성과 잠재 행동 모델의 정밀도 부족 문제를 동시에 해결했습니다.
2. 효율적인 2 단계 학습 전략: 미래 정보를 명시적으로 주입하여 학습한 후, 이를 VLA 내부 지식으로 정제하는 커리큘럼을 통해 추론 시 외부 의존성을 제거했습니다.
3. 대규모 인간 데이터 활용 가능성: 로봇 데이터와 인간 데이터를 혼합하여 학습할 때, 조건 예측을 통해 인간과 로봇 간의 행동 차이를 극복하고 뛰어난 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션 환경 (SIMPLER)

• 성능: Google Robot 및 WidowX 로봇을 대상으로 한 Pick-and-Place, 장애물 회피, 서랍 열기 등 다양한 작업에서 기존 VLA (OpenVLA, $\pi_0$ 등) 및 세계 모델 (DeFI, VITA 등) 보다 일관되게 우월한 성능을 보였습니다.
• 특징: 복잡한 동역학이 필요한 작업 (예: 장애물 우회, 정밀 그리핑) 에서 특히 두드러진 성능 향상을 보였습니다.
• 아날리시스: VAE 기반 인코더는 궤적 계획에, SigLIP 기반 인코더는 공간 정밀도에 각각 유리한 것으로 확인되었습니다.

실제 환경 (Real-World)

• 작업: 컵 옮기기 (Pick and Place), 전자레인지 닫기, 수건 접기 등 3 가지 작업 수행.
• OOD (Out-of-Distribution) 일반화: 배경 변경, 조명 변화, 새로운 객체 등장 등 훈련 데이터와 다른 환경에서도 기존 방법들 (UniVLA, VPP) 보다 **훨씬 높은 강건성 (Robustness)**을 보였습니다.
  • 특히, VPP(비디오 예측 기반) 는 시각적 분포에 과적합되는 경향이 있었으나, WoG 는 조건 공간의 추상화로 인해 시각적 노이즈에 덜 민감했습니다.
• 인간 데이터 효과: 인간 조작 데이터를 학습에 포함시켰을 때, 로봇 전용 데이터만 사용한 모델 대비 성공률이 크게 향상되었습니다 (예: Pick and Place 60% → 70% 이상).

5. 의의 및 결론 (Significance)

• 효율성과 정밀도의 균형: WoG 는 미래의 복잡한 시각 정보를 모두 재생성하는 대신, 행동에 필요한 핵심 정보만 추출하여 조건으로 활용함으로써 계산 효율성과 정밀한 제어를 동시에 달성했습니다.
• 실제 적용 가능성: 실제 로봇 환경에서 다양한 OOD 시나리오에 대한 뛰어난 적응 능력을 입증하여, 실제 세계 (Real-world) 로봇 배포에 큰 잠재력을 보여줍니다.
• 확장성: 인간과 로봇의 데이터를 통합하여 학습할 수 있는 프레임워크를 제공함으로써, 대규모 인간 행동 데이터의 부재 문제를 해결하고 로봇의 학습 속도와 범위를 확장할 수 있음을 증명했습니다.

요약하자면, WoG 는 미래를 '예측'하는 것이 아니라, 미래가 주는 '지식'을 행동 생성을 위한 효율적인 조건으로 변환하여 VLA 의 능력을 극대화하는 혁신적인 접근법입니다.