🤖 AI

Grounded World Model for Semantically Generalizable Planning

이 논문은 자연어 지시를 잠재 공간에 직접 정렬하여 학습된 'Grounded World Model'을 제안함으로써, 기존 VLA 대비 미시적 환경과 지시 표현에 대한 의미적 일반화 능력을 획기적으로 향상시키고 WISER 벤치마크에서 87% 의 높은 성공률을 달성함을 보여줍니다.

원저자: Quanyi Li, Lan Feng, Haonan Zhang, Wuyang Li, Letian Wang, Alexandre Alahi, Harold Soh

게시일 2026-04-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Quanyi Li, Lan Feng, Haonan Zhang, Wuyang Li, Letian Wang, Alexandre Alahi, Harold Soh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 로봇이 새로운 환경에서 지시를 듣고 스스로 계획을 세워 일을 잘 해내는 방법을 연구한 것입니다. 기존 방식의 한계를 극복하고, 훨씬 더 똑똑하고 유연한 로봇을 만드는 새로운 접근법을 제시했죠.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: 로봇은 왜 '새로운' 일을 못 할까요?

기존의 로봇들은 MPC(모델 예측 제어)라는 방식을 썼습니다. 이걸 **'미래를 예언하는 점쟁이'**에 비유해 볼까요?

**기존 방식 **(점쟁이와 사진) 로봇은 "내가 이렇게 움직이면 어떻게 될까?"라고 상상하며 여러 가지 행동을 시도해 봅니다. 그런데 이때 **목표 **(Goal)를 미리 보여줘야 합니다.
- 예시: "저기 빨간 컵을 가져와."라고 말하면, 로봇은 "아, 목표는 이 사진에 있는 빨간 컵이야!"라고 생각하며 그 사진과 가장 비슷하게 보이는 행동을 선택합니다.
한계점:
1. 사진을 미리 준비해야 함: 새로운 환경이나 새로운 사물이 나오면, 그걸 찍은 '목표 사진'을 미리 준비하기 어렵습니다.
2. 사람과 소통하기 어려움: 우리는 "저기 책상 왼쪽에 있는 빨간 컵을 가져와"라고 말로 지시하지만, 로봇은 사진만 보고 이해하려다 보니 말의 뉘앙스나 새로운 상황을 이해하지 못합니다.
3. 기억력 부족: 로봇이 훈련할 때 본 상황 (예: 빨간 컵) 과는 조금 다른 상황 (예: 파란 컵, 혹은 컵 위치가 조금 다른 경우) 이 나오면, 로봇은 "이건 훈련할 때 본 게 아니야!"라며 당황해서 일을 망칩니다.

2. 해결책: GWM (Grounded World Model) - "말을 이해하는 미래 예언가"

저자들은 이 문제를 해결하기 위해 'GWM(Grounded World Model)이라는 새로운 시스템을 만들었습니다. 이걸 **'말을 잘 듣고 미래를 상상하는 천재 시나리오 작가'**라고 상상해 보세요.

핵심 아이디어: 로봇이 "이렇게 움직이면 어떻게 될까?"라고 상상할 때, **목표 사진 대신 '말 **(지시문)을 사용합니다.
어떻게 작동할까요?
1. **공통 언어 **(잠재 공간) 로봇은 'Qwen3-VL'이라는 거대한 AI(기초 모델) 가 만든 **'공통 언어 공간'**을 사용합니다. 이 공간에서는 '사진'과 '말'이 같은 언어로 번역됩니다.
2. 미래 예측: 로봇은 여러 가지 행동 (예: 컵을 잡는 동작, 놓는 동작) 을 상상합니다. 이때 GWM 이 "이 행동을 하면 앞으로 어떻게 될까?"라고 시뮬레이션합니다.
3. 점수 매기기: 시뮬레이션된 미래 모습이 사용자의 말 ("빨간 컵을 가져와") 과 얼마나 잘 맞는지를 점수로 매깁니다.
  - 비유: 사용자가 "빨간 컵을 가져와"라고 말하면, 로봇은 "내가 이대로 움직이면 빨간 컵이 내 손에 들어오는 미래가 그려지네!"라고 생각하고 그 행동을 선택합니다.

3. 왜 이것이 혁신적인가? (비유로 설명)

**기존 VLA **(Vision-Language-Action)
- 비유: 로봇이 훈련할 때 본 '빨간 컵' 사진만 외운 암기왕입니다.
- 결과: 훈련할 때 90% 는 잘하지만, 시험장에 가서 '파란 컵'이나 '새로운 위치'가 나오면 22% 만 맞습니다. 새로운 상황을 전혀 이해하지 못합니다.
새로운 GWM-MPC:
- 비유: 로봇은 훈련할 때 본 '행동' (컵을 잡는 법) 은 기억하지만, **새로운 상황 **(새로운 컵, 새로운 위치)은 기초 모델이 가진 방대한 지식으로 이해합니다.
- 결과: 훈련할 때 92%, **새로운 시험장 **(보지 못한 상황)에서도 **87%**를 달성했습니다. 말로 지시하는 새로운 상황에서도 "아, 컵을 잡는 법은 알고 있으니, 그걸 적용해서 이 새로운 컵을 잡으면 되겠네!"라고 추론합니다.

4. 재미있는 기술적 특징들

**렌더링 기반 행동 토큰화 **(RAT)
- 로봇의 움직임을 숫자 나열 (좌표) 로 표현하는 대신, **로봇이 움직이는 모습을 영상으로 그려서 **(렌더링) AI 가 이해하게 합니다.
- 비유: 로봇에게 "왼쪽 발을 3cm 올리고"라고 숫자로 말하는 대신, "왼쪽 발을 들어 올리는 모습"을 그림으로 보여주고 "이게 맞는 거야?"라고 물어보는 것입니다. 이렇게 하면 **다른 로봇 **(예: 팔이 다른 로봇)을 만나도 바로 적응할 수 있습니다.
WISER 벤치마크:
- 이 연구를 검증하기 위해 만든 시험 문제입니다. "숫자", "동물", "지식" 등 24 가지 카테고리로 나뉘어 있으며, 훈련할 때와 완전히 다른 사물과 지시문을 사용했습니다. 기존 로봇들은 여기서 완전히 망쳤지만, GWM 은 잘 해냈습니다.

5. 결론

이 논문은 **"로봇에게 단순히 행동을 외우게 하는 게 아니라, 인간의 말을 이해하고 그 말에 맞는 미래를 상상하게 하면, 훨씬 더 똑똑하고 유연한 로봇을 만들 수 있다"**는 것을 증명했습니다.

기존 방식이 **'사진으로만 보는 로봇'**이었다면, 이 새로운 방식은 **'말을 듣고 미래를 상상하는 로봇'**입니다. 덕분에 로봇은 새로운 환경에서도 우리가 말로 지시하는 대로 유연하게 일을 처리할 수 있게 되었습니다.

1. 문제 정의 (Problem Statement)

기존의 비전 기반 모델 예측 제어 (Visuomotor MPC) 는 미래 상태의 이미지를 예측하고, 이를 목표 이미지 (Goal Image) 와의 거리 (예: MSE) 로 평가하여 최적 행동을 선택합니다. 그러나 이 방식에는 두 가지 주요 한계가 있습니다.

목표 이미지의 부재: 새로운 환경이나 작업에서 실행 전에 목표 이미지를 미리 얻는 것은 어렵습니다.
상호작용의 제한: 자연어에 비해 이미지로 목표를 전달하는 것은 인간 친화적이지 않으며, 상호작용이 제한적입니다.

기존의 VLA(Vision-Language-Action) 모델들은 사전 학습된 비전 - 언어 모델 (VLM) 을 파인튜닝하여 이를 해결하려 시도했으나, 실험 결과 **훈련 데이터에 과적합 (Overfitting)**되어 새로운 시각적 신호나 지시 표현 (Referring Expressions) 이 포함된 테스트 환경에서는 일반화 능력이 크게 떨어지는 것으로 나타났습니다.

2. 방법론 (Methodology)

저자들은 **Grounded World Model (GWM)**을 제안하며, 이는 다음과 같은 핵심 요소들로 구성됩니다.

A. Vision-Language-Aligned Latent Space 활용

GWM 은 사전 학습된 멀티모달 검색 모델인 Qwen3-VL-Embedding의 잠재 공간에서 상태 전이 함수 (State Transition Function) 를 학습합니다.

이 모델은 이미지, 텍스트, 비디오를 공유된 임베딩 공간으로 매핑할 수 있으며, 코사인 유사도를 통해 지시사항과 미래 결과 간의 유사성을 계산합니다.
기존 VLM 기반 VLA 와 달리, GWM 은 기초 모델 (Foundation Model) 의 가중치를 변경하지 않고 잠재 공간 내에서만 전이 함수를 학습합니다. 이를 통해 기초 모델이 가진 풍부한 다중 모달 세계 지식과 의미 이해 능력을 보존합니다.

B. 모델 예측 제어 (MPC) 프레임워크

후보 행동 제안 (Proposal): K-Nearest Neighbors (KNN) 를 사용하여 현재 관측 상태와 가장 유사한 훈련 데이터셋 내의 행동 시퀀스 (Trajectory) 를 12 개 ( $N=12$ ) 추출합니다.
미래 결과 예측 (Prediction): 제안된 각 행동 시퀀스에 대해 GWM 이 미래 상태의 임베딩 ( $z_t$ $z_{t}$ ) 을 예측합니다.
- Rendering-based Action Tokenization (RAT): 로봇의 액션 (조인트 위치 등) 을 직접 학습 가능한 인코더로 변환하는 대신, 로봇의 URDF 와 카메라 파라미터를 사용하여 액션을 렌더링된 이미지로 변환합니다. 이를 통해 Qwen 의 비전 인코더를 그대로 활용할 수 있으며, 추가적인 학습 파라미터 없이도 다양한 로봇 (Embodiment) 에 적용 가능합니다.
점수 매김 및 선택 (Scoring & Selection): 예측된 미래 임베딩과 자연어 지시사항에서 추출한 목표 임베딩 ( $z_g$ ) 간의 코사인 유사도를 계산하여 가장 높은 점수를 받은 행동 시퀀스를 선택합니다.

3. 주요 기여 (Key Contributions)

Grounded World Model (GWM) 제안: 자연어 지시사항을 직접적으로 반영하여 미래 상태를 예측하는 새로운 VLA 아키텍처를 제시했습니다. 이는 비전 - 언어 정렬된 잠재 공간에서 작동하여 의미적 일반화를 가능하게 합니다.
WISER 벤치마크 개발: 의미적 일반화 능력을 평가하기 위한 새로운 벤치마크인 **World-knowledge Integrated Semantic Embodied Reasoning (WISER)**을 제안했습니다.
- 24 개의 세계 지식 카테고리 (숫자, 음식, 동물, 랜드마크 등) 로 구성되며, 훈련과 테스트 세트의 시각적 신호 (색상, 이미지) 및 지시 표현이 완전히 분리되어 있습니다.
- 훈련 데이터에 없는 새로운 지시사항과 시각적 신호가 포함되어 있어, 모델이 훈련된 동작을 새로운 맥락에서 재구성할 수 있는지 평가합니다.
Embodiment-Agnostic Generalization: 렌더링 기반 액션 토큰화 (RAT) 를 통해 훈련된 모델이 다른 로봇 (예: Franka Panda 에서 xArm6 로) 에 제로샷 (Zero-shot) 으로 적용될 수 있음을 입증했습니다.

4. 실험 결과 (Results)

WISER 벤치마크 (288 개의 테스트 태스크) 에서의 실험 결과는 다음과 같습니다.

성능 비교:
- GWM-MPC: 테스트 세트에서 **87%**의 성공률을 기록했습니다. 훈련 데이터에 없는 시각적 신호와 지시 표현에도 불구하고, 훈련된 동작을 성공적으로 일반화했습니다.
- 기존 VLA 모델들 (SOTA): 평균 **22%**의 성공률에 그쳤습니다. 일부 모델 (SmolVLA, $\pi_0$ 등) 은 훈련 세트에서 90% 이상의 높은 성공률을 보였으나, 테스트 세트에서는 무작위 추첨 (약 8.3%) 보다도 낮은 성능을 보이며 심각한 과적합 현상을 드러냈습니다.
Ablation Study:
- GT-MPC (Ground Truth MPC): GWM 대신 실제 미래 이미지를 사용하여 점수를 매기면 이론적 상한선 (93% 성공률) 을 보입니다. GWM-MPC 는 이 상한선에 근접하여 예측 오차가 매우 작음을 보여줍니다.
- RAT 효과: 학습 가능한 액션 인코더를 사용한 모델 (GWM-MPC-AC) 은 일반화 성능이 떨어졌으며, 렌더링 기반 토큰화 (RAT) 가 교차-구현 (Cross-embodiment) 일반화에 필수적임을 입증했습니다.
- 데이터 효율성: 훈련 데이터의 절반만 사용해도 72% 의 성공률을 유지하여 데이터 효율성이 높음을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 VLA 시스템의 의미적 일반화 실패 원인이 단순한 비전 - 언어 이해 부족이 아니라, 파인튜닝 과정에서 기초 모델의 지식이 손실되거나 (Knowledge Forgetting), 모델이 시각적 단서 (Visual Shortcuts) 에 의존하기 때문임을 규명했습니다.

GWM-MPC 는 액션 생성과 의미 이해를 분리하여, 사전 학습된 강력한 비전 - 언어 모델의 지식을 보존하면서 로봇 제어에 적용하는 새로운 패러다임을 제시합니다. 특히, 자연어 지시사항을 통해 목표를 명시하고 렌더링 기반 토큰화를 통해 다양한 로봇에 적용 가능하다는 점은 실제 로봇 학습 분야에서 중요한 진전입니다.

결론적으로, 이 논문은 VLA 의 성능 한계를 극복하고 진정한 의미적 일반화를 달성하기 위해 잠재 공간 기반의 Grounded World Model과 **추론 기반 계획 (Retrieval-based Planning)**의 결합이 유효한 해결책임을 입증했습니다.