🤖 machine learning

Fast LeWorldModel

이 논문은 자기회귀적 일보 전진(one-step rollout)을 후보 행동 시퀀스에 대한 미래 잠재 상태를 직접 예측하는 병렬 액션 프리픽스(action-prefix) 메커니즘으로 대체함으로써, 계획 속도를 높이고 오차 누적을 줄이는 재구성 없는 비주얼 월드 모델인 Fast-LeWorldModel을 소개한다.

원저자: Yuntian Gao, Xiangyu Xu

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuntian Gao, Xiangyu Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 미로를 헤매고 있다고 상상해 보세요. 하지만 벽이 보이지 않습니다. 대신, 당신에게는 특정 경로를 따라갔을 때 미로가 어떤 모습일지 추측해 주는 "수정구슬"(AI 모델)이 있습니다.

기존의 수정구슬 사용 방식(LeWorldModel 또는 LeWM)은 한 번에 아주 작은 한 걸음씩 움직이는 것과 같았습니다.

당신은 묻습니다: "내가 앞으로 가면 어디에 있게 될까?"
수정구슬이 추측합니다.
당신은 그 추측된 결과를 바탕으로 다시 묻습니다: "그 추측된 지점에서 다시 앞으로 가면, 다음에는 어디에 있게 될까?"
수정구슬이 다시 추측합니다.

문제점: 이 방식은 느립니다. 왜냐하면 경로의 끝을 확인하기 위해 수정구슬에게 백 번이나 물어봐야 하기 때문입니다. 또한, 만약 수정구슬이 1단계에서 작은 실수를 한다면, 그 실수는 2단계에서 더 커지고, 10단계에 이르면 엄청나게 커집니다. 이것은 마치 메시지가 전달될수록 내용이 엉망이 되는 "전화기 게임(말 전달 게임)"과 같습니다.

새로운 해결책 (Fast LeWorldModel):
저자인 Yuntian Gao와 Xiangyu Xu는 수정구슬을 사용하는 더 똑똑한 방법을 고안해 냈습니다. 한 번에 한 단계씩 묻는 대신, 여정의 덩어리(chunks)를 한꺼번에 묻는 방식입니다.

책을 읽는 것에 비유해 보겠습니다:

기존 방식 (LeWM): 단어 하나를 읽고, 그다음 단어를 추측하고, 그다음 단어를 또 추측합니다. 만약 첫 단어를 잘못 추측하면, 전체 문장이 말이 되지 않게 됩니다.
새로운 방식 (Fast-LeWM): 앞부분의 몇 단어(접두사, prefix)를 보고, 그 문장이 어디로 이어지는지 즉시 결론을 봅니다. 당신은 첫 5단어, 첫 10단어, 그리고 첫 20단어를 동시에 볼 수 있습니다.

평이한 언어로 설명하는 작동 원리

"접두사(Prefix)" 기술: 미래를 1초 단위로 예측하는 대신, 새로운 모델은 일련의 행동 묶음(예: "앞으로 이동, 왼쪽으로 회전, 앞으로 이동")을 하나의 '접두사'로 봅니다. 그리고 묻습니다: "내가 이 전체 덩어리의 행동을 한다면, 최종적으로 어디에 도착하게 될까?"
병렬 처리: 모델은 첫 번째 추측이 끝나기를 기다렸다가 다음 추측을 하지 않습니다. 1단계 덩어리의 목적지, 2단계 덩어리의 목적지, 그리고 5단계 덩어리의 목적지를 모두 동시에(병렬로) 계산합니다.
"전화기 게임"의 방지: 모든 예측이 (추측된 위치가 아닌) 당신의 실제 현재 위치에서 시작되기 때문에, 1단계 추측에서의 실수가 5단계 추측을 망치지 않습니다. 이들은 서로 독립적입니다.

결과: 더 빠르고 더 똑똑하게

저자들은 이 모델을 블록 밀기나 로봇 팔 움직이기와 같은 로봇 작업에 테스트했습니다. 결과는 다음과 같습니다.

속도: 기존 모델은 하나의 계획을 시뮬레이션하는 데 약 31초가 걸렸습니다. 새로운 모델은 이를 8초 만에 해냈습니다. 이는 거의 4배 더 빠른 속도입니다.
성공률: 새로운 모델은 오류가 누적되지 않기 때문에, 로봇이 실제로 목표에 더 자주 도달했습니다. 성공률이 약 **86%에서 90.5%**로 높아졌습니다 풀었습니다.
정확도: 먼 거리에 대한 예측 오류를 확인했을 때, 기존 모델의 오류는 순식간에 거대해졌습니다. 반면 새로운 모델의 오류는 작게 유지되었으며 매우 느리게 증가했습니다.

핵심 요약

저자들은 단순히 로봇을 더 빠르게 생각하게 만든 것이 아니라, 로봇이 생각하는 방식 자체를 바꾸었습니다. 로봇이 상상 속에서 작고 오류가 많은 단계를 밟는 것을 멈추게 하고, 행동 시퀀스의 덩어리를 봄으로써 앞으로 "도약"하게 함으로써, 더 빠르고 동시에 더 신뢰할 수 있는 월드 모델을 만들어 냈습니다.

이것은 어두운 숲을 지나갈 때 풀 한 포기 한 포기를 일일이 느끼며 걷는 것(느리고 넘어지기 쉬움)과, 손전등을 사용하여 20피트 앞의 길을 한눈에 보는 것(빠르고 안전함)의 차이와 같습니다.

기술 요약: Fast LeWorldModel

문제 정의

LeWorldModel(LeWM)과 같은 결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architectures, JEPAs)는 보상-프리(reward-free) 목표 조건부 계획이 가능한 재구성 없는(reconstruction-free) 시각적 월드 모델의 토대를 마련했습니다. 그러나 기존의 LeWM 스타일 플래너는 **자기회귀적 1단계 잠재 전이(autoregressive one-step latent transitions)**에 대한 의존성으로 인해 두 가지 결정적인 한계에 직면합니다:

계산 비효상성: 후보 액션 시퀀스를 평가하기 위해, 플래너는 로컬 전이 모델을 단계별로 반복적으로 적용해야 합니다. 이 자기회귀적 롤아웃은 액션 인코딩 및 잠재 예측 모듈을 반복적으로 호출하며 전체 상상된 잠재 궤적을 순차적으로 생성해야 합니다. 이 과정은 수천 개의 후보 시퀀스를 평가해야 하는 샘플링 기반 계획(예: Cross-Entropy Method, CEM)에서 병목 현상이 됩니다.
누적된 예측 오차: 각 예측된 상태 $\hat{z}_{t+k}$ 는 이전에 상상된 상태 $\hat{z}_{t+k-1}$ 에 의존하기 때문에, 초기 또는 중간 단계에서 발생한 오차가 계획 지평(horizon)이 길어짐에 따라 전파되고 누적됩니다. 이는 장기 예측의 신뢰도를 점진적으로 떨어뜨립니다.

방법론: Fast LeWorldModel (Fast-LeWM)

저자들은 순차적인 자기회귀 롤아웃을 **액션-프리픽스 예측(action-prefix prediction)**으로 대체하는 잠재 월드 모델인 **Fast-LeWorldModel (Fast-LeWM)**을 제안합니다. 현재의 관측된 잠재 상태로부터 다음 상태를 예측하는 대신, Fast-LeWM은 특정 액션 시퀀스의 프리픽스(prefix)를 실행한 후 도달하게 되는 미래의 잠재 상태를 현재 관측된 잠재 상태에 직접 조건화하여 예측합니다.

핵심 아키텍처

이 방법은 두 가지 주요 구성 요소로 이루어집니다:

액션-프리픽스 인코더 (Action-Prefix Encoder):
- 후보 액션 시퀀스 $(a_t, \dots, a_{t+H-1})$ 와 현재 잠재 상태 $z_t$ 를 입력으로 받습니다.
- $z_t$ 를 "상태 토큰(state token)"으로 매핑하고 이를 액션 토큰들 앞에 붙입니다.
- 이 시퀀스를 처리하기 위해 **인과적 트랜스포머(causal Transformer)**를 사용합니다. 인과적 마스크(causal mask) 덕분에 $k$ 위치의 출력(프리픽스 토큰 $p_{t,k}$ )은 오직 액션 $(a_t, \dots, a_{t+k-1})$ 과 현재 상태 컨텍스트만을 요약하며, 미래 액션으로부터의 정보 누출을 방지합니다.
- 이를 통해 각 토큰이 특정 액션 프리픽스의 누적된 효과를 나타내는 프리픽스 토큰 집합 $\{p_{t,1}, \dots, p_{t,H}\}$ 를 생성합니다.
병렬 잠재 예측기 (Parallel Latent Predictor):
- 현재 앵커 잠재 상태 $z_t$ 와 프리픽스 토큰 집합 $\{p_{t,1}, \dots, p_{t,H}\}$ 를 입력으로 받습니다.
- 병렬 예측 네트워크를 사용하여 단 한 번의 순전파(forward pass)로 모든 미래 잠재 상태 $\{\hat{z}_{t+1}, \dots, \hat{z}_{t+H}\}$ 를 예측합니다.
- 지평 $k$ 에 대한 예측은 $\hat{z}_{t+k} = G_\phi(z_t, p_{t,k})$ 로 정의됩니다.

학습 목적 함수 (Training Objective)

Fast-LeWM은 **조밀한 프리픽스 수준의 지도 학습(dense prefix-level supervision)**을 채택합니다. 최종 상태나 단일 단계 전이만을 감독하는 표준 모델과 달리, Fast-LeWM은 모든 지평 $k$ 에 대해 예측된 잠재 상태와 실제 잠재 상태 사이의 손실을 최소화합니다:
$\mathcal{L}_{prefix} = \frac{1}{H} \sum_{k=1}^{H} \|\hat{z}_{t+k} - z_{t+k}\|_2^2$
이는 모델이 단순히 국소적인 1단계 전이를 맞추는 것이 아니라, 다양한 액션 프리픽스 하에서 상태가 어떻게 연속적으로 진화하는지를 학습하도록 강제합니다. 잠재 붕괴(latent collapse)를 방지하기 위해 SIGReg 정규화가 유지됩니다.

계획 프로토콜 (Planning Protocol)

계획 단계에서 Fast-LeWM은 LeWM과 동일한 목표 조건부 CEM 프로토콜을 유지합니다. 그러나 액션 시퀀스를 단계별로 롤아웃하는 대신, 액션 시퀀스를 한 번 인코딩하고 모든 미래 지평을 병렬로 쿼리합니다. 선택된 후보의 안정성을 높이기 위해, 직접적인 터미널 예측과 중간 프리픽스 단계를 통해 유도된 예측 간의 불일치에 패널티를 주는 자기 일관성(self-consistency) 항을 비용 함수에 선택적으로 추가할 수 있습니다.

주요 기여

병목 현상 식별: 본 논문은 LeWM의 로컬 1단계 전이 인터페이스가 느린 자기회귀 롤아웃과 장기 지평에서의 오차 누적의 주요 원인임을 밝혀냈습니다.
액션-프리픽스 재정의: 저자들은 잠재 역학 모델링을 단일 단계 전이에서 액션-프리픽스 예측으로 재정의할 것을 제안합니다. 이를 통해 조밀한 프리픽스 수준의 지도 학습이 가능해졌으며, 누적된 액션 효과를 직접적인 역학 학습 대상으로 변환했습니다.
병렬 다중 지평 예측: 미래 상태 예측을 순차적 의존성으로부터 분리함으로써, 모델은 병렬적인 상태 진화 예측을 달 수 있게 되었고, 이를 통해 계산 비용과 오차 전파를 크게 줄였습니다.

실험 결과

저자들은 LeWM과 동일한 프로토콜 및 데이터셋을 사용하여 네 가지 목표 조건부 계획 작업(Two-Room, Reacher, Push-T, OGBench-Cube)에서 Fast-LeWM을 평가했습니다.

계획 성공률: Fast-LeWM은 평균 성공률을 **85.8% (LeWM)**에서 **90.5%**로 향상시켰습니다. 선택적 자기 일관성 항을 사용하면 **92.0%**까지 증가했습니다.
효율성:
- 역학 모듈 시간: Two-Room 작업에서 순차적 롤아웃을 병렬 예측으로 대체함으로써 31.4초에서 8.0초로 감소했습니다 (3.92배 속도 향상).
- 전체 CEM 해결 시간: 54.4초에서 28.3초로 감소했습니다 (48.0% 감소).
예측 정확도:
- 오픈 루프 오차: Fast-LeWM은 LeWM에 비해 더 낮은 초기 잠재 예측 오차를 달성했으며, 지평이 증가함에 따라 오차 성장률이 현저히 느렸습니다.
- 물리적 탐사(Physical Probing): Push-T 작업에서 Fast-LeWM은 에이전트 위치, 블록 위치, 블록 각도에 대한 MLP 프로브에서 우수한 성능을 보여, 학습된 잠재 공간이 LeWM이나 PLDM보다 더 풍부한 물리적 상태 정보를 보유하고 있음을 입증했습니다.

의의 및 주장

본 논문은 액션-프리픽스 예측이 효율적이고 효과적인 잠재 월드 모델 계획을 위한 역학 인터페이스 역할을 한다고 주장합니다. 순차적인 자기회귀 롤아웃에서 병렬 프리픽스 기반 쿼리로 전환함으로써, Fast-LeWM은 계획 속도와 예측 신뢰성 사이의 근본적인 트레이드오프를 해결합니다.

저자들은 이 접근 방식이 새로운 시각적 표현 목적 함수를 요구하지 않으면서(JEPA 프레임워크 내에 머무르며), 후보 액션 시퀀스를 평가하는 방법을 최적화한다는 점을 강조합니다. 결과는 누적된 액션 프리픽스를 통해 상태 진화를 모델링하는 것이 모델이 더 정확하고 연속적인 상태 전이를 학습하게 하여, 장기 시각 계획에서 흔히 발생하는 오차 누적 문제를 완화할 수 있음을 시사합니다.