🤖 machine learning

Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning

이 논문은 커리큘럼 학습을 통해 가변적인 액션 호라이즌에 걸친 미래 잠재 상태를 예측하는 법을 학습함으로써, 기존의 원스텝 모델이 가진 누적 오차 문제를 극복하고 장기 계획 성능을 크게 향상시키는 가변 길이 잠재 세계 모델(Variable-length Latent World Models, VLWMs) 프레임워크를 소개한다.

원저자: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미로를 탐색하거나 블록을 특정 위치로 밀도록 가르치려 한다고 상상해 보세요. 이를 위해 로봇에게는 '세계 모델(World Model)'이라는 일종의 '정신적 지도'가 필요합니다. 이 모델은 로봇의 뇌 속에 있는 시뮬레이터처럼 작동하여, 실제로 행동하기 전에 "내가 팔을 이런 식으로 움직이면 어떻게 될까?"라고 미리 상상해 볼 수 있게 해줍니다.

오랫동안 이러한 정신적 시뮬레이터에는 중대한 결함이 있었습니다. 그것은 마치 사람이 한 걸음을 내디디고, 발 디딘 곳을 확인하고, 다시 한 걸음을 내디디고, 또 확인하는 식의 동작과 같았습니다. 만약 로봇이 첫 번째 단계에서 아주 작은 실수라도 한다면, 그 오류는 이후의 모든 단계에서 점점 더 커지게 됩니다. 결과적으로 긴 여정을 계획하려고 할 때, 로사의 정신적 지도는 완전히 엉망이 되어버립니다. 이를 **복합 오차(compounding error)**라고 부릅니다.

제공된 논문은 **VLWM(Variable-length Latent World Models, 가변 길이 잠재 세계 모델)**이라는 새로운 시스템을 소개합니다. 이 시스템의 작동 원리를 쉽게 설명하면 다음과 같습니다.

1. 기존 방식: "아기 걸음마" 문제

기존 모델(논문에서 LeWM이라 부르는 모델)을 한 걸음씩 배우며 걷기를 연습하는 학생이라고 생각해 보세요.

훈련: 선생님은 "네가 한 걸음을 가면 어디에 있을까?"라고만 묻습니다.
문제점: 학생이 100걸음의 여정을 계획할 때, 그는 100번의 단일 걸음을 연속해서 상상해야 합니다. 만약 1단계에서 비틀거린다면, 100단계째의 예측은 엉뚱한 곳을 향하게 됩니다. 짧은 여행에는 능숙하지만, 긴 여행에는 젬병인 셈입니다.

2. 새로운 방식: "술래잡기(Leapfrog)" 방법 (VLWM)

저자들은 로봇의 뇌를 훈련시키는 더 똑똑한 방법을 제안합니다. 단순히 한 걸음씩 연습하는 대신, 로봇에게 어떤 거리에서도 미래를 예측하도록 가르칩니다.

가변 길이 훈련: 선생님이 학생에게 이렇게 묻는다고 상상해 보세요. "3걸음을 가면 어디에 있을까?", "5걸음을 가면?", "10걸음을 가면?"
결과: 로봇은 중간 과정을 건너뛰는 '술래잡기'를 배웁니다. 로봇은 끝에 도달하기 위해 모든 미세한 움직임을 계산할 필요 없이, 5걸음 혹은 10걸음 뒤의 목적지로 바로 점프할 수 있습니다. 이를 통해 작은 오류들이 쌓이는 것을 방지합니다.

3. "액션-투-토큰(Action-as-Token)" 기술

기존 모델에서 로봇의 행동(예: "왼쪽으로 이동" 또는 "앞으로 밀기")은 경직된 방식으로 수학 안에 숨겨져 있었습니다. 이는 마치 단어들이 서로 딱딱하게 붙어 있어 읽기 힘든 책을 읽으려는 것과 같았습니다.

새로운 기술: 저자들은 모든 행동을 하나의 독립적인 토큰(문장 속의 단어 같은 것)으로 취급합니다. 그들은 '상태'(로봇이 어디에 있는지)와 '행동'(무엇을 하는지)을 하나의 긴 시퀀스로 혼합하여, 마치 하나의 문장처럼 만듭니다.
도움이 되는 이유: 이를 통해 로봇은 뇌 구조를 바꾸지 않고도 3개의 행동이 담긴 문장이나 10개의 행동이 담긴 문장을 유연하고 자연스럽게 읽을 수 있습니다.

4. "산 오르기" 전략 (커리큘럼 학습)

아기에게 첫날부터 마라톤을 뛰라고 가르칠 수는 없습니다. 만약 로봇에게 즉시 100단계를 예측하라고 가르치면, 로봇은 혼란에 빠져 실패할 것입니다.

해결책: 그들은 **커리큘럼(Curriculum)**을 사용합니다.
- 1단계: 로봇은 1단계 예측만 배웁니다.
- 2단계: 1단계 또는 2단계 예측을 배웁니다.
- 3단계: 1, 2, 3, 또는 4단계 예측을 배웁니다.
- 최종 단계: 최대 거리까지 어떤 거리든 예측할 수 있게 됩니다.
이는 장기적인 계획을 위한 복잡성을 더하기 전에, 단기적인 기술의 탄탄한 기초를 먼저 쌓아줍니다.

5. 계획하기: "청킹(Chunking)" 전략

로봇이 실제로 문제를 해결해야 할 때(예: 미로 탐색), 로봇은 단 하나의 방법만 사용하는 것이 아니라 여러 전략을 도구 상자에서 꺼내 씁니다.

고정 점프 (Fixed Jump): 항상 5걸음씩 점프하기로 결정합니다.
무작위 점프 (Random Jumps): 2걸음 갔다가, 그다음엔 7걸음, 그다음엔 3걸음 식으로 무작위로 점프합니다.
장거리에서 단거리로 (Long-to-Short): 처음에는 큰 점프를 통해 전반적인 경로를 파악한 뒤, 목표에 가까워질수록 작고 정밀한 점프로 전환합니다.
이점: 로봇은 어떤 크기의 점프든 다룰 수 있도록 훈련되었기 때문에, 길을 잃지 않기 위해 이러한 전략들을 즉석에서 조합하여 사용할 수 있습니다.

결과: 무엇을 발견했는가?

저자들은 세 가지 작업에서 이를 테스트했습니다:

PushT: T자 모양 블록 밀기.
OGBench-Cube: 로봇 팔이 큐브를 집어 올리기.
TwoRoom: 로봇이 문을 통해 한 방에서 다른 방으로 이동하기.

연구 결과:

짧은 여행: 새로운 시스템은 기존 모델만큼 우수한 성능을 보였습니다.
긴 여행: 새로운 시스템이 현저히 더 뛰어났습니다. "TwoRoom" 작업에서 목표가 멀리 있을 때, 기존 시스템은 36%의 성공률을 보인 반면, 새로운 시스템은 **68%**의 성공률을 기록했습니다.
이유는? 기존 시스템은 한 걸음씩 가는 과정에서 발생하는 "복합 오차" 때문에 길을 잃었습니다. 반면, 새로운 시스템은 큰 그림을 보는 법을 배웠기에 경로를 유지할 수 있었습니다.

요약

이 논문은 로봇이 장기적인 계획을 잘 세우게 하려면, 단순히 한 걸음씩 떼는 법만 가르쳐서는 안 된다고 주장합니다. 대신, 작은 단계에서 시작해 점점 크게 늘려가며 다양한 크기의 덩어리(chunk)로 미래를 예측하는 법을 가르쳐야 합니다. 이 간단한 변화 덕분에 로봇은 길을 잃지 않고 훨씬 더 멀리 내다보며 계획을 세울 수 있습니다.

기술 요약: 장기 계획을 위한 가변 길이 잠재 세계 모델 (Variable-Length Latent World Models)

1. 문제 정의

세계 모델(World models)은 환경의 역학을 예측하는 모델을 학습함으로써 지능형 에이전트를 구축하는 패러다임으로 부상했습니다. 최근의 잠재 세계 모델(예: JEPA 스타일 아키텍처)은 픽셀 공간 예측보다 효율적인 압축된 표현 공간에서의 동작을 제공하지만, 장기 계획(long-horizon planning) 측면에서 상당한 한계에 직면해 있습니다.

주요 식별된 문제는 다음과 같습니다:

오차 누적 (Compounding Errors): 기존 모델은 일반적으로 1단계 예측( $t \to t+1$ )에 의존합니다. 장기 과업의 경우, 이러한 모델은 재귀적으로 롤아웃(rollout)되어야 하며, 이 과정에서 예측 오차가 급격히 누적되어 시간적 드리프트(temporal drift)와 궤적 품질 저하를 초고합니다.
학습-계획 불일치 (Training-Planning Mismatch): 대부분의 모델은 고정된 단계의 예측 목적 함수로 학습됩니다. 이는 로컬 시간 척도에 대해서만 감독(supervision)을 제공하며, 장기적인 일관성을 명시적으로 최적화하지 못합니다. 결과적으로, 학습 신호가 장기 계획 문제의 본질과 일치하지 않게 됩니다.
구조적 경직성 (Architectural Rigidity): 현재의 잠재 세계 모델은 종종 전용 컨디셔닝 메커니즘(예: FiLM 레이어 또는 크로스 어텐션)을 통해 액션을 통합합니다. 이러한 설계는 모델을 고정된 액션 레이아웃(보통 스텝당 하나의 액션)에 강하게 결합시켜, 여러 액션의 기여도를 분리하거나 가변 길이의 액션 시퀀스를 자연스럽게 처리하는 것을 어렵게 만듭니다.

2. 방법론: 가변 길이 잠재 세계 모델 (VLWM)

저자들은 단일 모델 내에서 여러 예측 호라이즌(prediction horizons)에 걸쳐 잠재 환경 역학을 학습하도록 설계된 VLWM 프레임워크를 제안합니다.

2.1 가변 길이 감독 (Variable-Length Supervision)

VLWM은 즉각적인 다음 단계에만 감독을 제한하는 대신, 임의의 미래 오프셋 $k \ge 1$ 에 대해 미래 상태를 예측하도록 단일 예측기 $g_\phi$ 를 학습시킵니다. 학습 목적 함수는 다음과 같습니다:
$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$
여기서 $s_t$ 는 현재 잠재 상태, $a_{t:t+k-1}$ 은 길이가 $k$ 인 가변 길이 액션 세그먼트이며, 타겟은 시간 $t+k$ 에서의 잠재 상태입니다. 이는 단기 역학(short-term dynamics)과 장기적인 의미적 일관성(long-range semantic consistency)을 하나의 목적 함수 아래 통합합니다.

2.2 액션-애즈-토큰 (Action-as-Token) 정식화

가변 길이 액션 시퀀스를 네이티브하게 지원하기 위해, VLWM은 레이어 내부의 컨디셔닝 방식에서 벗어나 액션 임베딩을 **제1급 트랜스포머 토큰(first-class transformer tokens)**으로 취급합니다.

입력 시퀀스: 모델은 히스토리 상태 토큰들로 구성된 시퀀스 $X$ 와 그 뒤를 잇는 가변 개수의 액션 토ке들( $e_t, \dots, e_{t+k-1}$ )을 받습니다.
메커니즘: 상태 토큰과 액션 토큰은 가산적 타입 임베딩(additive type embeddings)에 의해 구분됩니다. 트랜스포머는 인과적(causal)이며, 예측된 잠재 상태 $\hat{s}_{t+k}$ 는 시퀀스의 마지막 토큰 출력에서 직접 읽힙니다.
이점: 이를 통해 사전 정의된 액션 컨디셔닝 인터페이스의 필요성을 제거하여, 모델이 아키텍처 변경 없이 임의의 개수의 과거 액션에 조건화될 수 있도록 합니다.

2.3 커리큘럼 학습 전략 (Curriculum Training Strategy)

처음부터 큰 예측 호라이즌을 사용하여 직접 학습하는 것은 노이즈가 섞인 그래디언트와 최적화 실패로 인해 불안정할 수 있습니다. VLWM은 커리큘럼 학습 전략을 채택합니다:

학습은 여러 단계로 나뉩니다. 단계 $j$ 에서 호라이즌 $k$ 는 $\{1, 2, \dots, j\}$ 에서 균등하게 샘플링됩니다.
모델은 $k=1$ 에서 시작하여 최대 $K_{max}$ 까지 샘플링되는 호라이즌의 범위를 점진적으로 확장합니다.
이는 장기적인 의미 구조가 잘 학습된 단기 호라이즌 역학 위에 구축되도록 보장하여 최적화를 안정화합니다.

2.4 가변 길이 점프를 이용한 계획 (Planning with Variable-Length Jumps)

추론 시, 계획 호라이즌 $H$ 는 연속적인 청크(chunk)들로 분할됩니다: $H = k_1 + k_2 + \dots + k_M$ . 플래너는 재귀적인 1단계 예측 대신, 일련의 가변 길이 잠재 점프(latent jumps)로서 롤아웃을 평가합니다. 논문은 세 가지 계획 전략을 제안합니다:

P1 (고정되었으나 과업 적응형): 과업별로 선택된 상수 청크 크기 $k^*$ 를 사용합니다 (미세 제어를 위해서는 작게, 장기 목표를 위해서는 크게 설정).
P2 (랜덤 호라이즌 샘플링): 각 경계에서 청크 크기를 $\{1, \dots, K_{max}\}$ 사이에서 균등하게 샘플링합니다.
P3 (Long-to-Short): 장기적인 구조를 커버하기 위해 큰 청크로 시작하여, 끝으로 갈수록 청크 크기를 점진적으로 줄여 미세한 역학을 정교화합니다 (조대-세밀 탐색, coarse-to-fine search).

3. 주요 기여

통합 프레임워크: 가변 길이 액션 시퀀스를 "액션-애즈-토큰" 정식화를 통해 자연스럽게 지원하고, 여러 호라이즌에 걸쳐 잠재 역학을 학습하는 VLWM 프레임워크를 도입했습니다.
안정적인 학습 및 계획: 안정적인 가변 길이 학습을 위한 확장 가능한 커리큘럼 학습 전략과, 단일 모델 내에서 다양한 예측 호라이즌을 적응적으로 활용하는 일련의 계획 알고리즘을 제안했습니다.
실증적 검증: VLWM이 장기 호라이즌 계획 벤치마크에서 고정 호라이즌 세계 모델(특히 LeWM)을 일관되게 능가함을 입증하였으며, 개선된 장기 예측 가능성과 다운스트림 제어 가능성에 대한 분석을 제시했습니다.

4. 실험 결과

저자들은 세 가지 목표 조건부 계획 환경인 PushT(2D 조작), OGBench-Cube(3D 로봇 조작), TwoRoom(2D 내비게이션)에서 VLWM을 평가했습니다.

성능 향상: VLWM은 모든 데이터셋에서 SOTA인 LeWM 대비 평균 13%의 성능 향상을 달 기록했습니다. 이 이득은 장기 호라이즌 영역에서 가장 두드러졌습니다 (예: TwoRoom에서 호라이즌 100 스텝일 때, 성공률이 LeWM의 36%에서 VLWM의 68%로 향상됨).
오차 완화: 시각화 결과, LeWM의 재귀적 롤아웃은 드리프트가 발생하여 환경 경계(예: 문)를 통과하지 못했지만, VLWM의 청크 단위 가변 길이 점프는 실제 궤적에 가깝게 유지되었습니다.
표현 품질: 동결된 인코더에 대한 선형 프로브(linear probe) 평가 결과, VLWM은 LeWM에 비해 물리적 특성(예: 블록 각도)에 대해 더 높은 피어슨 상관계수를 가진 잠재 상태를 생성했습니다. 이는 느린 의미적 상태 변화를 더 잘 포착함을 시사합니다.
커리큘럼의 필수성: 절제 연구(Ablation studies)를 통해 커리큘럼 학습 전략이 특히 확장이 필요한 과업에서 안정적인 가변 길이 학습을 위해 필수적임을 확인했습니다.

5. 의의 및 주장

본 논문은 VLWM이 잠재 세계 모델의 장기 예측 및 계획을 개선하기 위한 단순하면서도 효과적인 패러다임을 제공한다고 주장합니다.

엔지니어링을 넘어: 저자들은 장기 계획의 어려움이 단순한 엔지니어링 문제가 아니라 학습 목적 함수의 결과라고 주장합니다. 고정 단계에서 가변 길이 감독으로 전환함으로써, VLWM은 학습 신호를 장기 추론의 요구 사항과 일치시킵니다.
통합 인터페이스: 이 프레임워크는 단일 학습된 모델 내에서 다양한 고정 및 계층적 호라이즌 전략을 포괄하며, 별도의 상위/하위 정책이나 보조 모듈을 필요로 하지 않습니다.
향후 방향: 결과는 가변 길이 감독이 더 견고한 계획 알고리즘을 향한 기초적인 단계임을 시사하며, 플래너가 과업의 특정 요구에 따라 예측 정밀도를 적응할 수 있는 유연한 인터페이스를 제공합니다.