🤖 machine learning

Latent Geometry Beyond Search: Amortizing Planning in World Models

본 논문은 사전 학습된 세계 모델의 잠재 기하학을 매끄러움과 균일성을 위해 정규화함으로써 목표 지향적 계획 경량 역동학 매핑으로 상쇄할 수 있음을 보여주며, 이는 반복적 탐색 방법과 동등하거나 더 나은 성능을 달성하면서 계산 비용을 100 배 이상 절감합니다.

원저자: Hoang Nguyen, Xiaohao Xu, Xiaonan Huang

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hoang Nguyen, Xiaohao Xu, Xiaonan Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 미로를 탐색하거나 블록을 특정 위치로 밀어 넣는 방법을 가르친다고 상상해 보세요. 과거에는 결정을 내리기 위해 로봇이 멈춰서 생각해야 했습니다. "왼쪽으로 움직이면 무슨 일이 일어날까? 오른쪽으로 움직이면 무슨 일이 일어날까? 최고의 경로를 찾기 위해 머릿속에서 9,000 가지의 다른 미래 시나리오를 시뮬레이션해 보자." 이는 체스 선수가 한 번의 수를 두기 전에 다음 한 시간 동안 발생할 수 있는 모든 수를 계산하는 것과 같습니다. 이는 작동하지만, 매우 느리고 계산 비용이 엄청나게 많이 듭니다.

이 논문은 '앞으로 생각하기' 부분을 완전히 생략하는 로봇 교육의 새로운 방식을 제시합니다. 수천 가지의 미래를 시뮬레이션하는 대신, 로봇은 현재 위치와 목표 위치를 기반으로 다음에 무엇을 해야 할지 단순히 알아내는 법을 배웁니다.

다음은 간단한 비유를 통해 그들의 발견을 정리한 것입니다:

1. 문제: '계획의 세금 (Planning Tax)'

저자들은 '월드 모델 (World Model)'이라는 현대적인 로봇 두뇌를 살펴보았습니다. 이 모델은 다음 세상이 어떻게 보일지 예측하는 데 탁월합니다 (예: "블록을 밀면 여기로 미끄러질 것이다"). 그러나 이 똑똑한 두뇌를 가지고 있음에도 불구하고, 로봇은 다음 움직임을 결정하기 위해 여전히 방대하고 느린 탐색을 수행해야 했습니다.

저자들은 이를 **'계획의 세금 (Planning Tax)'**이라고 부릅니다. 이는 초고속 스포츠카 (월드 모델) 를 가지고 있으면서도, 매 교차로마다 교통 경찰에게 방향을 물어보기 위해 멈춰야 하므로 시속 5 마일로 운전해야 하는 것과 같습니다. 차는 빠르지만, 의사결정 과정이 병목 현상이 됩니다.

2. 통찰: 지도는 이미 완벽하다

연구자들은 로봇이 사용하는 '정신 지도 (잠재 공간, latent space)'에 대해 특별한 점을 발견했습니다. 로봇이 훈련된 방식 덕분에 이 지도는 매우 매끄럽고 체계적으로 정리되어 있었습니다.

비유: 집과 사무실을 연결하는 완벽하게 매끄럽고 곧은 고속도로를 상상해 보세요.
구식 방식 (탐색): 마일 마커마다 멈춰서 지도를 꺼내어 최적의 경로를 계산하고, 교통 상황을 확인한 후 1 마일을 운전합니다. 그런 다음 이를 반복합니다.
신규 방식 (GC-IDM): 도로가 너무 곧고 매끄러우므로 멈추고 계산할 필요가 없습니다. 현재 위치와 목적지만 보면 뇌가 즉시 *"전진하라"*고 알 수 있습니다.

이 논문은 로봇의 내부 지도가 충분히 잘 조직되어 있다면, 경로를 '탐색'할 필요가 없다고 주장합니다. 경로는 이미 지도의 기하학적 구조에 인코딩되어 있기 때문입니다.

3. 해결책: '즉각적인 반사 (Instant Reflex)' (GC-IDM)

그들은 9,000 단계에 달하는 느린 탐색을 GC-IDM(Goal-Conditioned Inverse Dynamics Model, 목표 조건 역동역학 모델)이라는 작고 가벼운 신경망으로 대체했습니다.

작동 원리: "최적의 경로는 무엇인가?"라고 묻는 대신, "내가 현재 어디에 있고, 어디로 가고 싶으며, 남은 시간은 얼마나 되는가? 그렇다면 단 하나의 다음 단계는 무엇인가?"라고 묻습니다.
비유: 숙련된 테니스 선수를 생각해 보세요. 그들은 스윙하기 전에 10 초 동안 공의 물리학, 바람, 상대의 위치를 계산하지 않습니다. 공과 목표를 보고 몸이 즉시 스윙을 실행합니다. 이 모델이 바로 그 역할을 합니다. 복잡한 계획 문제를 단순한 반사로 변환합니다.

4. 결과: 속도 대 지능

팀원들은 네 가지 다른 로봇 작업에서 이를 테스트했습니다:

투룸 (Two-Room): 로봇이 문을 통과하여 이동하는 작업.
푸시-T (Push-T): 로봇이 T 자 모양의 물체를 밀어 넣는 작업 (신중한 접촉 필요).
OGB-큐브 (OGB-Cube): 로봇이 3D 큐브를 조작하는 작업.
리처 (Reacher): 로봇 팔이 목표를 향해 도달하는 작업.

발견 사항:

속도: 새로운 방식은 기존 탐색 방식보다 100 배에서 130 배 더 빠릅니다. 결정을 내리는 데 몇 분의 1 초밖에 걸리지 않았습니다.
성능: 8 가지 테스트 시나리오 중 7 가지에서 새로운 방식은 목표 도달에 있어 느린 탐색 방식만큼 좋았거나, 오히려 더 좋았습니다.
부드러움: 로봇의 움직임이 훨씬 더 매끄러웠습니다. 기존 방식은 조각 단위로 경로를 재계산하기 때문에 종종 덜컹거렸습니다. 반면 새로운 방식은 매 단계마다 위치를 재평가하기 때문에 자연스럽게 흐릅니다.

5. 작동 원리 (비밀 소스)

이 논문은 이 방식이 작동하는 이유는 로봇의 내부 지도가 훈련 과정에서 '정규화 (regularized, 조직화)'되었기 때문이라고 설명합니다.

비유: 모든 도로가 직선이고 모든 교차로가 명확하게 표시된 지도를 그린다면, 길을 찾기 위해 GPS 가 필요하지 않습니다. 선만 따라가면 됩니다.
연구자들은 지도가 충분히 매끄럽다면, 로봇이 복잡한 탐색의 필요성을 대체하는 간단한 '역지도 (A 에서 B 로 가려면 X 를 하라는 규칙)'를 배울 수 있음을 증명했습니다.

요약

이 논문은 로봇이 결정을 내리기 위해 항상 수천 가지 가능성을 '생각'하도록 강요할 필요가 없음을 보여줍니다. 우리가 그들에게 세상의 매우 조직화된 내부 지도를 구축하도록 가르친다면, 느리고 무거운 '계획' 과정을 거의 즉시 작동하는 빠르고 가벼운 '반사'로 대체할 수 있습니다.

핵심 교훈: 잘 구조화된 정신 지도는 로봇이 값비싸고 느린 계산을 빠르고 학습된 직관으로 교환할 수 있게 합니다.

기술 요약: 검색을 넘어선 잠재 기하학

문제 제기

현대적인 비전 기반 세계 모델, 특히 결합 임베딩 예측 아키텍처 (JEPA) 기반 모델들은 관측치를 컴팩트하고 표현력 있는 잠재 다양체로 표현하는 데 뛰어납니다. 그러나 목표 지향 제어에는 여전히 중요한 병목 현상이 존재합니다. 세계 모델이 미래 상태를 효율적으로 예측할 수 있음에도 불구하고, 이러한 예측을 행동으로 변환하는 과정은 일반적으로 비용이 많이 드는 온라인 최적화 (예: 교차 엔트로피 방법 또는 CEM) 를 필요로 합니다.

저자들은 의사결정 (후보 행동 시퀀스 탐색) 의 계산 비용이 세계 모델의 예측 비용 자체를 압도하는 "계획 세금 (planning tax)"을 식별했습니다. 예를 들어, LeWorldModel(LeWM) 에서 단일 계획 단계는 9,000 개의 후보 롤아웃과 45,000 개의 예측기 순전파를 요구합니다. 여기서 제기된 핵심 질문은 이 탐색이 제어에 내재된 것인지, 아니면 문제 설정 방식의 산물인지 여부입니다. 구체적으로, 잠재 공간이 충분히 정규화되어 매끄럽고 균일하다면, 계획의 부담을 온라인 최적화에서 학습된 추론으로 전환할 수 있을까요?

방법론: 목표 조건 역동역학 모델 (GC-IDM)

본 논문은 반복적인 테스트 시간 탐색을 경량화된 학습된 역동역학 매핑으로 대체하는 GC-IDM을 제안합니다.

핵심 통찰

저자들은 잠재 공간이 매끄러움과 균일성을 위해 정규화된다면 (SIGReg 등의 기법을 통해), 현재 상태, 목표 상태, 그리고 남은 시간 지평선에서 다음 행동으로의 매핑이 잘 정의된 국소 역문제라고 가정합니다. 궤적을 탐색하는 대신, 제어기는 최적 행동을 직접 추론할 수 있습니다.

아키텍처 및 학습

동결된 백본 (Frozen Backbone): 이 방법은 프리트레인된 LeWorldModel(LeWM) 을 활용하며, 인코더와 예측기는 동결됩니다. 잠재 공간은 등방적이고 매끄럽도록 정규화됩니다.
모델: GC-IDM 은 경량 목표 조건 역동역학 모델 (약 150 만 개의 파라미터를 가진 3 층 MLP) 입니다.
입력:
- $z_t$ : 현재 잠재 상태 (관측치 $o_t$ 에서 인코딩됨).
- $z_g$ : 목표 잠재 상태 (목표 관측치 $o_g$ 에서 인코딩됨).
- $h_t$ : 남은 시간 지평선 (정규화 및 사인파 인코딩됨).
출력: 다음 행동 $\hat{a}_t$ .
학습: 모델은 LeWM 에 사용된 동일한 오프라인 시연 데이터셋을 사용하여 동결된 LeWM 잠재 공간에 대한 지도 회귀를 통해 학습됩니다. 주어진 $(z_t, z_g, h_t)$ 튜플에 대해 예측된 행동과 실제 행동 간의 평균 제곱 오차 (MSE) 를 최소화합니다.
추론: 테스트 시간에서 제어기는 폐루프 방식으로 작동합니다. 각 단계마다 현재 관측치를 다시 인코딩하고, 남은 시간 지평선을 계산한 후, 행동을 결정하기 위해 GC-IDM 을 통해 단일 순전파를 수행합니다. 반복적인 탐색이나 궤적 롤아웃은 수행되지 않습니다.

주요 기여

GC-IDM 제안: JEPA 세계 모델을 위한 학습된 계획 방법으로서, 제어를 잠재 공간의 역문제로 재정의하여 환경 단계당 단일 순전파로 테스트 시간 반복 탐색을 대체합니다.
실증적 우월성: 경량 역모델이 LeWM 벤치마크에서 CEM, iCEM, MPPI, 그리고 기울기 기반 방법 등 광범위한 테스트 시간 계획가들을 능가하거나 동등한 성능을 내면서 계획 비용을 100~130 배 감소시킨다는 것을 입증했습니다.
잠재 구조 검증: 잘 정규화된 표현에서 학습된 잠재 역동역학이 빠르고 효과적인 폐루프 계획을 가능하게 한다는 실험적 확인으로, 탐색을 통해 회복된 구조의 상당 부분이 이미 표현에 국소적으로 인코딩되어 있음을 시사합니다.

실험 결과

저자들은 GC-IDM 을 네 가지 벤치마크 환경인 Two-Room(항해), Push-T(접촉이 풍부한 조작), OGBench-Cube(3D 객체 조작), Reacher(연속 도달) 에서 평가했습니다.

성공률: GC-IDM 은 8 개의 환경 - 프로토콜 설정 중 7 개에서 (샘플 크기 $n=50$ $n = 50$ 및 $n=200$ $n = 200$ 을 다양하게 하여) CEM 의 성능과 일치하거나 초과했습니다.
- OGBench-Cube 와 Reacher 에서 주목할 만한 향상이 관찰되었으며, GC-IDM 은 성공률 측면에서 CEM 을 크게 능가했습니다.
- 긴 접촉 시퀀스가 필요한 작업인 Push-T 에서는 $n=50$ 에서 CEM 이 약간 우세했으나, GC-IDM 은 여전히 경쟁력 있으면서도 훨씬 효율적이었습니다.
효율성:
- 가속: GC-IDM 은 CEM 대비 의사결정당 계획 비용을 100~130 배 감소시켰습니다.
- 월시계 시간: Two-Room 환경에서 GC-IDM 은 약 2.9 초에 에피소드를 완료한 반면, CEM 은 약 42 초가 소요되었습니다.
궤적 품질: GC-IDM 은 CEM 보다 더 매끄러운 궤적 (낮은 행동 저크) 과 더 직접적인 경로 (높은 잠재 단조성) 를 생성했습니다. 이는 GC-IDM 의 폐루프 특성, 즉 각 단계마다 상태를 다시 인코딩하여 CEM 의 오픈루프 블록 계획에 내재된 오차 누적 및 불연속성을 피하기 때문입니다.
솔버 패밀리 비교: 성능 격차는 다른 계획가들 (iCEM, MPPI, GradientSolver) 에 대해서도 유지되었으며, GC-IDM 은 일관되게 가장 낮은 계산 비용으로 가장 높은 성공률을 달성했습니다.

중요성 및 주장

본 논문은 "계획 세금"이 제어에 내재된 것이 아니라, 잠재 표현이 충분히 구조화되지 않았을 때 제어가 어떻게 공식화되는지에 따른 산물이라고 주장합니다.

최적화에서 추론으로의 전환: 결과는 충분히 정규화된 잠재 공간 (예: SIGReg 를 통해) 을 사용하면 계획 문제를 온라인 최적화에서 학습된 추론으로 전환할 수 있음을 시사합니다. 계획에 필요한 "구조"는 표현에 국소적으로 인코딩되어 있어 많은 작업에 대해 명시적인 탐색이 불필요하게 됩니다.
한계: 저자들은 정교한 다단계 접촉 계획이 필요한 작업 (특정 시간 지평선에서의 Push-T 등) 에서는 이 접근법의 효과가 감소하며, 국소 역 회복이 더 어려워진다고 지적합니다. 또한 이 방법이 프리트레인된 세계 모델의 잠재 기하학의 품질에 의존함을 인정합니다.
미래 작업: 저자들은 더 강한 비가역성, 더 긴 시간 지평선 접촉 구조, 그리고 더 고차원 행동 공간이 있는 설정에서 이 체제의 한계를 탐구하고, 등방성 및 비등방성 잠재 공간을 비교하는 것을 제안합니다.

요약하자면, 본 논문은 잘 정규화된 잠재 세계 모델의 기하학적 특성을 활용함으로써, 계산적으로 비용이 많이 드는 검색 기반 계획가를 단순하고 빠르며 효과적인 역동역학 모델로 대체할 수 있음을 보여주며, 모델 기반 제어의 효율성 프로파일을 근본적으로 변화시킵니다.