🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World 는 장기 계획의 안정화와 분포 외 동적 변화에 대한 강건성을 크게 향상시키기 위해 Mamba 기반의 선택적 메모리를 분해된 소프트 해밀토니안 잠재 공간과 통합하는 구조화된 세계 모델을 도입합니다.

원저자: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

원저자: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 게임, 예를 들어 공을 던지거나 막대를 균형 잡는 게임을 로봇에게 가르치려 한다고 상상해 보세요. 이를 잘 수행하려면 로봇은 실제 행동을 취하기 전에 특정 행동을 취했을 때 어떤 일이 발생할지 상상할 수 있는 내부 시뮬레이션인'세계 모델 (world model)'이 필요합니다.

이 논문은 특히 장기간에 걸쳐 또는 게임 규칙이 약간 변경될 때 이러한 정신적 시뮬레이션을 더 안정적이고 정확하게 만들기 위해 설계된 새로운 유형의 세계 모델인 HaM-World를 소개합니다.

다음은 이를 단순한 개념과 비유로 분해한 작동 원리입니다:

1. 문제: "공상"이 흐려지다

현재의 세계 모델은 한 문장씩 읽으며 이야기를 외우려는 학생과 같습니다. 이야기가 짧다면 완벽하게 기억하지만, 100 단계 앞의 미래를 상상하려 하면 세부 사항이 흐려지고 이야기가 무너집니다.

문제: 로봇이 더 먼 미래를 계획할수록 예측이 불안정해집니다. 또한 환경이 변할 때 (예: 바닥이 미끄러지거나 로봇의 팔이 무거워지는 경우) 어려움을 겪습니다.
원인: 논문은 기존 모델이'뇌'에서 너무 많은 것을 혼동한다고 주장합니다. 로봇의 위치(어디에 있는지), 운동량(얼마나 빠르게 움직이는지), 그리고 맥락(목표가 무엇인지 또는 바닥이 젖어 있는지) 을 혼동합니다. 이러한 혼란으로 인해 오차가 빠르게 누적됩니다.

2. 해결책: 세 개의 방을 가진 전문화된"뇌"

HaM-World 는 로봇의 내부 상태를 하나의 거창하고 지저분한 방이 아닌 세 개의 명확한'방'또는 구획으로 조직화함으로써 이를 해결합니다:

방 A: 물리 엔진 (q 와 p)
이 방은 위치 ( $q$ ) 와 운동량 ( $p$ ) 같은 순수한 물리를 다룹니다. 저자들은 여기서 **해밀턴 역학 (Hamiltonian dynamics)**이라는 수학적 개념을 사용합니다.
- 비유: 이를 당구대라고 생각하세요. 당구대에서는 에너지가 보존되며, 공들이 예측 가능한 방식으로 서로 튕겨 나갑니다. HaM-World 는 로봇의 위치와 운동량이 당구공처럼 행동하도록 합니다. 이는 시뮬레이션을 위한 안정적인'기둥'을 만들어 로봇이 이유 없이 공이 갑자기 가속되는 것과 같은 불가능한 물리를 상상하지 않도록 합니다.
- 부드러운 변형: 실제 생활은 완벽한 당구대가 아닙니다. 마찰이 있고 로봇에는 모터가 있습니다. 따라서 HaM-World 는 **"Soft-Hamiltonian(연성 해밀턴)"**접근법을 사용합니다. 이는 안정적인 당구대 구조를 유지하면서도 마찰과 모터 제어와 같은 messy 한 현실 세계의 요소들을 학습하는'잔여 (residual)'레이어를 허용합니다.
방 B: 맥락 방 (c)
이 방은 당구대 규칙을 따르지 않는 정보를 보관합니다.
- 비유: 이는 로봇의 노트북입니다. "손가락을 돌리는 것이 목표다", "바닥이 미끄럽다", "조심해야 한다"와 같은 내용을 적어둡니다. 이러한 의미론적 세부 사항은 위치와 속도의 순수한 물리에는 포함되지 않지만, 무엇을 해야 할지 아는 데는 결정적으로 중요합니다.
방 C: 기억 방 (Mamba)
이는 로봇의 단기 기억입니다.
- 비유: 때로는 로봇이 모든 것을 볼 수 없거나 (부분 관측 가능성), 이동하기로 결정하는 시점과 실제로 이동하는 시점 사이에 지연이 있을 수 있습니다. 표준 모델은 5 초 전에 일어난 일을 잊어버릴 수 있습니다. HaM-World 는 Mamba라는 특수한 기억 시스템을 사용하여 선택적 필터처럼 작동합니다. 이는 지금 결정을 내리는 데 필요한 과거의 중요한 부분들을 기억하여 로봇이 자신의 공상 속에서'길을 잃지'않도록 합니다.

3. 함께 작동하는 방식

로봇이 움직임을 계획할 때 단순히 추측하지 않습니다. 대신 머릿속에서 시뮬레이션 (rollout) 을 실행합니다:

현재 상태를 확인합니다.
기억 방을 사용하여 과거의 누락된 세부 사항을 채웁니다.
모터 제어에 의해 조정된 안정적인 당구대 규칙을 사용하여 물리 방을 업데이트합니다.
목표나 환경에 대한 새로운 정보로 맥락 방을 업데이트합니다.
어떤 행동이 최상의 결과로 이어지는지 보기 위해 이 과정을 미래의 많은 단계에 대해 반복합니다.

물리 부분이 매우 안정적 (당구대와 같음) 이고 기억 부분이 간극을 메우는 데 탁월하기 때문에, 로봇의'공상'은 장기간의 계획 범위에서도 명확하고 정확하게 유지됩니다.

4. 결과: 모든 면에서 더 우수함

저자들은 HaM-World 를 치타가 달리는 것이나 손가락이 물체를 돌리는 것과 같은 네 가지 표준 로봇 작업에서 테스트했습니다.

정확도: 다른 최상위 모델에 비해 미래를 상상할 때 훨씬 적은 실수를 했습니다. 실제로 장기 예측 오차는 다음으로 가장 좋은 모델의 절반 미만이었습니다.
견고성: 연구자들이 게임 규칙을 변경했을 때 (예: 로봇을 더 무겁게 만들거나, 행동을 늦추거나, 시야의 일부를 가림), HaM-World 는 계속해서 잘 수행했습니다. 이는 모든 단일 어려운 테스트 조건에서 최고 점수를 유지한 유일한 모델이었습니다.
효율성: 다른 방법들보다 로봇을 제어하는 법을 더 빠르게, 그리고 더 적은 학습 시도 횟수로 학습했습니다.

요약

HaM-World는 로봇에게 더 나은 내부 지도를 제공하는 것과 같습니다. 흐릿하고 뒤섞인 스케치 대신, 로봇에게 안정적인 물리적 기반 (당구대), 중요한 메모를 위한 공간 (맥락), 그리고 신뢰할 수 있는 기억 (필터) 이 있는 구조화된 지도를 제공합니다. 이를 통해 로봇은 주변 세계가 변하더라도 혼란스럽거나 길을 잃지 않고 복잡하고 장기적인 행동을 계획할 수 있습니다.

기술 요약: HaM-World

1. 문제 제기

세계 모델 (World models) 은 잠재 역학을 학습하여 상상된 롤아웃 (imagined rollouts) 을 수행함으로써 모델 기반 계획을 가능하게 합니다. 그러나 계획 지평이 확장되거나 환경 역학이 변화함에 따라 이러한 상상된 롤아웃은 종종 불안정해집니다. 저자들은 이 불안정성이 계획가-facing 잠재 표현에 결여된 두 가지 구조적 구성 요소에서 비롯된다고 주장합니다:

근사 마르코프 완전성 (Approximate Markov Completeness): 부분 관측성과 행동 지연으로 인해 단일 프레임 잠재 변수는 마르코프 상태로서 불충분해지지만, 기존 모델들은 이를 해결하기 위한 역사 조건부 기억 (history-conditioned memory) 을 종종 결여하고 있습니다.
기하학적 조직화 (Geometric Organization): 단일화된 잠재 표현은 구성, 운동량, 작업 의미를 얽히게 만듭니다. 이러한 얽힘은 구조적 제약 없이 다단계 예측 오차가 증폭되게 하여, 교란된 제어 체계 하에서 물리적 구조의 외삽을 저해합니다.

현재의 접근 방식들은 주로 근본적인 생성 구조 (예: 불변성과 보존 법칙) 가 아닌 통계적 상관관계를 포착하여, 장기 일관성과 분포 외 (OOD) 일반화에 어려움을 겪는 계획가를 초래합니다.

2. 방법론: HaM-World

저자들은 HaM-World (HMW) 를 제안합니다. 이는 잠재 상태를 역학 예측, 보상/가치 추정, 상상된 롤아웃, 그리고 교차 엔트로피 방법 (CEM) 행동 검색 전반에 걸쳐 공유되는 통합 인터페이스로 분해하는 구조화된 세계 모델입니다. 아키텍처는 세 가지 핵심 구성 요소로 이루어집니다:

A. 잠재 인자화 ( $q, p, c$ )

잠재 상태 $z_t$ 는 명시적으로 다음과 같이 분할됩니다:

정준 부분 공간 $(q, p)$ : 구성과 운동량을 나타냅니다. 이 부분 공간은 Soft-Hamiltonian 사전에 의해 지배됩니다.
맥락 부분 공간 $c$ : 에너지 보존을 엄격히 따르지 않는 의미적, 소산적, 비보존적 요인 (예: 접촉 전환, 마찰, 작업 의미) 을 포착합니다.

B. Soft-Hamiltonian 역학

마찰과 접촉이 있는 제어 시스템에서는 너무 제한적인 엄격한 에너지 보존 대신, HaM-World 는 $(q, p)$ 쌍에 대해 "Soft-Hamiltonian" 업데이트를 적용합니다:
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ : 학습 가능한 에너지 장 (energy field).
$\alpha$ : 데이터 기반 네트워크 업데이트와 해밀토니안 벡터 필드 간의 균형을 맞추는 혼합 계수.
$G_t a_t$ : 운동량 업데이트에 추가되는 명시적 학습 제어 구동 (control drive).
메커니즘: 이 설계는 모델이 잔여 역학 및 제어 구동을 통해 접촉, 마찰, 작업 목표를 적합할 수 있는 유연성을 유지하면서도, 안정성을 위한 에너지 조직화 기하학적 백본을 유지할 수 있게 합니다.

C. 선택적 기억 (Mamba)

부분 관측성과 행동 지연을 해결하기 위해, HaM-World 는 Mamba 선택적 상태 공간 모델을 잠재 역학에 대한 역사 조건부 입력 ( $h_t$ ) 으로 통합합니다.

병렬 순환 롤아웃 모델과 달리, Mamba 는 계획가가 사용하는 동일한 잠재 역학에 단일 역사 조건부 입력을 제공합니다.
이는 별도의 순환 상태를 계획가에 요구하지 않고도 훈련, 상상된 롤아웃, CEM 검색 전반에 걸쳐 계획가 인터페이스가 통일되도록 보장합니다.

D. 훈련 목적 함수

모델은 다음을 포함하는 복합 손실 함수로 훈련됩니다:

다단계 롤아웃 일관성 ( $L_{roll}$ ): 계획 지평에 걸친 오차 축적을 제약합니다.
해밀토니안 정렬 ( $L_{ham}$ ): 네트워크 분기를 해밀토니안 벡터 필드와 정렬시키는 부드러운 방향성 편향.
행동 없는 에너지 정규화 ( $L_{energy}$ ): 행동이 없는 상태에서 에너지 드리프트를 억제합니다.
표준 목적 함수: JEPA 스타일 표현 정렬, 1 단계 역학 일관성, 그리고 보상/가치 회귀 (symlog 두-hot 타겟 사용).

3. 주요 기여

구조화된 계획가-facing 역학: Mamba 선택적 기억과 Soft-Hamiltonian $(q, p)$ 역학을 결합하는 $q/p/c$ 잠재 인자화 도입. 이는 CEM 계획, 보상 추정, 역학 예측을 위한 단일 잠재 인터페이스를 제공합니다.
메커니즘 인식 평가: 표준 제어 성능, 장기 롤아웃 일관성 ( $k \in \{3, 5, 7\}$ 에서의 MSE), 그리고 12 가지 OOD 교란 (역학 변화, 지연, 마스킹) 을 포함한 포괄적인 평가 프로토콜.
실증적 성과: 장기 안정성과 OOD 견고성에서 특히 여러 지표에 걸쳐 우수한 성능을 입증했으며, 이는 제한된 에너지 드리프트와 일관된 제어 유도 에너지 전달을 보여주는 메커니즘 진단으로 뒷받침됩니다.

4. 실험 결과

10 만 단계 샘플 예산으로 네 가지 DeepMind Control Suite (DMC) 작업 (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) 에서 평가되었습니다:

제어 성능: HaM-World 는 117.9의 최고 평균 곡선 아래 면적 (Avg. AUC) 을 달성하여 TD-MPC2(+9.5%), SAC(+66.3%), DreamerV3(+101.2%) 을 능가했습니다. Finger Spin 과 Reacher Easy 에서 최고 최종 반환을 기록했습니다.
장기 안정성: HaM-World 는 장기 롤아웃 오차를 강력한 기준선 (TD-MPC2) 의 45%, DreamerV3 의 14.3% 로 줄였습니다. $k \in \{3, 5, 7\}$ 에 대해 12 개 중 11 개의 MSE 셀에서 우승했습니다.
OOD 일반화: 12 가지 OOD 교란 (질량 변화, 감쇠, 마찰, 행동 지연, 관측 마스킹 포함) 하에서 HaM-World 는 모든 조건에서 최고 반환을 달성했습니다.
- Finger Spin 에서 TD-MPC2 대비 평균 OOD 반환이 10.2% 증가했습니다.
- Reacher Easy 에서 TD-MPC2 대비 평균 OOD 반환이 13.6% 증가했습니다.
메커니즘 진단:
- 에너지 드리프트: 행동 없는 롤아웃에서 학습된 해밀토니안 에너지는 거의 안정적으로 유지되었으며 (약 1% 드리프트), Soft-Hamiltonian 구조를 확인했습니다.
- 제어 결합: 분석 결과, 행동 "밀기"( $\nabla_p H$ 에 대한 제어의 투영) 가 에너지 층 교차와 일관되게 상관관계를 보였으며, 이는 제어된 해밀토니안 설계를 검증했습니다.
- 절대 실험 (Ablation): 기하학적 구조 (A1) 나 기억 (A2) 을 제거하면 성능이 크게 저하되었습니다. 특히, 기억은 부분 관측성 하에서 사용 가능성에 대한 지배적인 전제 조건이었으며, Soft-Hamiltonian 구조는 롤아웃 견고성의 상한을 높였습니다.

5. 의의 및 주장

본 논문은 HaM-World 가 마르코프 완전성(선택적 기억을 통해) 과 기하학적 일관성(Soft-Hamiltonian 구조를 통해) 을 통합된 잠재 역학의 결합된 단계로 취급함으로써 계획가 성능을 크게 향상시킨다고 주장합니다.

구조적 vs 통계적: 성취된 이득은 통계적 상관관계 적합에만 의존하는 것이 아니라 물리적 규칙성 (에너지 조직화) 을 통합하는 모델의 능력에 기인합니다.
통합 인터페이스: 이 작업은 예측, 가치 추정, 계획에 의해 공유되는 단일 잠재 상태가 보존 역학 ( $q, p$ ) 과 비보존 맥락 ( $c$ ) 의 분리를 존중한다면 장기 작업에 대해 안정적이고 효과적으로 만들 수 있음을 보여줍니다.
견고성: 이 방법은 상상된 롤아웃의 불안정성에 대한 구조적 해결책을 제공하여, 별도의 순환 계획가 상태를 요구하지 않고도 분포 변화 및 교란 하에서 더 나은 외삽을 가능하게 합니다.

한계: 저자들은 현재 작업이 네 가지 DMC 작업에 대한 상태 기반 관측으로 제한된다고 지적합니다. 픽셀 입력, 더 넓은 형태, 불연속 접촉 시나리오로 확장하는 것은 여전히 열린 과제로 남아 있습니다. 진단은 학습된 인터페이스를 지지하지만 역학이 전역적으로 해밀토니안임을 증명하지는 않습니다.