🤖 machine learning

MOSH-WM: Mask-Grounded Soft-Hamiltonian Dynamics for Object-Centric World Models

MOSH-WM은 슬롯 소유 이미지 마스크의 공간 모멘트를 사용하여 객체 역학을 명시적으로 제약하는 마스크 기반 소프트 해밀토니안(soft-Hamiltonian) 월드 모델을 도입하며, 이를 통해 OBJ3D 및 CLEVRER 데이터셋에서 기존 객체 중심 베이스라인 대비 장기 비디오 예측 정확도와 오차 누적 측면에서 상당한 개선을 달성한다.

원저자: Zhekai Wang, Haoxiang Huang, Xiang Liu, Zhikang Chen, Yueqing Sun, Qi Gu, Shiji Zhou, Miao Liu, Sen Cui

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhekai Wang, Haoxiang Huang, Xiang Liu, Zhikang Chen, Yueqing Sun, Qi Gu, Shiji Zhou, Miao Liu, Sen Cui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 세상을 보는 법을 어떻게 배울 수 있는지 이해하려면, 먼저 컴퓨터가 현재 이를 수행하는 데 있어 어떤 어려움을 겪고 있는지부터 이해해야 합니다. 인공지능이 영상을 시청할 때, 그것은 종종 장면을 시간에 따라 변하는 하나의 평면적인 이미지로 취급합니다. 이는 마치 아이가 단어의 리듬을 들으며 문장을 완성하는 법을 배우는 것처럼, 픽셀의 패턴을 포착하여 다음 프레임을 예측하는 방식으로 학습합니다. 그러나 이러한 방식은 장면이 복잡해지거나 컴퓨터가 훨씬 더 먼 미래를 예측해야 할 때 종종 실패합니다. 시스템은 구르는 공이 갑자기 다른 색으로 변하거나 사라질 것이라고 예측할 수도 있는데, 이는 컴퓨터가 물체가 어떻게 움직이고 상호작용하는지에 대한 규칙을 진정으로 학습하지 못했기 때문입니다. 시스템은 표면은 보지만 구조는 놓치고 있는 것입니다. 더 신뢰할 수 있는 시각 능력을 구축하기 위해, 연구자들은 장면을 빨간 공, 파란 상자, 초록색 탁자와 같이 별개의 뚜렷한 개별 요소들로 분해하고 각각을 개별적으로 추적하도록 컴퓨터를 가르치는 방법인 '객체 중심(object-centric)' 학습에 주목하고 있습니다. 목표는 컴퓨터가 단순히 다음 그림을 추측하는 것이 아니라, 물리 법칙에 따라 이러한 개별 객체들을 진화시킴으로써 미래의 사건을 상상할 수 있게 하는 정신적 시뮬레이션인 '세계 모델(world model)'을 만드는 것입니다.

한 연구팀은 이러한 객체 기반 모델들의 특정 약점을 해결하고자 하는 MOSH-WM이라는 새로운 시스템을 선보였습니다. 기존의 시스템들은 객체를 추적할 수는 있었지만, 종종 객체의 물리적 위치와 시각적 외형을 혼동하곤 했습니다. 자동차의 움직임을 묘사할 때 오직 자동차의 도색만을 보고 설명하려고 하는 상황을 상상해 보십시오. 만약 도색이 바뀐다면, 시스템은 자동차 자체가 움직였거나 모양이 변했다고 생각할 수 있습니다. 이 새로운 모델은 이 두 가지 개념을 완전히 분리합니다. 이 모델은 각 객체에 대해 오직 객체가 어디에 있고 얼마나 빨리 움직이는지만을 추적하며, 객체가 어떻게 보이는지는 무시하는 별도의 '물리적 상태(physical state)'를 생성합니다. 이 물리적 상태는 비디오의 어떤 픽셀이 특정 객체에 속하는지를 정확히 보여주는 디지털 윤곽선인 '마스크(mask)'에 근거합니다. 이 윤곽선을 사용하여 위치와 속도를 계산함으로써, 시스템은 색상이나 질감의 변화에 혼동되지 않는 안정적인 기하학적 이해를 구축합니다.

연구진은 움직이는 객체들이 담긴 영상을 통해 이 접근 방식을 테스트했으며, 컴퓨터에게 6프레임의 짧은 시퀀스를 시청하게 한 뒤 그다음 30프레임을 예측하도록 요청했습니다. 이 테스트에서 새로운 시스템은 기존의 가장 우수한 방법들을 크게 앞질렀습니다. 예측된 이미지가 실제 미래 프레임과 얼마나 일치하는지를 측정했을 때, 새 모델은 시각적 오류를 25% 줄였고 객체의 물리적 배치 오류를 33% 줄였습니다. 이러한 개선은 일시적인 성공이 아니었습니다. 기존 모델들은 예측이 진행됨에 따라 객체의 형태를 잃거나 색상이 변하는 등 오차가 발생하기 시작한 반면, 이 시스템은 30프레임 전체 시퀀스 동안 정확도를 유지했습니다. 이 안정성의 핵심은 물리에서 영감을 얻은 기술로, 시스템이 수학적 규칙과 학습된 패턴을 결 \합하여 객체가 현실적인 방식으로 움직이도록 '소프트(soft)'한 가이드를 사용하는 것입니다. 이 가이드는 마치 부드러운 손길처럼, 영상에 불완전한 세부 사항이 포함되어 있더라도 엄격한 공식에 의해 깨지지 않도록 예측을 운동 법칙 쪽으로 살짝 밀어주는 역할을 합니다.

결정적으로, 이 시스템은 시각적 세부 사항을 움직임 계산으로부터 분리하여 유지합니다. 컴퓨터가 객체가 어디에 있을지를 예측하고 나면, 과거의 외형들이 담긴 별도의 메모리 뱅크를 사용하여 세부 사항을 채워 넣음으로써 빨간 공은 계속 빨갛게, 파란 상자는 계속 파랗게 유지되도록 합니다. 이 두 단계의 과정 덕분에 모델은 물리적으로 정확하면서도 시각적으로 풍부할 수 있습니다. 연구진은 물리적 가이드나 시각적 메모리 중 하나라도 제거하면 시스템이 실패한다는 것을 발견했으며, 이는 모델이 작동하기 위해 두 부분이 모두 필요함을 입증합니다. 충돌과 복잡한 상호작용이 포함된 테스트에서도 모델은 성능을 유지했으며, 이는 객체의 '어디'에 있는지를 '무엇'처럼 보이는지와 분리하는 방식이 기계에게 물리적 세계를 이해하도록 가르치는 견고한 방법임을 시사합니다. 이 연구는 비디오 예측의 모든 문제를 해결했다고 주장하는 것은 아니지만, 컴퓨터의 움직임에 대한 이해를 단순히 시각적 특징이 아닌 실제 객체의 형태에 근거하게 함으로써, 우리가 훨씬 더 안정적이고 신뢰할 수 있는 시뮬레이션을 만들 수 있음을 보여줍니다.

기술 요약: MOSH-WM

문제 정의

객체 중심 세계 모델(Object-centric world models)은 일련의 엔티티 슬롯(entity slots)을 진화시킴으로써 미래의 비디오를 예측하는 것을 목표로 합니다. 그러나 기존 방식들은 역학(dynamics) 감독을 위해 제약이 없는 시각적 특징에 의존하는 경우가 많습니다. 이러한 모델에서 슬롯은 기하학(geometry), 외형(appearance), 정체성(identity), 그리고 디코더 특유의 의미론(decoder-specific semantics)을 서로 뒤엉키게 만듭니다. 결과적으로, 슬롯 예측기가 직후의 프레임은 일치시킬 수 있을지라도, 장기적인 폐쇄 루프 롤아웃(long-horizon closed-loop rollouts) 과정에서는 객체의 배치와 외형이 크게 표류(drift)하게 됩니다. 핵심 과제는 고해상도 디코딩에 필요한 별도의 시각 정보(외형/정체성)를 보존하면서도, 객체가 지지되는 위치(기하학)에 명시적으로 근거한 물리적 상태를 유지하는 것입니다.

방법론

MOSH-WM(Mask-Grounded Soft-Hamiltonian World Model)은 표현을 기하학적 위상 상태(geometric phase state)와 인과적 시각 컨텍스트(causal visual context)로 분해함으로써 이 문제를 해결합니다. 이 아키텍처는 세 가지 주요 단계로 작동합니다.

1. 마스크 기반 위상 상태 분해 (Mask-Grounded Phase-State Factorization)

원시 슬롯 벡터를 역학에 사용하는 대신, MOSH-WM은 객체의 공간적 지지(spatial support)에 근거한 정형 위상 상태 $(Q, P)$ 를 추출합니다.

입력: 동결된 SAVi 인터페이스가 시각적 슬롯과 소프트 마스크를 제공합니다.
위치 ( $Q$ ): 각 슬롯 $n$ 에 대해, 모델은 승자 독식 할당(winner-take-all assignment)을 통해 "소유된" 마스크 지지 영역( $M^{own}$ )을 식별합니다. 모델은 이 지지 영역 위에서 고정된 공간 기저 함수(spatial basis functions)를 풀링하여 위치 유사 좌표인 $Q_{t,n}$ 을 계산합니다. 이는 기하학을 외형으로부터 명시적으로 분리합니다.
운동량 ( $P$ ): 운동량 유사 변수는 위치 상태의 시간적 유한 차분(temporal finite difference)으로부터 직접 유도됩니다 ( $P_t = (Q_t - Q_{t-1})/\Delta t$ ).
시각적 컨텍스트 ( $C_t$ ): 이와 병렬적으로, 인과적 시공간 인코더는 슬롯 특징의 이력을 유지하여 외형과 정체성을 보존하며, 이는 위상 상태 추출 과정에서 제외됩니다.

2. 소프트 해밀토니안 폐쇄 루프 역학 (Soft-Hamiltonian Closed-Loop Dynamics)

모델은 엄격한 해밀토니안 솔버 대신 "소프트" 물리적 편향(physical bias)을 사용하여 위상 상태 $(Q, P)$ 를 전파합니다.

에너지 함수: 학습된 에너지 헤드 $H_\vartheta(Q_t, P_t)$ 가 구조적 사전 지식(structural prior)을 제공합니다.
하이브리드 업데이트: 전이는 학습된 잔차 필드(residual field, 증분 $DQ_t, DP_t$ 를 예측)와 에너지 함수의 그래디언트(gradient)를 혼합합니다. 업데이트 규칙은 다음과 같습니다:
$Q_{t+1} = Q_t + (1-\alpha)DQ_t + \alpha \cdot \text{clip}_\gamma(\nabla_{P_t} H_t)$
$P_{t+1} = P_t + (1-\alpha)DP_t - \alpha \cdot \text{clip}_\gamma(\nabla_{Q_t} H_t)$
여기서 $\alpha$ 는 혼합 비율을 제어하며, 클리핑(clipping)은 불안정성을 방지합니다. 이를 통해 모델은 물리적 구조의 안내를 받으면서도 잔차 역학을 포착할 수 있습니다.

3. 물리-외형 화해 (Physics–Appearance Reconciliation)

물리적 업데이트 이후, 모델은 디코더와 호환 가능한 슬롯을 재구성해야 합니다.

게이트형 컴포저 (Gated Composer): 이 모듈은 정규화된 위상 변위(phase displacement)와 인과적 시각 컨텍스트 $C_t$ 를 결합하여 물리적 슬롯 제안(proposal)을 생성합니다.
유계 잔차 (Bounded Residual): 인과적 추론 모듈은 디코더 공간에서 작고 유계된 보정(correction)을 적용하여 제안을 정교화합니다.
출력: 최종 슬롯은 다음 프레임으로 디코딩되며, 다음 단계를 위한 컨텍스트 이력에 추가됩니다.

주요 기여

본 논문은 세 가지 구체적인 기여를 설명합니다.

마스크 기반 위상 상태 추출기: 각 슬롯의 소유 마스크와 고정된 공간 기저로부터 기하학적 좌표( $Q$ )를 계산하고, 원시 시간 차분으로부터 운동량( $P$ )을 계산하며, 외형을 담고 있는 슬롯 특징을 역학 입력에서 명시적으로 제외하는 메커니즘입니다.
소프트 해밀토니안 역학 모듈: 에너지-그래디언트 방향과 유계된 학습 필드를 혼합하여 위상 상태를 전파하는 폐쇄 루프 전이로서, 정확한 시스템 식별을 주장하기보다는 구조적 사전 지식으로서 기능합니다.
디코더 화해 인터페이스: 전파된 위상 상태로부터 디코더 호환 슬롯을 복구하기 위해 인과적 컨텍스트, 게이트형 합성 및 유계 잔차 보정을 사용하는 방법입니다.

실험 결과

모델은 OBJ3D, CLEVRER, Physion 벤치마크에서 SlotFormer, SAVi-dyn, PredRNN과 같은 베이스라인과 비교 평가되었습니다.

OBJ3D (6 관측 $\to$ 30 예측):
- MOSH-WM은 가장 강력한 객체 중심 베이스라인인 SlotFormer 대비 LPIPS를 25.0%, 공간 MSE를 33.7% 감소시켰습니다.
- PSNR을 2.43 dB 개선하였고 SSIM을 0.8916까지 높였습니다.
- 객체 상태 지표에서도 유의미한 이득을 보였습니다: Centroid ADE는 15.4%, FDE는 9.5%, 쌍별 거리 오차(pairwise-distance error)는 14.9% 감소했습니다.
- 장기 예측 안정성: 30 프레임 동안의 오차 누적은 베이스라인보다 현저히 느렸으며, 롤아웃 구간이 길어질수록 격차가 벌어졌습니다.
CLEVRER (6 관측 $\to$ 10 예측):
- 충돌과 가려짐(occlusion)이 있는 장면으로의 전이 가능성을 입증하였으며, SlotFormer 및 SAVi-dyn보다 5가지 시각 지표(LPIPS, PSNR, SSIM, MSE, FG-MSE) 모두에서 성능을 개선했습니다.
Physion (전이 테스트):
- 서로 다른 슬롯 차원과 해상도를 가진 다른 동결된 관찰자(STEVE)를 사용하여 평가되었습니다.
- 전체 모델은 "물리 전용(physics-only)" 및 "잔차 전용(residual-only)" 변형 모델들에 비해 35단계 롤아웃 내내 가장 낮은 Slot MSE를 유지하였으며, 이는 서로 다른 관찰자에 대한 위상/컨텍스트 분해의 견고함을 확인시켜 줍니다.
절제 연구 (Ablation Studies):
- 물리 구성 요소를 제거하면 LPIPS가 거의 두 배로 증가했습니다.
- 인과적 컨텍스트를 제거하면 심각한 시각적 저하가 발생했습니다.
- 물리와 컨텍스트를 결합했을 때 두 구성 요소 중 하나만 사용했을 때보다 뛰어난 성능을 보였습니다.
- 용량 스윕(Capacity sweeps) 결과, 단순히 용량을 키우는 것보다 특정 아키텍처(2개의 어텐션 블록, MLP 비율 2)가 표현력과 안정성 사이의 최적의 균형을 제공함을 나타냈습니다.

의의 및 주장

본 논문은 MOSH-WM이 객체의 기하학적 진화와 시각적 외형을 성공적으로 분리한다고 주장합니다. 위상 상태를 마스크에 의해 지지되는 공간 모멘트에 근거시킴으로써, 모델은 더 구조적으로 해석 가능하고 안정적인 장기 예측을 달성합니다. "소프트 해밀토니안" 접근 방식은 순수 데이터 기반 슬롯 예측기에서 흔히 발생하는 표류를 방지하는 방향성 편향을 제공하며, 별도의 인과적 경로를 통해 디코더가 필요한 외형 및 정체성 정보를 받을 수 있도록 보장합니다.

저자들은 이 모델이 정확한 실제 기계적 에너지를 식별한다고 주장하는 것이 아니라, 위상 진화를 조직하기 위한 구조적 사전 지식으로서 해밀토니안 필드를 사용한다고 강조합니다. 결과는 이러한 분해가 객체 레이아웃과 정체성의 장기적 일관성이 요구되는 시나리오에서 폐쇄 루프 객체 중심 예측을 더욱 견고하게 만든다는 것을 시사합니다. 본 연구는 시각적 충실도를 희생하지 않으면서도 물리적 규칙을 존중하는, 더 해석 가능한 세계 모델을 향한 단계로 제시됩니다.