💻 computer science

Neural Voxel Dynamics: Learning Implicit 3D Physics via Volumetric Feature Advection

이 논문은 비디오 특징을 볼륨형 잠재 공간으로 역투영하고 이를 행동 조건부 내류(advection)로 모델링함으로써, 명시적인 물리 시뮬레이터에 의존하지 않고도 단안 비디오로부터 물리적으로 일관된 장기 3D 월드 모델의 출현을 가능하게 하는, 암시적 3D 물리 역학을 학습하는 자기 지도 학습 프레임워크를 소개한다.

원저자: Zican Wang, Niloy Mitra

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zican Wang, Niloy Mitra

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: AI에게 물리학을 "느끼는" 법 가르치기

당신이 물이 담긴 컵이 넘어지는 영상을 보고 있다고 상상해 보세요. 일반적인 AI 비디오 생성기는 픽셀을 보고 "음, 물이 튀는 것처럼 보이니 다음 프레임은 물이 튀는 모습으로 만들어야지"라고 추측할 것입니다. 이는 '겉모습'을 흉내 내는 데는 뛰어나지만, 왜 물이 튀는지, 혹은 다시 밀었을 때 어떻게 반응할지에 대한 실제 원리는 이해하지 못합니다. 그래서 종종 컵의 형태를 유지하지 못하거나, 물이 마법처럼 공중으로 떠오르게 만드는 등의 실수를 범하곤 합니다.

이 논문은 **뉴럴 복셀 다이내믹스(Neural Voxel Dynamics)**라는 새로운 시스템을 소개합니다. 이 시스템은 단순히 다음 픽셀이 어떻게 보여야 할지 추측하는 대신, 컴퓨터 내부에 세상에 대한 숨겨진 3D "정신적 모델(mental model)"을 구축하려고 시도합니다. 이 시스템은 인간이 수학 공식을 가르쳐주지 않아도, 단지 영상을 관찰하는 것만으로 물리 법칙(중력, 충돌, 유체 흐 flow 등)을 스스로 학습합니다.

문제점: "평면적" 관점 vs "깊이 있는" 관점

현재의 비디오 AI 모델들은 평평한 캔버스를 바라보는 화가와 같습니다(2D). 예쁜 그림을 그리는 데는 능숙하지만, 공이 나무 뒤로 굴러갔을 때 공이 여전히 그곳에 있다는 사실을 이해하지 못합니다. 그저 공이 사라졌다고 생각할 뿐입니다. 이들은 **객체 영속성(object permanence)**과 **물리적 일관성(physical consistency)**이 부족합니다.

저자들은 물리를 진정으로 이해하기 위해서 AI가 2D 이미지를 생각하는 것을 멈추고, 3D 공간을 생각하기 시작해야 한다고 주장합니다.

해결책: "보이지 않는 레고" 상자

연구진은 평면 영상을 **복셀(voxel)**이라고 불리는 보이지 않는 블록들로 이루어진 3D 구조로 변환하는 시스템을 만들었습니다(복셀은 방을 채우고 있는 작은 레고 브릭처럼 3D 픽셀이라고 생각하면 됩니다).

시스템의 작동 단계는 다음과 같습니다.

1. 영상을 3D로 들어 올리기 ("평면 탈출" 기계)

시스템은 일반적인 영상(시간에 따라 변하는 평면 그림)을 가져와서 "깊이 추측기(depth guesser)"를 통해 사물이 얼마나 멀리 있는지 파악합니다. 그 다음, 영상의 특징들을 이 보이지 않는 레고 블록들의 3D 그리드로 투영합니다.

비유: 평면적인 그림자 인형극을 보고 있다가, 갑자기 인형들이 방 안에 매달려 있는 실제 3D 마리오네트라는 사실을 깨닫는 것과 같습니다. 시스템은 2D 그림자로부터 3D 공간을 재구성합니다.

2. "특징 어드벡션(Feature Advection)" (보이지 않는 바람)

세상이 3D 블록 그리드로 구축되면, 시스템은 무거운 수학 방정식(마찰력이나 점성을 계산하는 식)을 사용하여 물리학을 시뮬레이션하지 않습니다. 대신, 물리학을 공기 중을 움직이는 연기처럼 취급합니다.

비유: 3D 블록들이 보이지 않는 "정보 연기"로 가득 차 있다고 상상해 보세요. 어떤 블록을 밀면(힘을 가하면), 시스템은 그 "연기"가 다음 블록으로 어떻게 흘러가고 소용돌이치는지 학습합니다.
만약 딱딱한 블록(예: 정육면체)을 밀면, "연기"는 하나의 단단한 덩어리로 움직입니다.
만약 유체(예: 물)를 밀면, "연기"는 퍼지고 튀어 오릅니다.
AI는 이러한 패턴을 자동으로 학습합니다. "이것은 물이다" 혹은 "이것은 바위다"라고 알려줄 필요가 없습니다. 그저 이런 종류의 힘이 가해졌을 때 이런 종류의 정보 흐름이 발생한다는 것을 학습할 뿐입니다.

3. "유령" 관찰로부터 학습하기

AI는 단 하나의 카메라 각도에서 보이는 영상만을 보기 때문에, 물체의 뒷면은 볼 수 없습니다. 시스템은 보이지 않는 블록들에서 무슨 일이 일어나고 있는지 추측할 만큼 똑똑합니다.

비유: 공이 벽 뒤로 굴러가는 것을 보면, 사람은 공이 여전히 그곳에 있다는 것을 압니다. 단지 가려져 있을 뿐이죠. 이 AI도 마찬가지입니다. 보이지 않는 3D 블록 속에 공의 "유령(ghost)"을 유지시켜, 공이 반대편으로 나왔을 때 올바르게 행동하도록 만듭니다.

이것이 왜 중요한가?

대부분의 다른 방식은 AI와 전통적인 물리 엔진(비디오 게임 등에 사용되는 엔진)을 결합하려고 시도합니다. 하지만 그러한 엔진에는 인간이 직접 규칙을 설정해야 합니다: "이것은 고체다", "이것은 액체다", "이것은 무겁다"와 같은 규칙 말이죠.

이 새로운 방식은 자기 지도 학습(self-supervised) 방식입니다. 영상을 관찰하는 것만으로 모든 것을 스스로 학습합니다.

이 시스템은 강체(바위), 유체(물), 연기를 별도의 전환 없이 하나의 시스템 내에서 모두 처리할 수 있습니다.
이는 인과관계를 이해하는 "세계 모델(World Model)"을 만듭니다. 컵을 밀면, 컵이 바닥에 닿기 전에 영상이 끊기더라도 컵이 떨어질 것이라는 사실을 알고 있습니다.

결과

연구진은 튕기는 공, 물 붓기, 연기 등을 포함한 여러 벤치마크(CLEVRER 및 PhysInOne)를 통해 시스템을 테스트했습니다.

결과: 이 모델은 이전의 AI 모델들보다 미래의 움직임을 훨씬 더 정확하게 예측했습니다. 객체를 단단하게 유지하고, 유체가 자연스럽게 흐르게 했으며, 물체가 사라지거나 순간 이동하는 현상을 만들지 않았습니다.
증거: 단 하나의 카메라 뷰만 사용했을 때(더 어려운 조건임에도 불구하고)에도, 2D 픽셀만을 바라보는 모델들보다 3D 물리학을 더 잘 이해한다는 것을 입증했습니다.

요약

요약하자면, 이 논문은 AI에게 단순히 비디오의 다음 프레임을 "그리는" 법이 아니라, 숨겨진 그리드 안에 3D 세상을 "시뮬레이션하는" 법을 가르칩니다. 물리학을 3D 블록을 통과하는 정보의 흐름으로 취급함으로써, AI는 인간이 물리 교과서를 써주지 않아도 실제 세상이 어떻게 움직이고, 충돌하고, 흐르는지를 예측하는 법을 배웁니다.

기술 요약: 뉴럴 복셀 다이내믹스 (Neural Voxel Dynamics)

문제 정의
현재의 생성 비디오 모델들은 높은 시각적 충실도를 달agi는 반면, 3D 기하학적 기초가 부족하여 물리적 불일치와 객체 영속성 유지 실패를 빈번하게 일으킨다. 이러한 모델들은 일반적으로 2D 잠재 공간(latent space)에서 작동하며, 근본적인 3D 물리적 변형을 시뮬레이션하기보다는 학습된 지름길을 통해 픽셀을 "모핑(morphing)"한다. 반대로, 명시적인 물리 기반 방법론(예: Material Point Method 또는 Position Based Dynamics를 사용하는 방식)은 "시뮬레이션 격차(simulation gap)"—즉, 가공되지 않은 픽셀로부터 정밀한 물리적 파라미터를 추정하는 어려움—에 의해 제약을 받으며, 재질 유형(예: 고체 vs 유체)의 엄격한 사전 지정과 수동 파라미터 튜닝을 요구한다. 따라서 명시적인 물리 엔진이나 정답 물리 레이블에 의존하지 않고, 수동적인 단안 비디오 관측으로부터 3D 물리 역학을 암시적으로 학습할 수 있는 프레임워크가 필요하다.

방법론: 뉴럴 복셀 다이내믹스 (Neural Voxel Dynamics)
제안된 프레임워크인 뉴럴 복셀 다이내믹스는 예측의 병목 지점을 2D 이미지 공간에서 "리프팅된(lifted)" 3D 볼륨 잠재 공간으로 전환한다. 이 방법은 두 가지 주요 단계로 작동한다:

기하학적 리프팅을 통한 복셀 잠재 표현 (Geometric Lifting to Voxel Latents):
- 시스템은 단안 비디오 프레임과 V-JEPA(Video Joint-Embedding Predictive Architecture)에서 추출된 시맨틱 특징(semantic features)을 입력으로 받는다.
- 단안 깊이 사전 정보(특히 MoGe)를 사용하여, 이 2D 시맨틱 특징들을 정형화된 3D 복셀 그리드로 역투영(unproject)한다.
- 이 과정은 세 가지 채널(시맨틱 특징 $H_t$ , 점유 확률 채널 $O_t$ , 관측/미관측 채널 $U_t$ )을 포함하는 희소한 4D 시공간 복셀 표현( $Z_t$ )을 생성한다. 이 구조는 객체 영속성과 폐쇄(occlusion) 추론을 강제하여 2D 표현에 내재된 공간적 모호성을 해결한다.
암시적 특징 이송 (Implicit Feature Advection):
- 핵심 예측기는 행동 조건부 생성 전이 연산자(action-conditioned generative transition operator)로 정식화된 볼륨 특징 이송(Volumetric Feature Advection) 모델이다.
- 고전적인 솔버를 사용하는 대신, 이 모델은 노이즈가 섞인 소스 분포를 타겟 잠재 매니폴드로 운송하기 위해 **플로우 매칭(flow matching)**을 통한 시간 의존적 속도장을 학습한다.
- 아키텍처는 동적 로컬 시공간 트랜스포머(Dynamic Local Spatiotemporal Transformer)(Diffusion Transformer의 변형)를 활용한다. 이는 다음을 포함한다:
  - 로컬 공간 주의 집중(Local Spatial Attention): 복셀은 물리 시스템의 국소적 힘 전파를 모사하여 희소한 $k \times k \times k$ 이웃에만 주의를 기울이며, 이를 통해 선형적인 계산 스케일링을 보장한다.
  - 시간적 주의 집중(Temporal Attention): 토큰들이 시간 경과에 따라 궤적을 추적하도록 공간적 위치별로 재그룹화되어 운동량(momentum)과 속도 단서를 집계한다.
- 조건화(Conditioning): 전이는 외부 힘을 나타내는 12차원 벡터(접촉 지점, 방향, 크기, 지속 시간 등을 인코딩)에 의해 조건화되며, 이는 로컬 요소별 덧셈과 글로벌 변조 토큰을 통해 통합된다.

주요 기여

시맨틱 특징의 리프팅: 단안 깊이를 사용하여 V-JEPA 시맨틱 특징을 접지된(grounded) 희소 3D 잠재 복셀 볼륨으로 역투영하는 방법론을 제시하며, 이를 통해 기하학적으로 접지되면서도 재질이 암시적인 표현을 생성한다.
볼륨 특징 이송: 행동 조건부 아키텍처를 통해 암시적 3D 역학을 시공간 상태 이송 문제로 학습하며, 재질 유형을 사전에 지정하지 않고도 이질적인 현상(강체, 유체, 연기)을 하나의 파이프라인 내에서 통합 시뮬레이션한다.
엔드 투 엔드 학습: 물리 엔진의 내부 상태, 레이블 또는 대리 모델(surrogate model)에 대한 접근 없이, 오직 비디오 유래 신호와 행동 조건에 의해서만 감독되는 프레임워크를 구축한다.

실험 결과
모델은 CLEVRER(강체), PhysInOne(복합 객체 및 유체), PhysGaia(유체 및 연기)를 포함한 여러 벤치마크에서 평가되었다.

잠재 예측: 모델은 2D 및 3D 잠재 L2 손실 측면에서 최신 2D 월드 모델(예: CogVideoX) 및 명시적 하이브리드 방법(예: PhysGen, PhysGaussian, PhysCtrl)보다 우수한 성능을 보였다. 또한, 2D 베이스라인들이 다각도 평가 시 성능이 크게 저하되는 것과 달리, 본 모델은 다중 카메라 뷰에 대해 탁월한 일관성을 입증했다.
재질 일반화: 혼합된 재질 클래스에서 어려움을 겪는 명시적 시뮬레이터와 달리, 제안된 방법은 명시적인 재질 분할 없이도 강체, 유체, 연기 간의 상호작용을 성공적으로 시뮬레이션했다.
플로우 추정: 예측된 잠재 역학은 베이스라인들에 비해 더 낮은 플ow 추정 오차를 보였으며, 이는 학습된 특징이 실제 값과 일치하는 물리적으로 타당한 운동 패턴을 포착하고 있음을 나타낸다.
어블레이션(Ablation) 연구: 실험을 통해 3D 투영의 필요성, 기하학적 중첩을 개선하는 투영 손실(projection loss), 그리고 정확한 기하 학습을 위한 점유/관측 채널의 포함 여부를 확인하였다.

의의 및 주장
저자들은 본 연구가 수동적인 관측만을 통해 물리 세계의 3D 불변성을 내재화하는 범용 동적 월드 모델을 향한 확장 가능한 경로를 열었다고 주장한다. 물리 현상을 고차원 잠재 공간에서의 시공간 상태 이송 문제로 취급함으로써, 이 접근법은 고수준의 시맨틱 특징과 물리적 불변성 사이의 간극을 메운다. 본 연구의 의의는 수동적인 전처리, 분할, 또는 명시적인 물리 엔진에 의존하지 않고도 물리적으로 근거 있는 관점 독립적 예측을 생성하고 복잡하고 이질적인 상호작용을 시뮬레이션할 수 있는 능력에 있다. 저자들은 이를 비디오 데이터로부터 유도된 물리 법칙에 대한 직관적 이해를 갖춘 "진정한 동적 월드 모델"로 나아가는 단계로 규정한다.