💻 computer science

NewtonGS: Physics-Structured Object-Level Neural Newtonian Dynamics for Gaussian Scene Animation

NewtonGS는 정적인 3D 가우시안 장면을 객체를 압축된 22차원 상태와 하이브리드 가우시안 뉴럴 뉴턴 역학 모델로 표현함으로써 애니메이션화하는 물리 구조 프레임워크를 도입하여, 기존 방법들과 비교해 우수한 상태 예측과 제어 가능한 객체 수준의 움직임을 가능하게 합니다.

원저자: Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lianlei Shan, Feiyang Ye, Yan Chen, Yong Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수백만 개의 작고 빛나는 구슬들로 전체 세상을 만들 수 있는 디지털 샌드박스에서 놀고 있다고 상상해 보세요. 이 구슬들은 평범한 구슬이 아닙니다. 이들은 "3D 가우시안(3D Gaussians)"이라는 특별한 디지털 구성 요소로, 컴퓨터가 현실처럼 아주 빠르고 선명하게 장면을 렌더링할 수 있게 해줍니다. 오랫동안 이러한 디지털 세상은 디오라마와 같았습니다. 보기에는 아름답지만, 완전히 멈춰 있는 상태였죠. 만약 공이 테이블 위를 굴러가는 것을 보고 싶다면, 당신은 모든 구슬을 프레임 하나하나마다 일일이 수동으로 움직여야 했습니다. 이는 애니메이터와 게임 디자이너들에게는 악몽이었습니다.

최근 과학자들은 이 구슬들을 움직이는 방법을 알아냈지만, 그들은 주로 전체 장면을 거대하고 꿈틀거리는 젤리처럼 취급했습니다. 캐릭터가 춤을 추거나 천이 물결치는 모습은 만들 수 있었지만, 특정 물체, 예를 들어 커피 머그컵을 잡고 "이봐, 테이블을 가로질러 굴러가서 벽에 부딪혀 봐"라고 쉽게 명령할 수는 없었습니다. 컴퓨터는 그 머그컵이 특정한 무게, 특정한 속도, 또는 특정한 방식으로 튀어 오르는 방식을 알지 못했습니다. 단지 픽셀이 어떻게 보이는지만 알 뿐이었죠. 이 디지털 세상을 진정으로 상호작고 예측 가능하게 만들기 위해서는, 모든 물체에 중력, 마찰력, 관성과 같은 물리 법칙을 이해하는 자신만의 "두뇌"를 부여하는 방법이 필요합니다. 그래야 우리가 실제 장난감처럼 제어할 수 있기 때문입니다.

여기서 NewtonGS라고 불리는 새로운 방법이 등장합니다. 이것은 디지털 인형에게 실제 물리 법칙에 의해 제어되는 보이지 않는 실을 달아주는 것과 같습니다. 연구진은 모든 3D 가우시안 장면 속의 물체를 무질서하게 쌓인 수백만 개의 작은 점 뭉치가 아니라, 특정한 "상태(state)"를 가진 하나의 스마트한 캐릭터로 취급하도록 시스템을 구축했습니다. 이 상태는 비디오 게임의 캐릭터 시트와 같아서, 물체가 어디에 있는지, 어느 방향을 향하고 있는지, 얼마나 빨리 회전하는지, 얼마나 빨리 이동하는지, 크기는 얼마인지, 그리고 심지어 얼마나 무겁고 얼마나 잘 튀어 오르는지까지 포함하여 정확히 22가지의 정보를 담고 있습니다.

마법은 NewtonGS가 고전적인 물리 수학과 약간의 머신러닝 "직관"을 영리하게 결합함으로써 일어납니다. 이 시스템은 물체가 어떻게 움직여야 하는지를 예측하기 위해 물리 법칙(뉴턴의 법칙 등)이라는 엄격한 규칙에서 시작합니다. 하지만 현실 세계는 무질서하고 컴퓨터는 완벽하지 않기 때문에, 여기에 "학습된 잔차(learned residual)"를 추가합니다. 물리 선생님은 교과서의 정답을 완벽하게 알고 있지만, 학생은 공이 이상하게 튀어 오르는 이유가 숨겨진 굴곡 때문일 수도 있다는 것을 수많은 영상을 통해 배운 상황을 상상해 보세요. 선생님은 수학을 알고, 학생은 경험을 알고 있습니다. NewtonGS는 선생님의 수학과 학생의 경험을 결합하여, 물리적으로 정확하면서도 놀라울 정도로 사실적인 움직임을 예측합니다.

연구팀은 단순한 미끄러짐과 구르기부터 복잡한 튀어 오름과 회전에 이르기까지, 32가지의 서로 다른 유형의 움직임에 대해 이 시스템을 테스트했습니다. 그들은 100만 개 이상의 시뮬레이션 시나리오를 포함하는 State-32라는 디지털 놀이터를 만들었습니다. 이 테스트에서 NewtonGS는 엄격한 수학 공식에만 의존하는 다섯 가지 다른 방법보다 물체가 어디에 있을지, 얼마나 빨리 움직일지, 그리고 어떻게 회전할지를 훨씬 더 잘 예측했습니다. 경로, 최종 정지 지점, 그리고 속도를 예측하는 데 있어 실수가 더 적었습니다.

결정적으로, 논문은 이것이 단순히 숫자에 관한 것이 아님을 보여줍니다. 시스템이 물체가 있어야 할 위치를 예측하면, 수백만 개의 작은 빛나는 구슬들을 그 새로운 위치에 맞춰 즉각적으로 업데이트합니다. 이는 마치 지휘자가 오케스트라의 모든 연주자에게 언제 음을 연주해야 하는지 정확히 알려주어, 전체 장면이 완벽한 조화를 이루며 움직이게 하는 것과 같습니다. 연구진은 또한 토이카가 거실 테이블 위에 있든 축구공이 공원에 있든, 서로 다른 환경에서도 이 시스템이 작동한다는 것을 보여주었습니다.

하지만 논문은 이 시스템이 아직 하지 못하는 부분에 대해서도 주의 깊게 명시하고 있습니다. 이 시스템은 영상을 보는 것만으로 마법처럼 물리 법칙을 알아내지는 못하며, 먼저 시작 속도와 무게를 알려주어야 합니다. 또한 물체가 부서지거나 형태가 복잡하게 변하는 것(예: 찰흙이 찌그러지는 것)은 다룰 수 없습니다. 이는 물체가 형태를 유지하면서 약간 커지거나 작아질 수 있는 경우만을 다룹니다. 또한, 한 번에 하나의 물체를 움직이는 데는 뛰어나지만, 두 물체가 충돌하여 서로 튕겨 나가는 퍼즐은 아직 해결하지 못했습니다.

요약하자면, NewtonGS는 디지털 세상이 실재감을 갖도록 만드는 데 있어 중요한 진전입니다. 이는 정적인 3D 예술과 상호작용하는 물리 사이의 간극을 메워, 우리가 현실 세계에서 사용하는 것과 동일한 규칙으로 디지털 물체를 제어할 수 있게 해줍니다. 이는 물체에 명확한 "상태"와 물리 기반의 두뇌를 부여함으로써, 우리가 시각적으로 멋질 뿐만 아니라 예측 가능하고 제어 가능한 애니메이션을 만들 수 있다는 것을 시사하며, 더 나은 비디오 게임, 가상 현실, 그리고 상호작용하는 스토리텔링의 문을 열어줍니다.

기술 요약: NewtonGS

문제 정의

정적인 3D 가우시안 스플래팅(3DGS) 장면 내에서 객체를 애니메이션화하려면 명시적인 객체 수준의 동적 상태와 제어 가능한 객체 운동 모델이 필요합니다. 기존의 동적 가우시안 방법들은 주로 시변(time-varying) 장면을 재구성하거나 연속적인 변형(예: 4DGS, 변형 필드)을 시뮬레이션하는 데 중점을 둡니다. 이러한 접근 방식은 기존 가우시안 객체의 운동을 직접 제어, 예측 및 편집할 수 있게 해주는 압축되고 명시적인 객체 수준의 상태 표현이 부족합니다. 또한, 순수하게 해석적인 모델은 모델 불일치(model mismatch)나 모델링되지 않은 효과를 처리하지 못하는 경우가 많으며, 제약이 없는 신경망 예측기는 제어와 해석이 어려운 운동을 생성합니다. 핵심 과제는 가우시안 객체를 명확한 기하학적 및 역학적 의미를 유지하는 압축된 상태로 표현하고, 연속적인 운동과 이산적인 이벤트(예: 접촉)를 모두 포착하여 이 상태를 시간에 따라 진화시키며, 각 프리미티브에 별도의 궤적을 할당하지 않고 예측된 운동을 가우시안 프리미티브로 일관되게 매핑하는 것입니다.

방법론: NewtonGS

저자들은 객체 수준의 상태 롤아웃(state rollout) 및 가우시안 장면 애니메이션을 위한 물리 구조화된 프레임워크인 NewtonGS를 제안합니다. 이 방법은 상태 표현, 하이브리드 역학 예측, 그리고 상태-가우시안 변환의 세 단계로 작동합니다.

1. 객체 중심 가우시안 상태 표현

각 동적 객체 $k$ 는 다음과 같은 압축된 22차원 상태 벡터 $Z_k$ 로 요약됩니다:
$Z_k = [p_k, q_k, v_k, \omega_k, s_k, u_k, m_k, e_k, \mu_k]$
여기서:

$p_k \in \mathbb{R}^3$ : 객체 중심 위치.
$q_k \in \mathbb{H}$ : 단위 방향 쿼터니언.
$v_k, \omega_k \in \mathbb{R}^3$ : 선속도 및 각속도.
$s_k, u_k \in \mathbb{R}^3$ : 집계된 비등방성 스케일 및 그 변화율.
$m_k, e_k, \mu_k \in \mathbb{R}$ : 질량, 반발 계수, 접선 감쇠(재료 특성).

이 상태는 개별 프리미티브가 아닌 객체 집합을 설명합니다. 스케일 $s_k$ 는 고차원의 변형 코드를 도입하지 않고도 크기 변화와 단순한 변형 궤적을 다룹니다.

2. 가우시안 신경 뉴턴 역학 (Gaussian-NND)

본 프레임워크의 핵심은 해석적 사전 지식(analytic prior)과 학습된 잔차(learned residuals)를 결합한 구조화된 하이브리드 역학 모델입니다.

연속 역학: 접촉 사이의 구간 동안, 상태는 병진, 쿼터니언 운동학, 중력, 댐핑 및 스케일 복원을 통합하는 구조화된 벡터 필드를 통해 진화합니다. 신경망 $f_\theta$ 는 해석적 사전 지식을 보정하기 위해 유계된 가속도 잔차 $[r_v, r_\omega, r_s]$ 를 예측합니다. 시스템은 RK4를 사용하여 적분됩니다.
이산 접촉 이벤트: 충격 시 발생하는 즉각적인 속도 변화를 처리하기 위해, 별도의 이벤트 맵이 수평 바닥( $y=0$ )과의 접촉을 감지합니다. 접촉이 감지되면 해석적 응답(반발 및 접선 감쇠)이 적용된 후, 충격 후의 속도와 각속도를 보정하도록 설계된 학습된 접촉 잔차 네트워크 $h_\phi$ 가 뒤따릅니다.
초기화: 두 잔차 네트워크 모두 0을 출력하도록 초기화되어, 초기 롤아웃이 엄격하게 해석적 모델을 따르도록 보장하며, 잔차는 데이터로부터 학습됩니다.

3. 상태-가우시안 변환

예측된 객체 상태는 객체에 속한 모든 가우시안에 적용되는 **공유 아핀 변환(shared affine transformation)**으로 변환됩니다.

예측된 상태로부터 초기 상태 대비 상대적 회전 행렬 $R_t$ 와 스케일 비율 벡터 $\rho_t$ 가 계산됩니다.
가우시안 평균 $g_i$ 와 공분산 $\Sigma_i$ 는 공유 변환 행렬 $A_t$ 를 통해 업데이트됩니다:
$g_i^t = A_t(g_i^0 - p_0) + p_t$
$\Sigma_i^t = A_t \Sigma_i^0 A_t^\top$
이를 통해 전체 클러스터가 일관되게 움직이는 동안 객체의 내부 구조가 보존됩니다.

주요 기여

NewtonGS 프레임워크: 가우시안 애니메이션을 명시적인 22차원 상태의 롤아웃과 그에 따른 결정론적이고 공유된 가우시안 프리미티브의 변환으로 정식화한 객체 수준 프레임워크를 제안합니다.
Gaussian-NND 모델: 연속적인 쿼터니언/스케일 진화, 이산적인 수평 바닥 접촉 이벤트, 그리고 제로 초기화된 학습 잔차를 결합한 구조화된 하이브리드 역학 모델을 제공합니다. 이는 물리적 해석 가능성과 모델 불일치를 보정하는 능력 사이의 균형을 맞춥니다.
절차적 벤치마크를 통한 평가: 상태 롤아웃 평가를 위한 State-32와 상태-가우시안 변환을 위한 Gaussian-32를 도입했습니다. 실험 결과, NewtonGS는 인-디스트리뷰션(in-distribution) 및 속도 범위 이동(velocity-range-shift) 분할 모두에서 5가지 해석적 베이스라인보다 낮은 궤적, 종단점 및 속도 오차를 달 achievement 했습니다.

결과

저자들은 1,048,761개의 훈련 시퀀스와 인-디스트리뷰션(ID) 및 아웃-오브-디스트리뷰션(OOD, 속도 범위가 증가한 경우) 분할 각각 131,072개의 시퀀스를 포함하는 State-32 데이터셋에서 NewtonGS를 평가했습니다.

상태 예측: ID 및 OOD 분할 모두에서 NewtonGS는 5가지 해석적 베이스라인(Hold-Z0, Constant Velocity, Damped Velocity, Gravity-Bounce, Physics-Prior 포함) 중 가장 낮은 궤적 RMSE, 최종 변위 오차(FDE), 속도 RMSE를 기록했습니다.
- ID에서 NewtonGS는 최적의 베이스라인 대비 궤적, 종단점 및 속도 오차를 각각 3.61%, 2.57%, 2.34% 감소시켰습니다.
- OOD에서 각각 3.06%, 5.25%, 2.27%의 감소를 보여 속도 변화에 대한 강건성을 입증했습니다.
교차 표현(Cross-Representation): Gaussian-32 및 Same-32 서브셋에서 NewtonGS는 L4GM 비디오-투-4DGS 방법보다 궤적, 종단점 및 쿼터니언 오차 측에서 우수한 성능을 보였으며, 이는 예측된 상태에서 애니메이션된 가우시안 객체로의 효과적인 변환을 입증합니다.
비디오 프록시 비교: 비디오 생성 모델(Sora, Veo 3, Wan 등)과의 "Common-12" 비교에서 NewtonGS는 물리적 일관성(PISp), 배경 안정성(BCp), 운동 매끄러움(MSp)에서 더 높은 점수를 얻었으며, 운동 카테고리 전반에 걸쳐 더 낮은 분산을 보였습니다.

의의 및 주장

본 논문은 NewtonGS가 정적인 3D 가우시안 표현과 제어 가능하고 물리 기반의 운동 사이를 잇는 필수적인 가교를 제공한다고 주장합니다. 가우시안 객체에 명시적인 동적 상태를 할당함으로써, 이 방법은 장면 애니메이션 및 인터랙티브 콘텐츠 제작에 필수적인 예측 가능하고 편집 가능한 운동을 가능하게 합니다.

저자들은 자신들의 접근 방식이 독립적으로 예측된 프리미티브 운동보다 일관된 객체 프레임과 직접적인 상태 공간 제어를 선호한다는 점에서 기존 4DGS 방법과 차별화된다고 강조합니다. 구조화된 하이브리드 역학을 통해 고정된 해석적 규칙이 포착하지 못하는 다양한 운동 패턴(탄도 운동, 튀어 오름, 구르기, 진동 등)을 포착하면서도, 기저의 물리적 사전 지식을 통해 해석 가능성을 유지합니다.

논문의 범위는 다음과 같이 제한적입니다:

객체 수준의 역학에 집중하며, 관절 구조, 위상 변화 또는 복잡한 다중 객체 상호작용(예: 쌍체 충돌이 이벤트 맵에 명시적으로 모델링되지 않음)을 모델링하지 않습니다.
현재 구현은 수평 바닥과의 접촉을 처리합니다. 벽 및 경사면 접촉은 명시적 솔버보다는 잔차를 통해 학습됩니다.
보고된 결과는 라벨링된 초기 상태에서 시작됩니다. 본 논문은 원시 비디오로부터 자동적인 관측-상태 추론 문제를 해결한다고 주장하지 않으나, 그룹화 및 상태 리프팅을 위한 결정론적 인터페이스를 제공합니다.
평가는 절차적으로 생성된 합성 데이터셋에서 수행되었습니다. 따라서 이 방법이 효과적인 애니메이션을 보여주기는 하지만, 일반적인 생성 작업에서 텍스트-투-비디오 시스템보다 뛰어난 실사 4D 재구성을 달성한다고 주장하지는 않습니다.