💻 computer science

LagrangeGS: Non-Conservative Lagrangian System on Dynamic 3D Gaussian Splatting

LagrangeGS는 항등 행렬 근사, 시간 독립적 힘 제약, 그리고 국소적 강체 정렬을 통해 물리적 불일치, 비가역성, 기하학적 붕괴 문제를 해결함으로써 안정적인 장기 외삽 및 반사실적 물리 기반 편집을 가능하게 하는 동적 3D 가우시안 스플래팅을 위한 비보존적 라그랑주 프레임워크를 도입한다.

원저자: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

회전하는 선풍기나 떨어지는 공처럼 움직이는 장면을 단순히 평면적인 비디오가 아니라, 그 안을 걸어 다닐 수 있는 3차원 세계로 포착하는 것을 상상해 보십시오. 수년 동안 과학자들은 사진을 통해 이러한 디지털 세계를 구축하는 방법을 개발해 왔으며, 정적인 장면들을 믿기 힘들 정도로 실감 나게 만들어 냈습니다. 최근에는 이 움직이는 디지털 세계를 만드는 법도 익히게 되어, 북적이는 방이나 회전하는 물체의 비디오 속을 카메라가 날아다닐 수 있게 되었습니다. 하지만 이러한 움직이는 디지털 세계에는 중대한 약점이 있습니다. 그것은 본질적으로 비디오에서 일어난 일을 기억하는 영리한 속임수에 불과하다는 점입니다. 만약 컴퓨터에게 비디오가 끝난 후 1초 뒤에 어떤 일이 일어날지 보여달라고 요청하거나, 비디오를 되감아 시작하기 전의 상황을 보여달라고 요청하면, 디지털 세계는 흔히 무너져 내립니다. 물체들이 이상한 모양으로 늘어나거나, 사라지거나, 물리 법칙을 거스르는 방식으로 움직이는데, 이는 컴퓨터가 실제로 중력이나 관성이 어떻게 작동하는지를 배운 것이 아니라 단지 픽셀이 어떻게 변했는지만을 배웠기 때문입니다.

일본 NTT의 연구진은 물리 법칙을 따르도록 디지털 세계를 가르침으로써 이 문제를 해결하는 '라그랑주GS(LagrangeGS)'라는 새로운 접근 방식을 도입했습니다. 이 방식은 장면의 변화를 단순히 관찰하는 대신, 라그랑주 역학(Lagrangian mechanics)이라고 알려진 근본적인 프레임워크를 사용하여 움직임을 설명합니다. 간단히 말해, 이 프레임워크는 장면의 모든 움직이는 부분을 질량, 에너지, 그리고 작용하는 힘을 가진 물리적 객체로 취급합니다. 이렇게 함으로써 컴퓨터는 단순히 다음 상황을 추측하는 것이 아니라, 에너지가 어떻게 저장되고 힘이 어떻게 밀고 당기는지를 바탕으로 미래를 계산합니다. 이를 통해 시스템은 비디오보다 훨씬 먼 미래의 장면을 예측하거나, 시간을 되감아 과거를 보거나, 혹은 새로운 데이터로 다시 학습할 필요 없이 중력을 약하게 만드는 것과 같이 장면의 규칙을 변경할 수 있습니다.

연구진은 장면을 수백만 개의 작고 색이 있는 흐릿한 구체인 가우시안 입자(Gaussian particles)로 표현하는 기술을 기반으로 이 시스템을 구축했습니다. 이전 방식에서는 이 입자들이 비디오에 맞춰 자유롭게 떠다니거나 변형되도록 허용했는데, 이는 비디오가 기록된 시간 동안에는 잘 작동했지만 시스템이 그다음 상황을 예측하려고 할 때는 처참하게 실패했습니다. 새로운 방식은 이 입자들이 물리적 체계처럼 행동하도록 강제합니다. 수백만 개의 입자에 대해 이를 가능하게 하기 위해, 연구진은 입자들이 어떻게 상호작용하는지 계산하는 데 통상적으로 필요한 복잡한 수학을 단순화했습니다. 그들은 모든 입자가 동일하고 단순한 무게를 가진 것처럼 취급하고 독립적으로 움직이게 하여, 거대한 계산적 장벽을 제거했습니다. 또한 입자에 작용하는 힘이 시간이 지남에 따라 임의로 변하지 않도록 보장했는데, 이는 시스템이 앞으로 진행하는 것만큼이나 쉽게 시간을 뒤로 돌릴 수 있게 하는 핵심 요구 사항입니다.

디지털 물체들이 무너지지 않도록, 연구진은 입자 그룹이 마치 선풍기 날개나 공의 몸체와 같은 단단한 고체 부품처럼 함께 움직이도록 유지하는 영리한 제약 조건을 추가했습니다. 이는 시스템이 원래 비디오의 범위를 훨씬 넘어서는 시간을 시뮬레이션할 때 입자들이 소음 같은 구름으로 흩어지는 것을 방지합니다. 연구진이 회전하는 선풍기와 떨어지는 공이 포함된 장면을 대상으로 이 새로운 시스템을 테스트했을 때, 결과는 놀라웠습니다. 기존 방식들이 회전하는 선풍기를 흐릿한 덩어리로 만들거나 떨어지는 공을 거대한 픽셀 구름으로 폭발시킨 반면, 새로운 시스템은 원본 비디오보다 3배 더 긴 시간 단계를 예측할 때도 형태를 온전하게 유지하고 움직임을 매끄럽게 유지했습니다.

이 연구의 가장 매혹적인 시연 중 하나는 시간을 역전시키는 능력입니다. 시스템이 시간의 흐름에 상관없이 작동하는 물리 법칙을 기반으로 구축되었기 때문에, 연구진은 단순히 컴퓨터에 시뮬레이션을 역방향으로 실행하도록 명령할 수 있었습니다. 그 결과는 장면의 완벽한 되감기였으며, 공은 시작 높이로 다시 올라가고 선풍기는 역방항으로 회전하며 입자들이 정확히 원래 위치로 돌아왔습니다. 이는 이전의 시스템들이 할 수 없었던 일로, 이전 시스템들은 시간을 되돌려 달라고 요청받으면 단순히 실패하거나 엉망진창인 결과물을 만들어냈습니다. 연구진은 또한 현장에서 장면의 물리학을 편집할 수 있음을 보여주었습니다. 설정을 조정함으로써, 그들은 마치 달 위에서처럼 공이 훨씬 느리게 떨어지게 하거나, 중력이 더 강한 것처럼 훨씬 빠르게 떨어지게 만들 수 있었습니다. 이들은 모델을 다시 학습시키는 것이 아니라, 시뮬레이션의 힘을 정의하는 숫자를 변경하는 것만으로 이를 수행했습니다.

이 연구는 이러한 디지털 표현을 실제 물리 법칙에 기반하게 함으로써, 안정적이고 가역적이며 편집 가능한 역동적인 3D 세계를 만드는 것이 가능하다는 것을 확인시켜 줍니다. 연구진은 자신들의 방식이 매우 특정한 실내 장면에서 가장 진보된 순수 시각적 방식들보다 약간 덜 선명한 이미지를 생성할 때도 있지만, 장기 시뮬레이션 중에 발생하는 기하학적 붕괴를 완전히 제거했다고 밝혔습니다. 또한 현재의 접근 방식은 물체들이 서로 충돌하거나 복잡하게 부딪히지 않을 때 가장 잘 작동한다는 점을 언급했는데, 이는 시스템이 입자들을 독립적으로 움직이는 것으로 취급하기 때문입니다. 이러한 한계에도 불구하고, 이 연구는 역동적인 3D 장면을 정적인 시각적 기록에서 우리가 현실 세계를 이해하는 것과 동일한 논리로 탐구하고, 역전시키고, 조작할 수 있는 살아있는 물리적 모델로 변모시키는 중요한 진전을 의미합니다.

기술 요약: LagrangeGS

문제 정의
동적 3D 가우시안 스플래팅(3DGS)은 시변 장면(time-varying scenes)의 사실적인 재구성을 달성했으나, 기존의 물리 인식 확장 방식들은 근본적인 한계점을 가집니다. 최근의 방법들은 외삽(extrapolation)을 위해 속도 또는 가속도장을 예측하지만, 이는 라그랑주 역학(Lagrangian mechanics)을 충족하지 못한 채 단순히 시각적 변형에 벡터장을 맞추는 것에 불과합니다. 이러한 물리적 근거의 부재는 세 가지 결정적인 문제를 야기합니다:

물리적으로 일관되지 않은 궤적: 운동이 보존 법칙이나 에너지 원칙을 따르지 않습니다.
시간 가역성 결여: 시스템이 현재의 관측으로부터 과거의 상태를 일관되게 재구성할 수 없습니다.
기하학적 붕괴: 장기적인 외삽 시 종종 무한한 부피 발산이나 불분명한 안개 현상이 발생합니다.

나아가, 표준 일반화 라그랑주 신경망(G-LNN)을 동적 3DGS에 직접 적용하는 것은 계산적으로 불가능합니다. 이는 매 적분 단계마다 수백만 개의 가우시안 입자에 대해 거대한 속도-헤시안 행렬( $\partial^2 L / \partial \dot{q}^2$ )의 역행렬을 구해야 하기 때문입니다. 또한, 표준 G-LNN은 종종 시간에 의존적인 힘을 사용하는데, 이는 수학적으로 정확한 시간 역전(time reversal)을 불가능하게 만듭니다.

방법론
저자들은 LagrangeGS를 제안하며, 이 프레임워크는 동적 3DGS를 위치 에너지( $U$ ), 초기 속도( $v_0$ ), 그리고 비보존력( $Q$ )으로 매개변수화된 비보존 라그랑주 시스템으로 정식화합니다. 아키텍처는 세 가지 핵심 구성 요소로 이루어집니다:

시간 독립적 디커플링 LNN (TD-LNN):
헤시안 역행렬 계산의 병목 현상을 해결하기 위해, 이 방법은 속도-헤시안을 단위 행렬로 근사합니다. 이는 물리적으로 모든 가우시안 입자에 균일한 단위 질량을 할당하고 관성 역학을 분리(decouple)하는 것과 같습니다. 운동 에너지는 $T(\dot{q}) = \frac{1}{2}\|\dot{q}\|^2$ 로 단순화됩니다.
시간 가역성을 가능하게 하기 위해, 비보존력은 명시적으로 시간에 독립적이어야 함, 즉 $F(q, \dot{q}, t) = Q(q, \dot{q})$ 로 제한됩니다. 이를 통해 시스템을 음의 시간 단계(negative time step)를 사용하여 역방향으로 적분할 수 있으며, 상태 복구를 위한 수학적 정당성을 보장합니다. 각 입자 $j$ 에 대한 결과적인 가속도는 다음과 같은 폐쇄형 해(closed-form solution)를 갖습니다:
$\ddot{q} = -\nabla_q U(q) + Q(q, \dot{q})$
$U$ 와 $Q$ 는 모두 다층 퍼셉트론(MLP)에 의해 매개변수화됩니다.
국소 강체 정렬 (Local Rigid Alignment, LRA):
디커플링된 입자 역학으로 인한 기하학적 붕괴를 해결하기 위해, 이 방법은 정규화 단계를 도입합니다. 각 입자에 대해 초기 상태의 $k$ -최근접 이웃을 사용하여 국소 강체 지지 구조를 정의합니다. 롤아웃(rollout) 과정 중, TD-LNN에 의해 예측된 후보 위치들은 미분 가능한 Kabsch 솔버를 사용하여 이 지지 구조의 국소 강체 운동에 정렬됩니다. 이는 입자들을 국소적으로 강체 구조로 묶어주는 동시에 전역적인 연속 변형을 허용합니다.
3단계 최적화:

1단계 (궤적 증류, Trajectory Distillation): TD-LNN은 사전 학습된 동적 3DGS 모델(예: DefGS 또는 FreeGave)에서 추출된 궤적과 자신의 적분된 궤적 사이의 평균 제곱 오차(MSE)를 최소화하도록 훈련됩니다. 페널티 항은 역학이 가능한 한 보존적 상태를 유지하도록 유도합니다.
2단계 (TD-LNN 미세 조정, Fine-tuning): 렌더링된 이미지에 대한 광도 손실(SSIM 및 $L_1$ )을 사용하여 모델을 미세 조정합니다. 그래디언트는 미분 가능한 Kabsch 정렬을 통해 TD-LNN 파라미터로 흐르며, 이를 통해 모델이 소스 궤적에 과적합되는 것을 방지합니다.
3단계 (가우시안 파라미터 미세 조정, Gaussian Parameter Finetuning): 물리 파라미터는 고정된 상태에서, 잔여 시각적 오차를 흡수하기 위해 초기 가우시안 파라미터(위치, 회전, 스케일, 불투명도, 색상)를 정밀하게 조정합니다.

주요 기여

라그랑주 정식화: 동적 3DGS를 비보존 라그랑주 시스템으로 명시적으로 정식화한 최초의 프레임워크로, 물리적으로 일관되지 않은 궤적 문제를 근본적으로 해결하고 물리적 조작을 위한 이론적 토대를 정의했습니다.
TD-LNN 아키텍처: 계산 가능성을 위해 속도-헤시안을 단위 행렬로 근사하고, 일관된 시간 역전을 가능하게 하는 시간 독립적 힘을 사용하는 새로운 신경 아키텍처입니다.
국소 강체 정렬 (LRA): 디커플링된 입자들을 국소적으로 강체 구조로 묶음으로써 장기적인 외삽 시 발생하는 기하학적 붕괴를 방지하는 메커니즘입니다.
물리적 조작: 추론 시 재학습 없이도 반사실적 물리 기반 편집(예: 중력 스케일링 또는 초기 속도 조절) 및 시간 역전이 가능합니다.

결과
실험은 Dynamic Object 및 Dynamic Indoor Scene 벤치마크에서 수행되었으며, 변형 기반 방법(T-NeRF, DefGS) 및 물리 인식 베이스라인(NVFi, TRACE, FreeGave)과 비교되었습니다.

외삽 (Extrapolation): LagrangeGS는 안정적인 장기 외삽을 보여줍니다. DefGS가 부자연스러운 움직임을 보이고 FreeGave가 기하학적 드리프트 및 부피 발산을 보이는 반면, LagrangeGS는 물리적으로 일관되고 매끄러운 움직임을 유지합니다. 정량적으로, DefGS로부터 증류했을 때 LagrangeGS는 Dynamic Object 데이터셋에서 PSNR을 +5.05 향상시켰습니다. FreeGave로부터 증류했을 때는 광도 지표는 약간 하락했으나, 기하학적 안정성(부피 확장을 1.9 $\times$ 에서 1.1 $\times$ 로 억제)을 크게 개선했습니다.
시간 역전 (Time Reversal): 시스템은 높은 일관성을 가지고 과거 상태( $t < 0$ )를 성공적으로 복구했습니다. 순방향-역방향 사이클 테스트 결과, 평균 위치 오차는 Dynamic Object에서 1.3%, Dynamic Indoor Scene에서 0.19%에 불과했습니다.
반사실적 편집 (Counterfactual Editing): 프레임워크는 물리적 파라미터의 명시적 조작을 허용합니다. 학습된 위치 에너지( $U$ )를 스케일링하면 낙하 시간의 변화가 이론적 관계인 $t \propto \beta^{-0.5}$ 와 매우 밀접하게 일치( $R=0.999$ )하는 예측 가능한 결과를 보여줍니다.
어블레이션 (Ablation): LRA를 제거하면 장기 롤아웃에서 기하학적 붕괴가 발생합니다. 비보존력 $Q$ 를 제거하면 비보존적 움직임이 있는 장면(Dynamic Object)에서는 성능이 저하되지만, 엄격히 보존적인 장면(Indoor)에서는 점수가 약간 향상되어 모델의 적응성을 확인시켜 줍니다.

의의
본 논문은 LagrangeGS가 동적 장면을 라그랑주 시스템으로 명시적으로 정식화함으로써, 3DGS의 시각적 충실도와 물리적 타당성 사이의 간극을 메운다고 주장합니다. 표준 LNN의 계산적 난해함을 해결하고 시간 독립성을 강제함으로써, 이 연구는 안정적인 장기 외삽, 일관된 시간 역전, 그리고 해석 가능한 물리 기반 편집을 가능하게 합니다. 이는 로봇 동작 계획 및 체화된 AI(Embodied AI)와 같은 다운스트림 응용 분야에 필수적인, 물리적 근거를 가진 동적 모델링 및 조작의 길을 열어줍니다. 저자들은 초기화를 위한 사전 학습된 운동학적 궤적에 대한 의존성과 복잡한 충돌을 포착하지 못할 수 있는 디커플링된 역학 가정 등의 한계를 언급하며, 이를 향후 연구 방향으로 제시했습니다.

유사한 논문