Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

기술 요약: 동적 3D 가우시안 스플래팅을 위한 드롭인 연속 시간 변형 필드로서의 리퀴드 뉴럴 네트워크

문제 정의
동적 3D 가우시안 스플래팅(D-3DGS)은 프레임 시간 $t$에 조건화된 다층 퍼셉트론(MLP)을 사용하여 정준(canonical) 3D 가우시안 세트를 변형함으로써 단안 비디오로부터 움직이는 장면을 재구성한다. 이때 $t$는 연속적인 물리적 변수이지만, 표준 D-3DGS 변형 MLP는 이를 이산적인 입력으로 취급한다. 이 아키텍처는 인접한 타임스텝 간의 시간적 결합이 부족하다. 즉, 각 프레임에 대해 독립적으로 피팅되며, 시간적 매끄러움(temporal smoothness)은 구조적으로 강제되는 것이 아니라 최적화 과정의 부산물로서만 나타난다. Neural ODEs나 Latent-ODE 변형(예: ODE-GS)과 같은 기존의 연속 시간 대안들은 명시적인 연속 시간 사전 확률(priors)을 도입하지만, 훈련 루프 내에서 수치 해석 솔버(numerical solvers)를 요구하기 때문에 상당한 계산 비용을 발생시킨다. 저자들은 수치 적분의 오버헤드 없이 연속 시간 의미론을 제공하는 아키텍처 설계에 대한 공백을 확인하였다.

방법론
본 논문은 D-3DGS의 변형 필드 $F_\theta$를 리퀴드 뉴럴 네트워크(LNN)의 일종인 폐형식 연속 시간(Closed-form Continuous-time, CfC) 셀 스택으로 재설계할 것을 제안한다. 이 설계는 정준 가우시안, 래스터라이저, 손실 함수 및 훈련 스케줄을 포함한 D-3DGS 파이프라인의 나머지 부분을 그대로 유지하면서 변형 네트워크만을 교체한다.

• CfC 셀 구조: 각 셀은 액체형 시상수(Liquid Time-constant, LTC) 상미분 방정식(ODE)의 폐형식 해(closed-form solution)이다. 표준 MLP와 달리, CfC 셀은 경과 시간 신호 $\tau$를 사용하는 시그모이드 시간 게이트 $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$를 통해 업데이트된 은닉 상태 $h'$를 계산한다. 이 게이트는 두 가지 후보 은닉 상태($g$와 $h_{cand}$) 사이를 보간하며, 수치 솔버를 호출하지 않고도 시간 변화에 대한 학습된 매끄러운 반응을 손실 지형(loss landscape)에 직접적으로 심어준다.
• 깊이가 곧 시간(Depth-as-Time): 저자들은 변형 필드를 $D$개의 CfC 셀 스택으로 구현한다. 결정적으로, 이들은 셀을 비디오 프레임에 따라 순환(recurrent) 방식으로 사용하지 않는다. 대신 네트워크의 깊이가 시간적 순환 메커니즘 역할을 한다. 모든 순전파(forward pass) 시 은닉 상태는 0으로 초기화되며, 프레임 시간 $t$가 모든 스택 내의 셀에 경과 시간 신호로 입력된다. 이러한 "깊이가 곧 시간" 방식은 네트워크가 연속 시간 의미론을 가진 피드포워드 블록으로서 기능하게 한다.
• 구현: 구현은 D-3DGS 변형 모듈을 위한 드롭인 교체 모델이다. 저자들은 원래의 D-3DGS 위치 인코딩 방식과 일치하도록 백본 너비 64, 은닉 크기 128, 6개의 CfC 셀(기본 설정)을 사용한다.

주요 기여

1. 리퀴드 변형 필드: 프레임 시간 $t$에 대해 명시적인 시간 게이트 업데이트를 노출하는 CfC 셀로 구축된 D-3DGS용 변형 필드를 도입하였다. 이 설계는 기존의 피드포워드 MLP와 동일한 추론 비용 프로필을 유지한다.
2. 경험적 평가: 8개의 합성 D-NeRF 장면과 7개의 실제 NeRF-DS 장면에 대한 포괄적인 테스트를 수행하였다. 본 연구는 PSNR, SSIM, LPIPS, 파라미터 수, MACs(곱셈-누적 연산)를 보고하며, 리퀴드 필드가 MLP 베이스라인과 일치하거나 이를 능가함을 입증한다.
3. 아키텍처적 위치 선정: CfC가 연속 시간 방법의 스펙트럼 내에서 어디에 위치하는지에 대한 명확한 구분을 제공한다. 본 논문은 CfC를 "저비용 측면"의 선택지로 위치시킨다. 즉, ODE/SDE 솔버가 요구하는 계산적 페널티 없이 연속 시간 의미론과 지터(jitter)에 대한 강건성을 제공한다.

결과

• 합성 장면 (D-NeRF): 리퀴드 변형 필드는 8개 장면 중 6개에서 재학습된 D-3DGS MLP 베이스라인과 일치하거나 이를 능가한다. 총 평균 PSNR은 거의 동일하다(CfC 38.25 dB vs. MLP 38.26 dB). 가장 유의미한 이득은 고주파 관절 운동이 있는 장면(예: Hook +1.49 dB, Hell Warrior +0.82 dB)에서 관찰되었는데, 이는 시간 게이트 비선형성이 암묵적인 매끄러움 사전 확률로 작용했기 때문이다.
• 실제 장면 (NeRF-DS): 포즈 노이즈가 지배적인 7개의 실제 장면에서 CfC 방식은 모든 평균 지표에서 MLP 베이스라인보다 우수한 성능을 보였다 (PSNR: 23.86 dB vs. 23.39 dB; SSIM: 0.8491 vs. 0.8403; LPIPS: 0.1891 vs. 0.2011). 가장 큰 개선은 심한 경면 운동(specular motion)이 특징인 As 장면에서 나타났으며, 여기서 CfC 방식은 +2.74 dB의 PSNR 이득을 달了했다.
• 계산 효율성: 베이스라인 MLP와 일치하는 깊이 및 너비($D=8, W=256$)로 구성했을 때, CfC 스택은 약 50%의 파라미터 및 MACs 오버헤드를 발생시켰다. 그러나 저자들의 기본 설정($D=6, W=128$)은 우수하거나 대등한 품질을 유지하면서도 계산량(footprint)을 MLP 베이스라인보다 36% 낮추었다.
• Ablation (절제 실험): Hell Warrior 장면에 대한 실험을 통해 CfC 셀 아키텍처가 표준 MLP 백본보다 우수함을 확인하였다. 최적의 깊이는 $D=6$으로 나타났으며, GELU 활성화 함수가 가장 좋은 결과를 보였다. 이는 무제한의 매끄러운 백본이 셀 수준의 비선형성과 더 잘 결합됨을 시사한다.

의의 및 주장
본 논문은 D-3DGS의 이산적 MLP 변형 필드를 $t$에 대한 명시적인 연속 시간 함수로 변환하는 "마찰이 거의 없는 아키텍처 설계"를 제시한다고 주장한다. 그 의의는 ODE/SDE 솔버의 계산적 부담 없이 연속 시간 의미론과 노이즈가 있는 감독(pose drift 및 motion blur 등)에 대한 강건성을 달성하는 데 있다.

저자들은 자신들의 기여를 근본적인 재구성 패러다임의 전환이라기보다는 아키텍처적 개선으로 겸손하게 규정한다. 이들은 "깊이가 곧 시간" 방식이 순환형 LNN의 전형적인 장기 시간 기억(long-horizon temporal memory)을 활용하지 않는다는 점을 인정하는데, 이는 각 가우시안 세트가 비정상적(non-stationary)이기 때문이다. 결과적으로, 연속성 보장은 오직 시간 게이트 비선형성에 의해서만 도출된다. 본 논문은 결론적으로 ODE/SDE 기반 방법들이 여전히 외삽(extrapolation)이나 심하게 손상된 데이터에 더 우수할 수 있지만, CfC 접근 방식이 동적 3D 장면 재구성의 표준적인 보간(interpolation) 영역에서 가장 경제적인 선택이며, 실무자들이 연속 시간 사전 확률을 점진적으로 채택할 수 있게 해준다고 밝히고 있다.