Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

Technisches Resümee: Liquid Neural Networks als Drop-in Continuous-Time Deformation Field für Dynamic 3D Gaussian Splatting

Problemstellung
Dynamic 3D Gaussian Splatting (D-3DGS) rekonstruiert bewegte Szenen aus Monovideo, indem es einen kanonischen Satz von 3D-Gaussians mittels eines Multi-Layer Perceptrons (MLP) deformiert, das auf die Frame-Zeit $t$ konditioniert ist. Während $t$ eine kontinuierliche physikalische Variable ist, behandelt das standardmäßige D-3DGS-Deformations-MLP diese als diskreten Input. Der Architektur fehlt die zeitliche Kopplung zwischen benachbarten Zeitschritten; sie wird für jeden Frame im Trainingssatz unabhängig gefittet, und zeitliche Glattheit entsteht lediglich als Nebenprodukt der Optimierung statt strukturell erzwungen zu werden. Bestehende Alternativen für die kontinuierliche Zeit, wie Neural ODEs oder Latent-ODE-Varianten (z. B. ODE-GS), führen explizite Continuous-Time-Priors ein, verursachen jedoch signifikante Rechenkosten durch die Notwendigkeit numerischer Solver innerhalb der Trainingsschleife. Die Autoren identifizieren eine Lücke für ein architektonisches Design, das Continuous-Time-Semantik bietet, ohne den Overhead numerischer Integration zu verursachen.

Methodik
Das Paper schlägt vor, das Deformationsfeld $F_\theta$ von D-3DGS als einen Stapel von Closed-form Continuous-time (CfC) Zellen, einem Typus von Liquid Neural Networks (LNN), neu zu gestalten. Dieses Design bewahrt den Rest der D-3DGS-Pipeline (kanonische Gaussians, Rasterizer, Loss-Funktionen und Trainings-Schedules) und ersetzt lediglich das Deformationsnetzwerk.

• CfC-Zellstruktur: Jede Zelle ist die geschlossene Lösung einer Liquid Time-constant (LTC) Ordinary Differential Equation (ODE). Im Gegensatz zu Standard-MLPs berechnet eine CfC-Zelle einen aktualisierten Hidden State $h'$ über ein sigmoides Zeit-Gate $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$, wobei $\tau$ das verstrichene Zeitsignal ist. Dieses Gate interpoliert zwischen zwei Kandidaten-Hidden-States ($g$ und $h_{cand}$) und integriert effektiv eine gelernte, glatte Reaktion auf Zeitvariationen direkt in die Loss-Landschaft, ohne einen numerischen Solver aufrufen zu müssen.
• Depth-as-Time: Die Autoren instanziieren das Deformationsfeld als einen Stapel von $D$ CfC-Zellen. Entscheidend ist, dass sie die Zellen nicht in einer rekurrenten Weise über Videoframes hinweg verwenden. Stattdessen fungiert die Netzwerktiefe als der zeitliche Rekursionsmechanismus. Für jeden Forward Pass wird der Hidden State auf Null zurückgesetzt, und die Frame-Zeit $t$ wird als das verstrichene Zeitsignal in jede Zelle des Stapels eingespeist. Dieser „Depth-as-Time“-Ansatz ermöglicht es dem Netzwerk, als Feed-Forward-Block mit Continuous-Time-Semantik zu fungieren.
• Implementierung: Die Implementierung ist ein Drop-in-Ersatz für das D-3DGS-Deformationsmodul. Die Autoren verwenden eine Backbone-Breite von 64, eine Hidden Size von 128 und 6 CfC-Zellen (Standardkonfiguration), was den Positional Encoding Schemata des ursprünglichen D-3DGS entspricht.

Wesentliche Beiträge

1. Liquid Deformation Field: Die Einführung eines Deformationsfeldes für D-3DGS, das aus einem Stapel von CfC-Zellen aufgebaut ist und eine explizite, zeitgesteuerte Aktualisierung über die Frame-Zeit $t$ aufweist. Dieses Design behält exakt das gleiche Inference-Kostenprofil wie ein Standard-Feed-Forward-MLP bei.
2. Empirische Evaluierung: Umfassende Tests auf acht synthetischen D-NeRF-Szenen und sieben realweltlichen NeRF-DS-Szenen. Die Studie berichtet über PSNR, SSIM, LPIPS, Parameteranzahl und MACs (Multiply-Accumulate Operations) und zeigt, dass das Liquid-Feld das MLP-Baseline-Modell erreicht oder übertrifft.
3. Architektonische Positionierung: Eine klare Abgrenzung, wo CfC im Spektrum der Continuous-Time-Methoden steht. Das Paper positioniert CfC am „günstigen Ende“ des Spektrums: Es bietet Continuous-Time-Semantik und Robustheit gegenüber Jitter ohne die Rechenkosten von ODE/SDE-Solvern, die von Methoden wie ODE-GS gefordert werden.

Ergebnisse

• Synthetische Szenen (D-NeRF): Das Liquid-Deformationsfeld erreicht oder übertrifft die neu trainierte D-3DGS-MLP-Baseline in 6 von 8 Szenen. Der aggregierte Mittelwert-PSNR ist nahezu identisch (38,25 dB für CfC vs. 38,26 dB für MLP). Die signifikantesten Gewinne wurden in Szenen mit hochfrequenter artikulierter Bewegung beobachtet (z. B. Hook +1,49 dB, Hell Warrior +0,82 dB), wo das zeitgesteuerte Nichtlinearitäts-Gate als impliziter Glattheits-Prior wirkt.
• Realweltliche Szenen (NeRF-DS): In sieben realweltlichen Szenen, die von Pose-Rauschen dominiert werden, übertraf der CfC-Ansatz die MLP-Baseline über alle mittleren Metriken hinweg (PSCS: 23,86 dB vs. 23,39 dB; SSIM: 0,8491 vs. 0,8403; LPIPS: 0,1891 vs. 0,2011). Die größte Verbesserung trat in der As-Szene auf, die starke spekulare Bewegung aufweist, wobei die CfC-Methode einen PSNR-Gewinn von +2,74 dB erzielte.
• Recheneffizienz: Bei einer Konfiguration mit übereinstimmender Tiefe und Breite zur Baseline-MLP ($D=8, W=256$) verursachte der CfC-Stapel einen Overhead von ca. 50 % bei Parametern und MACs. Die Autoren-Standardkonfiguration ($D=6, W=128$) reduzierte jedoch den Rechenaufwand auf 36 % unter der MLP-Baseline bei gleichzeitiger Beibehaltung einer überlegenen oder vergleichbaren Qualität.
• Ablation: Experimente zur Hell Warrior-Szene bestätigten, dass die CfC-Zellarchitektur die Standard-MLP-Backbone übertrifft. Die optimale Tiefe wurde bei $D=6$ gefunden, und die Verwendung von GELU-Aktivierung lieferte die besten Ergebnisse, was darauf hindeutet, dass ungebundene, glatte Backbones besser mit der Zell-Level-Nichtlinearität komponieren.

Bedeutung und Ansprüche
Das Paper behauptet, ein „nahezu reibungsloses architektonisches Design“ zu präsentieren, das das diskrete MLP-Deformationsfeld von D-3DGS in eine explizite kontinuierliche Funktion von $t$ transformiert. Die Bedeutung liegt darin, Continuous-Time-Semantik und Robustheit gegenüber verrauschter Überwachung (wie Pose-Drift und Bewegungsunschärfe) zu erreichen, ohne den Rechenaufwand von numerischen Solvern.

Die Autoren rahmen ihren Beitrag bescheiden als eine architektonische Verbesserung statt als einen fundamentalen Paradigmenwechsel ein. Sie räumen ein, dass der „Depth-as-Time“-Ansatz nicht den typischen langfristigen zeitlichen Speicher rekurrenter LNNs nutzt, da der pro-Gaussian-Satz nicht stationär ist. Folglich wird die Kontinuitätsgarantie ausschließlich aus der zeitgesteuerten Nichtlinearität abgeleitet. Das Paper schließt damit, dass ODE/SDE-basierte Methoden bei Extrapolation oder stark korrumpierten Daten zwar weiterhin überlegen sein mögen, der CfC-Ansatz jedoch die ökonomischste Wahl für das Standard-Interpolationsregime in der dynamischen 3D-Szenenrekonstruktion darstellt, was es Praktikern ermöglicht, Continuous-Time-Priors inkrementell einzuführen.