Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

Technische Samenvatting: Liquid Neural Networks als een Drop-in Continuous-Time Deformatieveld voor Dynamic 3D Gaussian Splatting

Probleemstelling
Dynamic 3D Gaussian Splatting (D-3DGS) reconstrueert bewegende scènes vanuit monoculaire video door een canonieke set van 3D Gaussians te deformeren met behulp van een Multi-Layer Perceptron (MLP) die geconditioneerd is op de frametijd $t$. Hoewel $t$ een continue fysieke variabele is, behandelt de standaard D-3DGS deformatie-MLP dit als een discrete input. De architectuur mist temporele koppeling tussen opeenvolgende tijdstappen; het wordt onafhankelijk gefit voor elke frame in de trainingsset, waardoor temporele gladheid slechts een bijproduct van optimalisatie is in plaats van structureel afgedwongen. Bestaande continue-tijd alternatieven, zoals Neural ODEs of Latent-ODE varianten (bijv. ODE-GS), introduceren expliciete continuous-time priors maar brengen aanzienlijke computationele kosten met zich mee door de noodzaak van numerieke solvers in de trainingslus. De auteurs identificeren een gat voor een architecturaal ontwerp dat continuous-time semantiek biedt zonder de overhead van numerieke integratie.

Methodologie
Het artikel stelt voor om het deformatieveld $F_\theta$ van D-3DGS te herontwerpen als een stapel Closed-form Continuous-time (CfC) cellen, een type Liquid Neural Network (LNN). Dit ontwerp behoudt de rest van de D-3DGS pipeline (canonieke Gaussians, rasterizer, verliesfuncties en trainingsschema's) terwijl alleen het deformatienetwerk wordt vervangen.

• CfC Cel Structuur: Elke cel is de closed-form oplossing van een Liquid Time-constant (LTC) Ordinary Differential Equation (ODE). In tegenstelling tot standaard MLPs, berekent een CfC-cel een bijgewerkte verborgen toestand $h'$ via een sigmoïdale tijdpoort $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$, waarbij $\tau$ het signaal van de verstreken tijd is. Deze poort interpoleert tussen twee kandidaat verborgen toestanden ($g$ en $h_{cand}$), waardoor een geleerde, gladde respons op variaties in de tijd direct in de loss landscape wordt ingebakken zonder een numerieke solver aan te roepen.
• Depth-as-Time: De auteurs implementeren het deformatieveld als een stapel van $D$ CfC-cellen. Cruciaal is dat ze de cellen niet op een recurrente wijze gebruiken over videoframes heen. In plaats daarvan fungeert de netwerkdiepte als het temporele recursiemechanisme. Voor elke forward pass wordt de verborgen toestand gereset naar nul, en de frametijd $t$ wordt als het signaal van de verstreken tijd gevoed aan elke cel in de stapel. Deze "depth-as-time" benadering stelt het netwerk in staat te functioneren als een feed-forward blok met continuous-time semantiek.
• Implementatie: De implementatie is een drop-in vervanging voor de D-3DGS deformatie-module. De auteurs gebruiken een backbone breedte van 64, een verborgen grootte van 128, en 6 CfC-cellen (standaard configuratie), wat overeenkomt met de positional encoding schema's van de originele D-3DGS.

Belangrijkste Bijdragen

1. Liquid Deformation Field: De introductie van een deformatieveld voor D-3DGS gebouwd uit een stapel CfC-cellen die een expliciete, tijd-gegateerde update over de frametijd $t$ blootstelt. Dit ontwerp behoudt exact hetzelfde inference cost profiel als een standaard feed-forward MLP.
2. Empirische Evaluatie: Uitgebreide testen op acht synthetische D-NeRF scènes en zeven real-world NeRF-DS scènes. De studie rapporteert PSNR, SSIM, LPIPS, parameteraantallen en MACs (Multiply-Accumulate operaties), waarbij wordt aangetoond dat het liquid veld de MLP baseline match of overtreft.
3. Architecturale Positionering: Een duidelijke afbakening van waar CfC past in het spectrum van continuous-time methoden. Het artikel positioneert CfC als de "goedkope kant" van het spectrum: het biedt continuous-time semantiek en robuustheid tegen jitter zonder de computationele penalty van ODE/SDE solvers die vereist zijn door methoden zoals ODE-GS.

Resultaten

• Synthetische Scènes (D-NeRF): Het liquid deformatieveld matcht of overtreft de hertrainde D-3DGS MLP baseline op 6 van de 8 scènes. De geaggregeerde gemiddelde PSNR is bijna identiek (38,25 dB voor CfC vs. 38,26 dB voor MLP). De meest significante winsten werden waargenomen in scènes met hoogfrequente gearticuleerde beweging (bijv. Hook +1,49 dB, Hell Warrior +0,82 dB), waar de tijd-gegateerde niet-lineariteit fungeert als een impliciete gladheidsprior.
• Real-World Scènes (NeRF-DS): Op zeven real-world scènes die gedomineerd worden door pose-ruis, presteerde de CfC-aanpak beter dan de MLP baseline over alle gemiddelde metrieken (PSCS: 23,86 dB vs. 23,39 dB; SSIM: 0,8491 vs. 0,8403; LPIPS: 0,1891 vs. 0,2011). De grootste verbetering trad op bij de As scène, die zware speculaire beweging vertoont, waar de CfC-methode een +2,74 dB PSNR winst behaalde.
• Computationele Efficiëntie: Wanneer geconfigureerd met een gematchte diepte en breedte aan de baseline MLP ($D=8, W=256$), veroorzaakte de CfC-stapel een overhead van ~50% in parameters en MACs. Echter, de standaard configuratie van de auteurs ($D=6, W=128$) verminderde de computationele voetafdruk zelfs tot 36% onder de MLP baseline terwijl een superieure of vergelijkbare kwaliteit werd behouden.
• Ablatie: Experimenten op de Hell Warrior scène bevestigden dat de CfC cel-architectuur de standaard MLP backbone overtreft. De optimale diepte werd gevonden op $D=6$, en GELU activatie leverde de beste resultaten, wat suggereert dat onbegrensde gladde backbones beter componeren met de cel-niveau niet-lineariteit.

Significantie en Claims
Het artikel claimt een "near-zero-friction architecturaal ontwerp" te presenteren dat het discrete MLP deformatieveld van D-3DGS transformeert naar een expliciete continuous-time functie van $t$. De significantie ligt in het bereiken van continuous-time semantiek en robuustheid tegen ruisige supervisie (zoals pose drift en bewegingsonscherpte) zonder de computationele last van numerieke solvers.

De auteurs kaderen hun bijdrage bescheiden als een architecturale verbetering in plaats van een fundamentele verschuiving in het reconstructieparadigma. Ze erkennen dat de "depth-as-time" benadering geen gebruik maakt van de lange-termijn temporele geheugen die typerend is voor recurrente LNN's, aangezien de per-Gaussian set niet-stationair is. Bijgevolg wordt de continuïteitsgarantie uitsluitend afgeleid van de tijd-gegateerde niet-lineariteit. Het artikel concludeert dat hoewel ODE/SDE-gebaseerde methoden mogelijk nog steeds superieur zijn voor extrapolatie of zwaar gecorrumpeerde data, de CfC-aanpak de meest economische keuze biedt voor het standaard interpolatie-regime in dynamische 3D scène reconstructie, waardoor praktijkmensen de mogelijkheid krijgen om stapsgewijs over te stappen op continuous-time priors.