Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

Sintesi Tecnica: Reti Neurali Liquide come Campo di Deformazione a Tempo Continuo "Drop-in" per il Dynamic 3D Gaussian Splatting

Problema
Il Dynamic 3D Gaussian Splatting (D-3DGS) ricostruisce scene in movimento da video monoculari deformando un insieme canonico di 3D Gaussian tramite un Multi-Layer Perceptron (MLP) condizionato dal tempo del frame $t$. Sebbene $t$ sia una variabile fisica continua, lo standard D-3DGS tratta $t$ come un input discreto. L'architettura manca di un accoppiamento temporale tra istanti adiacenti; viene adattata indipendentemente per ogni frame nel set di addestramento e la fluidità temporale emerge solo come sottoprodotto dell'ottimizzazione piuttosto che essere strutturalmente imposta. Le controparti esistenti a tempo continuo, come le Neural ODE o le varianti Latent-ODE (ad esempio, ODE-GS), introducono espliciti prior a tempo continuo ma comportano costi computazionali significativi a causa della necessità di solver numerici nel loop di addestramento. Gli autori identificano una lacuna per un design architettonico che fornisca semantica a tempo continuo senza l'overhead dei solver numerici.

Metodologia
Il paper propone di ridisegnare il campo di deformazione $F_\theta$ di D-3DGS come una pila di celle Closed-form Continuous-time (CfC), un tipo di Liquid Neural Network (LNN). Questo design preserva il resto della pipeline D-3DGS (Gaussian canonici, rasterizzatore, funzioni di perdita e programmi di addestramento) sostituendo solo la rete di deformazione.

• Struttura della cella CfC: Ogni cella è la soluzione in forma chiusa di un'equazione differenziale ordinaria (ODE) a tempo liquido (LTC). A differenza degli standard MLP, una cella CfC calcola uno stato nascosto aggiornato $h'$ tramite una porta temporale sigmoidea $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$, dove $\tau$ è il segnale del tempo trascorso. Questa porta interpola tra due candidati stati nascosti ($g$ e $h_{cand}$), integrando efficacemente una risposta appresa e fluida alle variazioni temporali direttamente nel panorama della perdita (loss landscape) senza invocare un solver numerico.
• Depth-as-Time (La profondità come tempo): Gli autori istanziano il campo di deformazione come una pila di $D$ celle CfC. Fondamentalmente, non utilizzano le celle in modo ricorrente attraverso i frame del video. Invece, la profondità della rete funge da meccanismo di ricorrenza temporale. Per ogni passaggio in avanti (forward pass), lo stato nascosto viene resettato a zero, e il tempo del frame $t$ viene fornito come segnale del tempo trascorso a ogni cella nella pila. Questo approccio "depth-as-time" permette alla rete di funzionare come un blocco feed-forward con semantica a tempo continuo.
• Implementazione: L'implementazione è un sostituto "drop-in" per il modulo di deformazione D-3DGS. Gli autori utilizzano una larghezza di backbone di 64, una dimensione nascosta di 128 e 6 celle CfC (configurazione di default), corrispondente agli schemi di codifica posizionale del D-3DGS originale.

Contributi Chiave

1. Campo di Deformazione Liquido: L'introduzione di un campo di deformazione per D-3DGS costruito su una pila di celle CfC che espone un aggiornamento a porta temporale esplicito sul tempo del frame $t$. Questo design mantiene lo stesso profilo di costo di inferenza di un normale MLP feed-forward.
2. Valutazione Empirica: Test completi su otto scene sintetiche D-NeRF e sette scene del mondo reale NeRF-DS. Lo studio riporta PSNR, SSIM, LPIPS, conteggio dei parametri e MAC (operazioni Multiply-Accumulate), dimostrando che il campo liquido eguaglia o supera la baseline MLP.
3. Posizionamento Architetturale: Una chiara delimitazione di dove la CfC si inserisce nello spettro dei metodi a tempo continuo. Il paper posiziona la CfC come l'opzione "economica" dello spettro: offre semantica a tempo continuo e robustezza al jitter senza il carico computazionale dei solver ODE/SDE richiesti da metodi come ODE-GS.

Risultati

• Scene Sintetiche (D-NeRF): Il campo di deformazione liquido eguaglia o supera la baseline retrained D-3DGS MLP in 6 scene su 8. Il PSNR medio aggregato è quasi identico (38,25 dB per CfC vs 38,26 dB per MLP). I guadagni più significativi sono stati osservati in scene con moto articolato ad alta frequenza (ad esempio, Hook +1,49 dB, Hell Warrior +0,82 dB), dove la non linearità a porta temporale agisce come un prior di fluidità implicito.
• Scene del Mondo Reale (NeRF-DS): Su sette scene del mondo reale dominate da rumore di posa, l'approccio CfC ha superato la baseline MLP in tutti i parametri medi (PSNR: 23,86 dB vs 23,39 dB; SSIM: 0,8491 vs 0,8403; LPIPS: 0,1891 vs 0,2011). Il miglioramento maggiore si è verificato sulla scena As, caratterizzata da un forte moto speculare, dove il metodo CfC ha ottenuto un guadagno di PSNR di +2,74 dB.
• Efficienza Computazionale: Quando configurata con profondità e larghezza corrispondenti alla baseline MLP ($D=8, W=256$), la pila CfC ha subito un overhead di circa il 50% in parametri e MAC. Tuttavia, la configurazione di default degli autori ($D=6, W=128$) ha effettivamente ridotto l'impronta computazionale del 36% rispetto alla baseline MLP pur mantenendo una qualità superiore o comparabile.
• Ablazione: Gli esperimenti sulla scena Hell Warrior hanno confermato che l'architettura della cella CfC supera lo standard del backbone MLP. La profondità ottimale è stata individuata in $D=6$, e l'attivazione GELU ha prodotto i risultati migliori, suggerendo che backbone fluidi non limitati si compongano meglio con la non linearità a livello di cella.

Significatività e Rivendicazioni
Il paper sostiene di presentare un "design architettonico a frizione quasi nulla" che trasforma il campo di deformazione discreto MLP di D-3DGS in una funzione esplicita a tempo continuo di $t$. La significatività risiede nel raggiungere la semantica a tempo continuo e la robustezza alla supervisione rumorosa (come il drift della posa e il motion blur) senza il carico computazionale dei solver numerici.

Gli autori inquadrano modestamente il loro contributo come un miglioramento architettonico piuttosto che un cambiamento fondamentale nel paradigma di ricostruzione. Essi riconoscono che l'approccio "depth-as-time" non utilizza la memoria temporale a lungo termine tipica delle LNN ricorrenti, poiché l'insieme per ogni Gaussian è non stazionario. Di conseguenza, la garanzia di continuità è derivata esclusivamente dalla non linearità a porta temporale. Il paper conclude che, sebbene i metodi basati su ODE/SDE possano ancora essere superiori per l'estrapolazione o dati pesantemente corrotti, l'approccio CfC offre la scelta più economica per il regime di interpolazione standard nella ricostruzione di scene 3D dinamiche, permettendo ai professionisti di adottare i prior a tempo continuo in modo incrementale.