Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

Resumen Técnico: Redes Neuronales Líquidas como un Campo de Deformación de Tiempo Continuo de Incorporación Directa para el Gaussian Splatting 3D Dinámico

Planteamiento del Problema
El Gaussian Splatting 3D Dinámico (D-3DGS) reconstruye escenas en movimiento a partir de video monocular, deformando un conjunto canónico de 3D Gaussians mediante un Perceptrón Multicapa (MLP) condicionado al tiempo del fotograma $t$. Aunque $t$ es una variable física continua, la arquitectura de deformación MLP de D-3DGS estándar trata a $t$ como una entrada discreta. La arquitectura carece de acoplamiento temporal entre fotogramas adyacentes; se ajusta de forma independiente para cada fotograma en el conjunto de entrenamiento, y la suavidad temporal emerge solo como un subproducto de la optimización en lugar de ser impuesta estructuralmente. Las alternativas existentes de tiempo continuo, como las Neural ODEs o las variantes de Latent-ODE (por ejemplo, ODE-GS), introducen priors explícitos de tiempo continuo, pero incurren en costos computacionales significativos debido al requerimiento de solvers numéricos en el bucle de entrenamiento. Los autores identifican la necesidad de un diseño arquitectónico que proporcione semántica de tiempo continuo sin la sobrecarga de la integración numérica.

Metodología
El artículo propone rediseñar el campo de deformación $F_\theta$ de D-3DGS como una pila de celdas de Tiempo Continuo de Forma Cerrada (CfC), un tipo de Red Neuronal Líquida (LNN). Este diseño preserva el resto del flujo de trabajo de D-3DGS (Gaussians canónicos, rasterizador, funciones de pérdida y esquemas de entrenamiento) mientras reemplaza únicamente la red de deformación.

• Estructura de la Celda CfC: Cada celda es la solución de forma cerrada de una Ecuación Diferencial Ordinaria (ODE) de Constante de Tiempo Líquida (LTC). A diferencia de los MLP estándar, una celda CfC calcula un estado oculto actualizado $h'$ a través de una compuerta temporal sigmoidea $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$, donde $\tau$ es la señal del tiempo transcurrido. Esta compuerta interpola entre dos estados ocultos candidatos ($g$ y $h_{cand}$), integrando efectivamente una respuesta suave y aprendida a la variación del tiempo directamente en el paisaje de pérdida sin invocar un solver numérico.
• Profundidad-como-Tiempo: Los autores instancian el campo de deformación como una pila de $D$ celdas CfC. Crucialmente, no utilizan las celdas de manera recurrente a través de los fotogramas del video. En su lugar, la profundidad de la red actúa como el mecanismo de recurrencia temporal. Para cada pasada hacia adelante (forward pass), el estado oculto se reinicia a cero, y el tiempo del fotograma $t$ se introduce como la señal de tiempo transcurrido en cada celda de la pila. Este enfoque de "profundidad-como-tiempo" permite que la red funcione como un bloque de alimentación hacia adelante (feed-forward) con semántica de tiempo continuo.
• Implementación: La implementación es un reemplazo de incorporación directa (drop-in replacement) para el módulo de deformación de D-3DGS. Los autores utilizan un ancho de columna vertebral (backbone) de 64, un tamaño oculto de 128 y 6 celdas CfC (configuración por defecto), coincidiendo con los esquemas de codificación posicional de D-3DGS original.

Contribuciones Clave

1. Campo de Deformación Líquido: La introducción de un campo de deformación para D-3DGS construido a partir de una pila de celdas CfC que expone una actualización con compuerta temporal explícita sobre el tiempo del fotograma $t$. Este diseño mantiene exactamente el mismo perfil de costo de inferencia que un MLP estándar de alimentación hacia adelante.
2. Evaluación Empírica: Pruebas exhaustivas en ocho escenas sintéticas de D-NeRF y siete escenas de mundo real de NeRF-DS. El estudio reporta PSNR, SSIM, LPIPS, conteos de parámetros y MACs (operaciones de multiplicación-acumulación), demostrando que el campo líquido iguala o supera al baseline del MLP.
3. Posicionamiento Arquitectónico: Una delineación clara de dónde encaja CfC en el espectro de los métodos de tiempo continuo. El artículo posiciona a CfC como el "extremo económico" del espectro: ofrece semántica de tiempo continuo y robustez ante el jitter sin la penalización computacional de los solvers ODE/SDE requeridos por métodos como ODE-GS.

Resultos

• Escenas Sintéticas (D-NeRF): El campo de deformación líquido iguala o supera al baseline del MLP de D-3DGS reentrenado en 6 de 8 escenas. El PSNR medio agregado es casi idéntico (38.25 dB para CfC frente a 38.26 dB para MLP). Las ganancias más significativas se observaron en escenas con movimiento articulado de alta frecuencia (ej. Hook +1.49 dB, Hell Warrior +0.82 dB), donde la no linealidad de la compuerta temporal actúa como un prior de suavidad implícito.
• Escenas del Mundo Real (NeRF-DS): En siete escenas del mundo real dominadas por ruido de pose, el enfoque CfC superó al baseline del MLP en todas las métricas medias (PSNS: 23.86 dB vs. 23.39 dB; SSIM: 0.8491 vs. 0.8403; LPIPS: 0.1891 vs. 0.2011). La mayor mejora ocurrió en la escena As, que presenta un movimiento especular intenso, donde el método CfC logró una ganancia de PSNR de +2.74 dB.
• Eficiencia Computacional: Cuando se configura con una profundidad y ancho coincidentes con el MLP base ($D=8, W=256$), la pila CfC incurrió en un exceso de aproximadamente el 50% en parámetros y MACs. Sin embargo, la configuración por defecto de los autores ($D=6, W=128$) redujo de hecho la huella computacional a un 36% por debajo del baseline del MLP manteniendo una calidad superior o comparable.
• Ablación: Experimentos en la escena Hell Warrior confirmaron que la arquitectura de la celda CfC supera al backbone de MLP estándar. Se encontró que la profundidad óptima es $D=6$, y la activación GELU produjo los mejores resultados, sugiriendo que las bases suaves no acotadas se componen mejor con la no linealidad a nivel de celda.

Significancia y Reivindicaciones
El artículo afirma presentar un "diseño arquitectónico de fricción casi nula" que transforma el campo de deformación MLP discreto de D-3DGS en una función explícita de tiempo continuo de $t$. La significancia radica en lograr semántica de tiempo continuo y robustez ante la supervisión ruidosa (como el deriva de pose y el desenfoque de movimiento) sin la carga computacional de los solvers numéricos.

Los autores enmarcan modestamente su contribución como una mejora arquitectónica en lugar de un cambio fundamental en el paradigma de reconstrucción. Reconocen que el enfoque de "profundidad-como-tiempo" no utiliza la memoria temporal de largo horizonte típica de las LNN recurrentes, ya que el conjunto por cada Gaussian es no estacionario. En consecuencia, la garantía de continuidad se deriva únicamente de la no linealidad de la compuerta temporal. El artículo concluye que, si bien los métodos basados en ODE/SDE pueden seguir siendo superiores para la extrapolación o datos fuertemente corrompidos, el enfoque CfC ofrece la opción más económica para el régimen de interpolación estándar en la reconstrucción de escenas 3D dinámicas, permitiendo a los profesionales adoptar los priors de tiempo continuo de manera incremental.