Liquid Neural Networks as a Drop-in Continuous-Time Deformation Field for Dynamic 3D Gaussian Splatting

Resumo Técnico: Redes Neurais Líquidas como um Campo de Deformação de Tempo Contínuo "Drop-in" para o Gaussian Splatting 3D Dinâmico

Definição do Problema
O Gaussian Splatting 3D Dinâmico (D-3DGS) reconstrói cenas em movimento a partir de vídeo monocular, deformando um conjunto canônico de Gaussians 3D usando um Perceptron de Camada Multicamadas (MLP) condicionado ao tempo do frame $t$. Embora $t$ seja uma variável física contínua, o MLP de deformação padrão do D-3DGS trata-o como uma entrada discreta. A arquitetura carece de acoplamento temporal entre timesteps adjacentes; ela é ajustada independentemente para cada frame no conjunto de treinamento, e a suavidade temporal emerge apenas como um subproduto da otimização, em vez de ser estruturalmente imposta. Alternativas de tempo contínuo existentes, como Neural ODEs ou variantes de Latent-ODE (ex: ODE-GS), introduzem priors explícitos de tempo contínuo, mas incorrem em custos computacionais significativos devido à necessidade de solvers numéricos no loop de treinamento. Os autores identificam uma lacuna para um design arquitetural que forneça semântica de tempo contínuo sem o overhead de integração numérica.

Metodologia
O artigo propõe redesenhar o campo de deformação $F_\theta$ do D-3DGS como uma pilha de células de Tempo Contínuo de Forma Fechada (CfC - Closed-form Continuous-time), um tipo de Rede Neural Líquida (LNN). Este design preserva o restante do pipeline do D-3DGS (Gaussians canônicos, rasterizador, funções de perda e cronogramas de treinamento), substituindo apenas a rede de deformação.

• Estrutura da Célula CfC: Cada célula é a solução de forma fechada de uma Equação Diferencial Ordinária (ODE) de Tempo de Líquido (LTC - Liquid Time-constant). Ao contrário dos MLPs padrão, uma célula CfC computa um estado oculto atualizado $h'$ via um portão temporal sigmoidal $\sigma_\tau = \sigma(W_{a}z \cdot \tau + W_{b}z)$, onde $\tau$ é o sinal de tempo decorrido. Este portão interpola entre dois candidatos de estado oculto ($g$ e $h_{cand}$), incorporando efetivamente uma resposta suave e aprendida à variação do tempo diretamente no panorama de perda (loss landscape) sem invocar um solver numérico.
• Profundidade-como-Tempo: Os autores instanciam o campo de deformação como uma pilha de $D$ células CfC. Crucialmente, eles não utilizam as células de maneira recorrente através dos frames do vídeo. Em vez disso, a profundidade da rede atua como o mecanismo de recorrência temporal. Para cada passagem direta (forward pass), o estado oculto é resetado para zero, e o tempo do frame $t$ é alimentado como o sinal de tempo decorrido para cada célula na pilha. Esta abordagem de "profundidade-como-tempo" permite que a rede funcione como um bloco de alimentação direta (feed-forward) com semântica de tempo contínuo.
• Implementação: A implementação é uma substituição direta (drop-in replacement) para o módulo de deformação do D-3DGS. Os autores utilizam uma largura de backbone de 64, tamanho oculto de 128 e 6 células CfC (configuração padrão), correspondendo aos esquemas de codificação posicional do D-3DGS original.

Principais Contribuições

1. Campo de Deformação Líquido: A introdução de um campo de deformação para o D-3DGS construído a partir de uma pilha de células CfC que expõe uma atualização de tempo explicitamente controlada por portão sobre o tempo do frame $t$. Este design mantém exatamente o mesmo perfil de custo de inferência de um MLP padrão de alimentação direta.
2. Avaliação Empírica: Testes abrangentes em oito cenas sintéticas D-NeRF e sete cenas do mundo real NeRF-DS. O estudo reporta PSNR, SSIM, LPIPS, contagem de parâmetros e MACs (operações de Multiplicação-Acumulação), demonstrando que o campo líquido iguala ou supera o baseline do MLP.
3. Posicionamento Arquitetural: Uma delineação clara de onde o CfC se encaixa no espectro de métodos de tempo contínuo. O artigo posiciona o CfC como o "lado barato" do espectro: ele oferece semântica de tempo contínuo e robustez a jitter sem o penalidade computacional de solvers ODE/SDE exigidos por métodos como o ODE-GS.

Resultos

• Cenas Sintéticas (D-NeRF): O campo de deformação líquido iguala ou supera o baseline do MLP do D-3DGS retreinado em 6 de 8 cenas. O PSNR médio agregado é quase idêntico (38,25 dB para CfC vs. 38,26 dB para MLP). Os ganhos mais significativos foram observados em cenas com movimento articulado de alta frequência (ex: Hook +1,49 dB, Hell Warrior +0,82 dB), onde a não-linearidade de portão temporal atua como um prior de suavidade implícito.
• Cenas do Mundo Real (NeRF-DS): Em sete cenas do mundo real dominadas por ruído de pose, a abordagem CfC superou o baseline MLP em todas as métricas médias (PSPSNR: 23,86 dB vs. 23,39 dB; SSIM: 0,8491 vs. 0,8403; LPIPS: 0,1891 vs. 0,2011). A maior melhoria ocorreu na cena As, que apresenta movimento especular pesado, onde o método CfC alcançou um ganho de +2,74 dB de PSNR.
• Eficiência Computacional: Quando configurado com profundidade e largura correspondentes ao MLP baseline ($D=8, W=256$), a pilha CfC incorreu em um overhead de aproximadamente 50% em parâmetros e MACs. No entanto, a configuração padrão dos autores ($D=6, W=128$) na verdade reduziu a pegada computacional para 36% abaixo do baseline MLP enquanto mantinha qualidade superior ou comparável.
• Ablação: Experimentos na cena Hell Warrior confirmaram que a arquitetura da célula CfC supera o backbone MLP padrão. A profundidade ótima foi encontrada como $D=6$, e a ativação GELU produziu os melhores resultados, sugerindo que backbones suaves e ilimitados se compõem melhor com a não-linearidade ao nível da célula.

Significância e Alegações
O artigo afirma apresentar um "design arquitetural de quase zero de fricção" que transforma o campo de deformação MLP discreto do D-3DGS em uma função explícita de tempo contínuo de $t$. A significância reside em alcançar semântica de tempo contínuo e robustez a supervisão ruidosa (como desvio de pose e desfoque de movimento) sem o fardo computacional de solvers numéricos.

Os autores enquadram modestamente sua contribuição como uma melhoria arquitetural, em vez de uma mudança fundamental no paradigma de reconstrução. Eles reconhecem que a abordagem de "profundidade-como-tempo" não utiliza a memória temporal de longo horizonte típica das LNNs recorrentes, pois o conjunto por-Gaussian é não estacionário. Consequentemente, a garantia de continuidade é derivada unicamente da não-linearidade de portão temporal. O artigo conclui que, embora métodos baseados em ODE/SDE possam ainda ser superiores para extrapolação ou dados fortemente corrompidos, a abordagem CfC oferece a escolha mais econômica para o regime de interpolação padrão em reconstrução de cenas 3D dinâmicas, permitindo que praticantes adotem priors de tempo contínuo de forma incremental.