Resumen Técnico: MVFusion-GS

1. Planteamiento del Problema

Extender el Splatting de Gaussianas 3D (3DGS) a escenas dinámicas mediante campos de deformación es central para dos tareas: la reconstrucción de escenas dinámicas (modelado fiel del movimiento en primer plano) y la reconstrucción libre de distractores (recuperación de un fondo estático limpio mediante la eliminación de objetos transitorios). Aunque los marcos desacoplados como DeGauss separan las escenas en ramas estáticas y dinámicas, sufren una limitación crítica: la falta de conciencia explícita del movimiento.

Las redes de deformación estándar codifican características latentes a través de rejillas espacio-temporales sin modelar explícitamente los patrones de movimiento de las Gaussianas individuales o su contexto temporal. En consecuencia, estas redes suelen fallar al capturar movimientos de baja amplitud o transitorios. Esto conduce a residuos "pseudo-estáticos", donde elementos dinámicos del primer plano son clasificados incorrectamente como estáticos y dejados en la rama del fondo. Esta contaminación degrada la calidad del fondo estático reconstruido y resulta en una deformación inexacta del primer plano.

2. Metodología: MVFusion-GS

Los autores proponen MVFusion-GS, un marco de refinamiento tipo plug-in que mejora las redes de deformación existentes con dos mecanismos complementarios de conciencia de movimiento. El método trata la red de deformación base como un predictor grueso y añade una etapa de refinamiento ligera que opera puramente en el espacio de características, sin requerir modificaciones en los cabezales de deformación originales.

La deformación total se formula como:
$$\Delta \mathcal{G}_d(t) = \Delta \mathcal{G}_d^{\text{base}}(t) + \Delta \mathcal{G}_d^{\text{MR}}(t)$$
donde el término de refinamiento $\Delta \mathcal{G}_d^{\text{MR}}(t)$ se predice a partir de un vector de características fusionadas que combina las características base con dos nuevos módulos de conciencia de movimiento.

A. Refinamiento Guiado por la Varianza del Movimiento (MVG)

Este módulo aborda la falta de pistas de movimiento global agregando estadísticas de deformación por cada Gaussiana a lo largo del tiempo.

• Firma de Trayectoria Global: Periódicamente, el sistema muestrea trayectorias de deformación para cada Gaussiana a través de múltiples pasos de tiempo. Calcula estadísticas (media y varianza) para el desplazamiento de posición, la magnitud de rotación y las variaciones de escala (tanto isotrópicas como anisotrópicas). Estas se agregan en una firma de trayectoria global de 13D ($v_i$) que sirve como un prior de intensidad de movimiento a largo plazo.
• Diccionario de Varianza Local: Para capturar variaciones a corto plazo, un diccionario ligero almacena en caché la varianza del movimiento local dentro de una ventana temporal deslizante. Esto proporciona una puntuación de intensidad de movimiento instantánea ($e_i(t)$) para cualquier tiempo de consulta mediante interpolación.
• Inyección: Estas firmas se codifican en el espacio de características de deformación a través de un MLP ligero, proporcionando a la red priors explícitos para distinguir Gaussianas estáticas de verdaderos elementos en movimiento.

B. Atención Temporal de MotionFormer (MFTA)

Mientras que MVG proporciona estadísticas globales, carece de interacciones temporales de corto plazo. MFTA aborda esto modelando dependencias temporales locales.

• Construcción de Características Temporales: Para una Gaussiana en el tiempo $t_i$, el módulo construye un vecindario temporal que incluye $t_{i-w}, t_i, t_{i+w}$. Forma tokens utilizando la característica de deformación, la deformación predicha y la intensidad de movimiento local.
• Atención Cruzada: Un mecanismo de atención cruzada basado en Transformer agrega información de los pasos de tiempo vecinos, permitiendo que la red aproveche el contexto temporal local para predicciones de deformación más consistentes.
• Inyección: La característica de movimiento temporal resultante se fusiona con las características base y de MVG antes de ser decodificada por los cabezales de deformación.

Estrategia de Entrenamiento

El entrenamiento procede en tres etapas:

1. Geometría Base: Optimización de la geometría estática con la deformación desactivada.
2. Deformación Base: Activación de la red de deformación base para aprender transformaciones fundamentales.
3. Refinamiento de Conciencia de Movimiento: Activación de las ramas completas de MVG y MFTA, entrenadas de extremo a extremo con pesos inicializados en cero para refinar las actualizaciones de deformación.

3. Contribuciones Clave

El artículo identifica tres contribuciones primarias:

1. Un Módulo Plug-in de Doble Tarea: Un marco que mejora la conciencia de movimiento de la red de deformación, produciendo mejoras consistentes tanto en la reconstrucción de escenas dinámicas como en la reconstrucción libre de distractores.
2. Refinamiento Guiado por la Varianza del Movimiento (MVG): Un mecanismo que agrega estadísticas de trayectoria global en un prior explícito de intensidad de movimiento, facilitando una separación más precisa entre lo dinámico y lo estático.
3. Atención Temporal de MotionFormer (MFTA): Un módulo basado en Transformer que aprovecha la atención cruzada para modelar dependencias de movimiento trans-temporales, mejorando tanto la precisión de la deformación como la consistencia temporal.

4. Resultados Experimentales

El método fue evaluado en NeRF On-the-Go (libre de distractores), RobustNeRF (libre de distractores con inconsistencias entre vistas) y Neu3D (reconstrucción de escena dinámica).

• Reconstrucción Libre de Distractores (NeRF On-the-Go): MVFusion-GS logró un rendimiento de estado del arte (SOTA) en todos los métricas promedio (PSNR, SSIM, LPIPS). Notablemente, alcanzó el LPIPS más bajo en las seis escenas probadas, indicando una calidad perceptual superior. Los resultados cualitativos mostraron la eliminación de residuos pseudo-estáticos "fantasmales" (por ejemplo, siluetas de peatones borrosas) que persistían en el fondo de métodos base como DeGauss.
• Reconstrucción de Escenas Dinámicas (Neu3D): El método logró el mejor PSNR medio y LPIPS. En regiones dinámicas, superó a métodos SOTA como SpaceTimeGS y ST-4DGS, preservando detalles estructurales más nítidos en áreas altamente dinámicas (por ejemplo, llamas, objetos en rápido movimiento) donde los competidores exhibieron desenfoque de movimiento (motion blur).
• Estudios de Ablación: Eliminar MVG o MFTA resultó en caídas de rendimiento, confirmando que tanto las estadísticas de movimiento a largo plazo como el contexto temporal a corto plazo son necesarios. El modelo completo superó a las variantes que utilizaban solo varianza posicional o auto-atención, validando el diseño específico de la firma global y los mecanismos de atención cruzada.

5. Significado y Reivindicaciones

El artículo sostiene que la conciencia explícita del movimiento es la clave para mejorar tanto el modelado del movimiento en primer plano como la reconstrucción del fondo estático. Al reatribuir correctamente las Gaussianas pseudo-estáticas a la rama dinámica, el método ofrece beneficios duales:

1. Fondos más Limpios: Esencial para la reconstrucción libre de distractores, eliminando artefactos causados por elementos dinámicos mal clasificados.
2. Detalles de Primer Plano más Finos: Esencial para la reconstrucción dinámica, capturando movimientos sutiles y transitorios que las redes de deformación estándar omiten.

Los autores mantienen una postura modesta en su conclusión, reconociendo que el método aún depende de que el campo de deformación base proporcione pistas de movimiento iniciales fiables. Señalan que en casos de oclusión severa o evidencia de movimiento extremadamente débil, donde la deformación inicial no se ajusta adecuadamente, pueden persistir artefactos residuales, lo que apunta a la necesidad de un trabajo futuro sobre la reasignación robusta de la conciencia de movimiento.