💻 computer science

LagrangeGS: Non-Conservative Lagrangian System on Dynamic 3D Gaussian Splatting

LagrangeGS introduce un marco lagrangiano no conservativo para el Gaussian Splatting 3D dinámico que resuelve problemas de inconsistencia física, irreversibilidad y colapso geométrico mediante la aproximación de la matriz identidad, restricciones de fuerza independientes del tiempo y alineación rígida local, permitiendo así una extrapolación estable a largo plazo y edición contrafáctica basada en la física.

Autores originales: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shogo Sato, Takuhiro Kaneko, Shoichiro Takeda, Tomoyasu Shimada, Riku Inoue, Kazuhiko Murasaki, Ryuichi Tanida

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar capturar una escena en movimiento, como un ventilador girando o una pelota cayendo, no solo como un video plano, sino como un mundo tridimensional en el que puedas caminar por dentro. Durante años, los científicos han desarrollado formas de construir estos mundos digitales a partir de fotos, creando escenas estáticas que se ven increíblemente reales. Más recientemente, aprendieron a hacer que estos mundos se muevan, permitiendo que una cámara vuele a través de un video de una habitación bulliciosa o un objeto que gira. Sin embargo, estos mundos digitales en movimiento tienen una debilidad importante: son esencialmente trucos ingeniosos que memorizan lo que sucedió en el video. Si le pides a la computadora que muestre lo que sucede un segundo después de que el video termina, o que rebobine el video para mostrar lo que pasó antes de que comenzara, el mundo digital suele desmoronarse. Los objetos podrían estirarse en formas extrañas, desaparecer o moverse de maneras que desafían las leyes de la física, porque la computadora nunca aprendió realmente cómo funcionan la gravedad o el impulso; solo aprendió cómo cambiaban los píxeles.

Un equipo de investigadores de NTT en Japón ha introducido un nuevo enfoque llamado LagrangeGS que soluciona esto enseñando al mundo digital a obedecer las reglas de la física. En lugar de solo observar cómo cambia la escena, su sistema describe el movimiento utilizando un marco fundamental conocido como mecánica lagrangiana. En términos simples, este marco trata cada parte móvil de la escena como un objeto físico con masa, energía y fuerzas actuando sobre él. Al hacer esto, la computadora no solo adivina qué sigue; calcula el futuro basándose en cómo se almacena la energía y cómo las fuerzas empujan y tiran. Esto permite que el sistema prediga cómo se verá una escena mucho tiempo después, rebobine el tiempo para ver el pasado, o incluso cambie las reglas de la escena, como hacer que la gravedad sea más débil, sin necesidad de ser reentrenado con nuevos datos.

Los investigadores construyeron su sistema sobre una tecnología que representa una escena como millones de diminutas, coloridas y difusas esferas llamadas partículas Gaussianas. En métodos anteriores, estas partículas se permitían derivar y deformarse libremente para coincidir con el video, lo cual funcionaba bien para el tiempo en que se grabó el video, pero fallaba estrepitosamente cuando el sistema intentaba adivinar qué sucedía después. El nuevo método obliga a estas partículas a comportarse como un sistema físico. Para hacer esto posible con millones de partículas, el equipo simplificó la compleja matemática que usualmente se requiere para calcular cómo interactúan estas partículas. Trataron cada partícula como si tuviera el mismo peso simple y se moviera de forma independiente, lo que eliminó una barrja computacional masiva. También se aseguraron de que las fuerzas que actúan sobre las partículas no cambiaran arbitrariamente con el tiempo, un requisito clave que permite que el sistema funcione hacia atrás en el tiempo tan fácilmente como funciona hacia adelante.

Para evitar que los objetos digitales se desmoronen, los investigadores añadieron una restricción ingeniosa que mantiene a grupos de partículas moviéndose juntas como si fueran partes rígidas de un objeto sólido, como las aspas de un ventilador o el cuerpo de una pelota. Esto evita que las partículas se dispersen en una nube de ruido cuando el sistema intenta simular el tiempo mucho más allá del video original. Cuando probaron este nuevo sistema en escenas que presentaban un ventilador girando y una pelota cayendo, los resultados fueron impactantes. Mientras que los métodos anteriores convertían rápidamente el ventilador giratorio en un desastre borroso o hacían que la pelota que caía explotara en una gigante nube de píxeles, el nuevo sistema mantuvo las formas intactas y el movimiento fluido, incluso prediciendo pasos de tiempo tres veces más largos que el video original.

Una de las demostraciones más convincentes de este trabajo es la capacidad de revertir el tiempo. Debido a que el sistema está construido sobre leyes físicas que no se preocupan por hacia qué dirección fluye el tiempo, los investigadores pudieron simplemente decirle a la computadora que ejecutara la simulación hacia atrás. El resultado fue un rebobinado perfecto de la escena, donde la pelota rodó de regreso a su altura inicial y el ventilador giró en reversa, con las partículas regresando exactamente a sus posiciones originales. Esto es algo que los sistemas previos no podían hacer; simplemente fallarían o producirían un desorden confuso cuando se les pedía ir hacia atrás. Los investigadores también demostraron que podían editar la física de la escena sobre la marcha. Al ajustar un solo parámetro, podían hacer que la pelota cayera mucho más lento, como si estuviera en la luna, o mucho más rápido, como si la gravedad fuera más fuerte. Hicieron esto no mediante el reentrenamiento del modelo, sino simplemente cambiando los números que definen las fuerzas en la simulación.

El estudio confirma que, al fundamentar estas representaciones digitales en las leyes reales de la física, es posible crear mundos 3D dinámicos que son estables, reversibles y editables. Los investigadores encontraron que, aunque su método a veces producía imágenes ligeramente menos nítidas que los métodos puramente visuales más avanzados en escenas interiores muy específicas, eliminó por completo el colapso geométrico que afectaba a otros sistemas durante simulaciones largas. También señalaron que su enfoque actual funciona mejor cuando los objetos en la escena no chocan entre sí o colisionan de formas complejas, ya que el sistema trata a las partículas como si se movieran independientemente. A pesar de esta limitación, el trabajo marca un paso significativo hacia adelante, transformando las escenas 3D dinámicas de grabaciones visuales estáticas en modelos físicos vivos que pueden ser explorados, revertidos y manipulados con la misma lógica que usamos para entender el mundo real.

Resumen Técnico: LagrangeGS

Planteamiento del Problema
El Gaussian Splatting 3D (3DGS) dinámico ha logrado una reconstrucción fotorrealista de escenas que varían en el tiempo, sin embargo, las extensiones actuales con conciencia física sufren limitaciones fundamentales. Aunque los métodos recientes predicen campos de velocidad o aceleración para permitir la extrapolación, estos simplemente ajustan campos vectoriales a deformaciones visuales sin satisfacer la mecánica lagrangiana. Esta falta de fundamentación física conduce a tres problemas críticos:

Trayectorias físicamente inconsistentes: El movimiento no se adhiere a las leyes de conservación o a los principios de energía.
Falta de reversibilidad temporal: Los sistemas no pueden reconstruir consistentemente estados pasados a partir de observaciones actuales.
Colapso geométrico: La extrapolación a largo plazo suele resultar en una divergencia de volumen sin límites o en una neblina indistinta.

Además, aplicar redes neuronales lagrangianas generalizadas (G-LNNs) estándar directamente al 3DGS dinámico es computacionalmente intratable. Requiere la inversión de una matriz Hessiana de velocidad masiva ( $\partial^2 L / \partial \dot{q}^2$ ) para millones de partículas gaussianas en cada paso de integración. Adicionalmente, las G-LNNs estándar suelen emplear fuerzas dependientes del tiempo, lo que matemáticamente imposibilita la reversión exacta del tiempo.

Metodología
Los autores proponen LagrangeGS, un marco que formula el 3DGS dinámico como un sistema lagrangiano no conservativo parametrizado por la energía potencial ( $U$ ), la velocidad inicial ( $v_0$ ) y las fuerzas no conservativas ( $Q$ ). La arquitectura consta de tres componentes principales:

LNN Desacoplada Independiente del Tiempo (TD-LNN):
Para resolver el cuello de botella computacional de la inversión de la Hessiana, el método aproxima la Hessiana de velocidad como una matriz identidad. Esto es físicamente equivalente a asignar una masa unitaria uniforme a todas las partículas gaussianas y desacoplar su dinámica inercial. La energía cinética se simplifica a $T(\dot{q}) = \frac{1}{2}\|\dot{q}\|^2$ .
Para permitir la reversión del tiempo, la fuerza no conservativa se restringe para que sea explícitamente independiente del tiempo, $F(q, \dot{q}, t) = Q(q, \dot{q})$ . Esto permite que el sistema se integre hacia atrás en el tiempo utilizando un paso de tiempo negativo, asegurando la buena formulación matemática para la recuperación de estados. La aceleración resultante para cada partícula $j$ es una solución de forma cerrada:
$\ddot{q} = -\nabla_q U(q) + Q(q, \dot{q})$
Tanto $U$ como $Q$ están parametrizados por Perceptrones de Capas Múltiples (MLPs).
Alineación Rígida Local (LRA):
Para abordar el colapso geométrico causado por la dinámica de partículas desacopladas, el método introduce un paso de regularización. Para cada partícula, se define un soporte rígido local utilizando sus $k$ vecinos más cercanos en el estado inicial. Durante el despliegue (rollout), las posiciones candidatas predichas por la TD-LNN se alinean con un movimiento rígido local de este soporte utilizando un resolvedor de Kabsch diferenciable. Esto vincula las partículas en estructuras localmente rígidas mientras permite deformaciones continuas globales.
Optimización de Tres Etapas:

Etapa 1 (Destilación de Trayectorias): La TD-LNN se entrena para minimizar el Error Cuadrático Medio (MSE) entre sus trayectorias integradas y las trayectorias extraídas de un modelo de 3DGS dinámico pre-entrenado (por ejemplo, DefGS o FreeGave). Un término de penalización fomenta que la dinámica sea conservativa siempre que sea posible.
Etapa 2 (Ajuste Fino de la TD-LNN): El modelo se ajusta finamente utilizando una pérdida fotométrica (SSIM y $L_1$ ) sobre las imágenes renderizadas. Los gradientes fluyen a través del alineamiento de Kabsch diferenciable hacia los parámetros de la TD-LNN, permitiendo que el modelo escape al sobreajuste de las trayectorias de origen.
Etapa 3 (Ajuste Fino de los Parámetros Gaussianos): Los parámetros físicos se congelan y los parámetros gaussianos iniciales (posición, rotación, escala, opacidad, color) se refinan para absorber errores visuales residuales.

Contribuciones Clave

Formulación Lagrangiana: El primer marco que formula explícitamente el 3DGS dinámico como un sistema lagrangiano no conservativo, resolviendo fundamentalmente las trayectorias físicamente inconsistentes y definiendo una base teórica para la manipulación física.
Arquitectura TD-LNN: Una novedosa arquitectura neuronal que aproxima la Hessiana de velocidad como una matriz identidad para la tratabilidad computacional y emplea fuerzas independientes del tiempo para permitir una reversión del tiempo consistente.
Alineación Rígida Local (LRA): Un mecanismo que evita el colapso geométrico durante la extrapolación a largo plazo al vincular las partículas desacopladas en estructuras localmente rígidas.
Manipulación Física: La capacidad de realizar edición contrafáctica basada en la física (por ejemplo, escalar la gravedad o la velocidad inicial) y reversión del tiempo durante la inferencia sin reentrenamiento.

Resultados
Se realizaron experimentos en los entornos de referencia Dynamic Object y Dynamic Indoor Scene, comparando LagrangeGS contra métodos basados en deformación (T-NeRF, DefGS) y bases de comparación con conciencia física (NVFi, TRACE, FreeGave).

Extrapolación: LagrangeGS demuestra una extrapolación estable a largo plazo. Mientras que DefGS sufre de un movimiento antinatural y FreeGave exhibe deriva geométrica y divergencia de volumen, LagrangeGS mantiene un movimiento físicamente consistente y suave. Cuantitativamente, LagrangeGS mejora el PSNR en +5.05 en el conjunto de datos Dynamic Object al destilar desde DefGS. Al destilar desde FreeGave, muestra una caída marginal en las métricas fotométricas pero mejora significativamente la estabilidad geométrica (evitando la expansión de volumen de 1.9 $\times$ a 1.1 $\times$ ).
Reversión del Tiempo: El sistema recupera con éxito los estados pasados ( $t < 0$ ) con alta consistencia. Una prueba de ciclo hacia adelante-atrás mostró un error de posición medio de solo 1.3% (Dynamic Object) y 0.19% (Dynamic Indoor Scene).
Edición Contrafáctica: El marco permite la manipulación explícita de parámetros físicos. Escalar el campo potencial aprendido ( $U$ ) resulta en cambios predecibles en el tiempo de caída que coinciden estrechamente con la relación teórica $t \propto \beta^{-0.5}$ ( $R=0.999$ ).
Ablación: Eliminar LRA conduce al colapso geométrico en los despliegues a largo plazo. Eliminar la fuerza no conservativa $Q$ degrada el rendimiento en escenas con movimiento no conservativo (Dynamic Object) pero mejora ligeramente las puntuaciones en escenas estrictamente conservativas (Indoor), confirmando la adaptabilidad del modelo.

Significancia
El artículo afirma que LagrangeGS establece una formulación explícita de escenas dinámicas como sistemas lagrangianos, cerrando la brecha entre la fidelidad visual y la plausibilidad física en 3DGS. Al resolver la intratabilidad computacional de las LNN estándar y forzar la independencia del tiempo, el trabajo permite la extrapolación estable a largo plazo, la reversión del tiempo consistente y la edición física interpretable. Esto allana el camino para el modelado y la manipulación física fundamentada, que son críticos para aplicaciones posteriores como la planificación de movimiento robótico y la IA con agentes corporizados (embodied AI). Los autores señalan limitaciones, incluyendo la dependencia de trayectorias cinemáticas pre-entrenadas para la inicialización y la suposición de dinámicas desacopladas, que podrían no capturar colisiones complejas, sugiriendo estas como direcciones para trabajos futuros.

Más como este