Grow with the Flow: 4D Reconstruction of Growing Plants with Gaussian Flow Fields

Resumen Técnico: GrowFlow

1. El Problema

La modelación del crecimiento de plantas en 3D a lo largo del tiempo presenta desafíos únicos que las representaciones de escenas dinámicas existentes no pueden abordar adecuadamente:

• Generación continua de geometría: A diferencia de escenas dinámicas rígidas o deformables estándar, las plantas generan continuamente nueva geometría (nuevas hojas, ramas) y cambian su topología.
• Falta de correspondencia temporal: Los métodos actuales basados en campos de deformación (deformation fields) a menudo carecen de restricciones físicas, permitiendo mapeos geométricamente implausibles. Por otro lado, los enfoques de "4D Gaussian Splatting" (4DGS) suelen tratar cada instante de tiempo de forma independiente, descartando la geometría antigua e introduciendo nueva sin mantener una correspondencia temporal coherente entre los primitivos.
• Inconsistencia en el seguimiento: Para la fenotipado de plantas y la investigación biológica, es crucial rastrear el desarrollo de estructuras individuales (como una hoja específica) a lo largo del tiempo, algo que los métodos anteriores no garantizan.

2. Metodología: GrowFlow

Los autores proponen GrowFlow, una nueva representación dinámica que combina Primitivas Gaussianas 3D (3DGS) con Ecuaciones Diferenciales Ordinarias Neuronales (Neural ODEs) para modelar el crecimiento como un campo de flujo continuo.

Conceptos Clave:

• Modelado como Sistema Dinámico Continuo: En lugar de deformar una plantilla canónica o optimizar Gaussians independientes por fotograma, GrowFlow modela el crecimiento como una trayectoria suave en el espacio-tiempo gobernada por un campo vectorial subyacente.
• Formulación de Crecimiento Inverso (Reverse-Growth):
  • El desafío: Añadir nuevas partículas Gaussianas durante el crecimiento es un proceso no diferenciable y difícil de optimizar.
  • La solución: El método reconstruye primero la planta en su estado maduro ($t=T$) y luego aprende un proceso de "encogimiento" o crecimiento inverso hacia el estado inicial ($t=0$).
  • Mecanismo: Se asume que toda la materia necesaria ya está presente en $T$. El modelo aprende un campo de velocidad que hace que las primitivas Gaussianas se reduzcan de escala, se oculten o desaparezcan suavemente a medida que se retrocede en el tiempo.
  • Ventaja: Esto evita cambios topológicos discretos, permitiendo una optimización basada en gradientes end-to-end. Al invertir el flujo aprendido, se recupera una trayectoria de crecimiento realista y coherente.
• Representación de Primitivas:
  • Cada Gaussiana $i$ en el tiempo $t$ se define por parámetros geométricos variables en el tiempo: centro $\mu(t)$, rotación $q(t)$ y escala $s(t)$.
  • Los parámetros de apariencia (color $c$ y opacidad $o$) se mantienen fijos (asumiendo iluminación controlada), aunque el marco teórico permite extenderlo a apariencia variable.
• Campo de Velocidad Integrado en el Tiempo:
  • Se utiliza una Neural ODE para definir el campo de velocidad $F_\phi$ que gobierna la evolución de los parámetros geométricos.
  • La trayectoria se obtiene integrando la velocidad: $\theta_i(t_1) = \theta_i(t_0) + \int_{t_0}^{t_1} F_\phi(\theta_i(\tau), \tau) d\tau$.
  • Arquitectura: El campo de velocidad se modela utilizando un codificador HexPlane (para capturar variaciones espaciotemporales eficientes) seguido de decodificadores MLP que predicen las velocidades para posición, rotación y escala.
• Estrategia de Entrenamiento:
  1. Reconstrucción Estática: Se optimiza un modelo 3DGS estático en la planta madura ($t=T$).
  2. Reconstrucción de Fronteras (Boundary Reconstruction): Para evitar errores numéricos acumulados en la integración de ODEs a largo plazo, se entrena progresivamente desde $T$ hacia atrás en pasos discretos, guardando estados intermedios como condiciones de frontera.
  3. Optimización Global: Una vez obtenidos los estados frontera, se realiza una optimización global aleatorizando la integración entre pasos de tiempo para refinar la consistencia temporal en todo el dominio.

3. Contribuciones Clave

1. GrowFlow: La primera representación dinámica que acopla 3DGS con Neural ODEs para modelar el crecimiento no rígido y continuo de plantas, garantizando correspondencias temporales completas para cada primitiva.
2. Formulación de Crecimiento Inverso: Un enfoque novedoso que elude los cambios topológicos no diferenciables, permitiendo el entrenamiento end-to-end de una representación de escena que evoluciona continuamente.
3. Nuevo Dataset: Creación y publicación del primer conjunto de datos de timelapse multivista de plantas reales en crecimiento, que incluye tres especies (flor en floración, maíz y narciso) capturadas con un sistema de cámara única calibrada sobre una mesa giratoria.

4. Resultados y Evaluación

Los autores evaluaron GrowFlow en un dataset sintético (simulado en Blender) y en el dataset capturado real, comparándolo con el estado del arte (Dynamic 3DGS, 4D-GS, 4DGS).

• Calidad Geométrica (Chamfer Distance): GrowFlow supera significativamente a los métodos baselines. Mientras que otros métodos muestran "deriva geométrica" (las primitivas se separan de la superficie de la planta o flotan en el espacio) y pierden coherencia temporal, GrowFlow mantiene las primitivas ancladas a la estructura real de la planta a lo largo del tiempo.
• Síntesis de Nuevas Vistas y Tiempos:
  • En interpolación temporal (fotogramas no vistos durante el entrenamiento), GrowFlow produce trayectorias suaves y físicamente plausibles.
  • Los métodos baselines a menudo fallan en la interpolación, mostrando oscilaciones entre crecimiento y encogimiento o simplemente oscureciendo las primitivas para minimizar la pérdida fotométrica.
• Métricas Cuantitativas:
  • En datos sintéticos, GrowFlow logra un PSNR de 35.02 dB y una distancia de Chamfer de 0.11, superando ampliamente a 4D-GS (PSNR 32.81, CD 0.77) y Dynamic 3DGS.
  • En datos reales, aunque la métrica PSNR en fotogramas de entrenamiento es ligeramente inferior a algunos baselines (debido a la regularización de la ODE), la calidad de interpolación y la coherencia geométrica son superiores.
• Estudios de Ablación: Se demostró que el uso de HexPlane es crucial para la estabilidad temporal y la calidad de imagen, y que la etapa de reconstrucción de fronteras es esencial para evitar el colapso de la geometría y los errores de integración a largo plazo.

5. Significado y Limitaciones

• Impacto Científico: GrowFlow proporciona la primera representación temporalmente coherente para el modelado de apariencia de estructuras 3D en crecimiento. Esto es fundamental para la fenotipado automatizado, permitiendo rastrear métricas morfológicas (longitud de tallo, área foliar) a lo largo del tiempo.
• Limitaciones: El método asume un crecimiento monótono (la estructura solo se acumula, no se pierde). No maneja fenómenos como la senescencia de hojas, la caída de pétalos o la poda.
• Futuro: Los autores sugieren que este trabajo es un punto de partida para abordar cambios topológicos no monótonos y extender el marco a otros objetos dinámicos que emergen con el tiempo (cristales, embriones, formaciones geológicas).

En resumen, GrowFlow representa un avance significativo al tratar el crecimiento biológico no como una secuencia de deformaciones discretas, sino como un flujo continuo gobernado por leyes físicas implícitas, logrando una reconstrucción 4D de alta fidelidad y coherencia temporal sin precedentes.