💻 computer science

Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-view Videos

Forge4D es un modelo de alimentación hacia adelante que permite la reconstrucción e interpolación eficiente e instantánea de humanos 3D dinámicos a partir de videos de vistas dispersas no calibradas mediante la optimización conjunta de la reconstrucción de Gaussianas 3D en streaming con la predicción de movimiento denso autosupervisada y la fusión consciente de oclusiones.

Autores originales: Yingdong Hu, Yisheng He, Jinnan Chen, Weihao Yuan, Kejie Qiu, Zehong Lin, Siyu Zhu, Zilong Dong, Steven Hoi, Jun Zhang

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yingdong Hu, Yisheng He, Jinnan Chen, Weihao Yuan, Kejie Qiu, Zehong Lin, Siyu Zhu, Zilong Dong, Steven Hoi, Jun Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar capturar a una persona moviéndose a través de una habitación y luego recrear instantáneamente ese movimiento desde cualquier ángulo, incluso uno que ninguna cámara haya visto, o en un momento en el tiempo que nunca fue registrado. Este es el sueño de la reconstrucción tetradimensional: construir un gemelo digital vivo y palpitante que exista no solo en el espacio, sino también en el tiempo. Durante años, lograr esto ha requerido o bien un estudio lleno de cámaras sincronizadas o horas de un procesamiento lento y pesado para la computadora que hace imposible la interacción en tiempo real. El objetivo siempre ha sido convertir unos pocos clips de video dispersos en un mundo 3D completo y fluido donde una persona pueda ser vista desde cualquier lugar, en cualquier momento, sin que el modelo digital se desmorone o parezca un desastre borroso.

Un equipo de investigadores ha dado ahora un paso significativo hacia la realización de este sueño con un nuevo sistema llamado Forge4D. En lugar de intentar resolver todo el problema de las formas 3D en movimiento de una sola vez, lo que a menudo conduce a confusión y errores, dividieron la tarea en dos trabajos más simples y conectados. Primero, el sistema construye un modelo 3D estático de la persona y su entorno a partir de unos pocos flujos de video no calibrados. Piensa en esto como la creación de una escultura de alta calidad y congelada de la escena. Segundo, el sistema predice exactamente cómo se mueve cada pequeña parte de esa escultura de un segundo al siguiente. Al separar la forma del movimiento, los investigadores encontraron una manera de hacer que el proceso fuera lo suficientemente rápido como para ser útil en tiempo real, incluso cuando las cámaras que graban la escena no están perfectamente alineadas o calibradas.

El núcleo de su descubrimiento reside en cómo manejan los datos. Los métodos anteriores a menudo intentaban procesar una secuencia de video completa a la vez, lo que sobrecargaba la memoria de la computadora y ralentizaba todo. Forge4D adopta un enfoque diferente al tratar el video como un flujo. Procesa los fotogramas uno tras otro, utilizando una herramienta de memoria especial para recordar lo que sucedió en los momentos anteriores sin necesidad de recargar toda la historia. Esto permite que el sistema mantenga una sensación consistente de escala y posición a medida que la persona se mueve, asegurando que el modelo digital no se encoja, crezca o se desvíe a medida que el video se reproduce. Es un método que mantiene la reconstrucción estable y eficiente, incluso cuando los datos de entrada son escasos e imperfectos.

Una vez que el sistema tiene un modelo 3D estable, se enfrenta al desafío de predecir el movimiento. Dado que no existe un mapa perfecto de cómo se mueve cada punto del cuerpo de una persona en el mundo real para usarlo como maestro, los investigadores inventaron una nueva forma de enseñar a la computadora. Le pidieron al sistema que adivinara el movimiento, luego intentaron deformar el modelo 3D hacia adelante en el tiempo basándose en esa suposición. Si el modelo deformado se parecía al siguiente fotograma real del video, la suposición era buena. Si se veía mal, el sistema ajustaba su comprensión del movimiento. Este bucle de autocorrección, combinado con una verificación de cómo suelen comportarse la luz y la sombra, permitió que la computadora aprendiera la compleja danza del movimiento humano sin necesidad de un guion preescrito. También desarrolló una forma de manejar las partes del cuerpo que están ocultas a la vista, asegurando que el modelo digital permanezca sólido y no parpadee o tenga fallos cuando una persona se gira o un objeto bloquea la vista.

Los resultados de este enfoque son sorprendentes. Cuando se probó en varios conjuntos de datos, incluyendo escenas complejas con personas interactuando con objetos, el sistema produjo imágenes más nítidas y realistas que las generadas por métodos anteriores. Podía crear nuevas vistas de una escena desde ángulos que nunca fueron filmados, y podía generar movimientos suaves y de aspecto natural para momentos en el tiempo que nunca fueron capturados. En las pruebas, el sistema fue capaz de producir estas imágenes de alta calidad en menos de un cuarto de segundo por fotograma, una velocidad que abre la puerta a aplicaciones interactivas como la realidad virtual, la transmisión en vivo y la comunicación inmersiva. Los investigadores señalaron que, si bien el sistema funciona excepcionalmente bien para movimientos normales, puede tener dificultades si el movimiento es extremadamente rápido o si el intervalo de tiempo entre fotogramas es demasiado grande, lo que sugiere que el supuesto de un movimiento suave y continuo tiene sus límites.

En última instancia, este trabajo demuestra que es posible reconstruir escenas humanas dinámicas a partir de videos simples y no calibrados con una velocidad y calidad que antes estaban fuera de alcance. Al simplificar el problema en pasos manejables y enseñar a la computadora a aprender de sus propias predicciones, los investigadores han creado una herramienta que nos acerca a un futuro donde los avatares digitales puedan generarse instantáneamente e interactuar en tiempo real. El sistema no solo captura un momento; entiende el flujo del tiempo dentro de ese momento, permitiéndonos entrar en el video y mirar alrededor como si realmente estuviéramos allí.

Resumen Técnico: Forge4D

Planteamiento del Problema

El artículo aborda el desafío de la reconstrucción y la interpolación instantánea de humanos y objetos en 4D a partir de videos de vistas dispersas no calibradas. Esta capacidad es crítica para aplicaciones de uso descendente como la transmisión en vivo en tiempo real, la radiodifusión deportiva, la realidad aumentada/virtual (AR/VR) y la comunicación holográfica inmersiva.

Los métodos existentes enfrentan dos limitaciones principales:

Enfoques de Optimización Iterativa: Los métodos que dependen de la optimización de representaciones 4D sobre secuencias de vistas densas sufren de velocidades de reconstrucción lentas, requieren parámetros de cámara calibrados y no pueden generar representaciones de nuevos tiempos de manera eficiente.
Limitaciones de Propagación Directa (Feed-Forward): Aunque los modelos recientes de propagación directa (por ejemplo, VGGT, NoPoSplat) pueden reconstruir escenas 3D estáticas o nubes de puntos a partir de entradas no calibradas, son generalmente incapaces de manejar escenas dinámicas, sintetizar imágenes de nuevos tiempos o mantener la consistencia de escala métrica a través del tiempo.

La dificultad central radica en recuperar simultáneamente la geometría precisa de humanos y objetos y las trayectorias de movimiento densas a partir de entradas no poseídas y dispersas, manteniendo la interactividad en tiempo real.

Metodología: Forge4D

Los autores proponen Forge4D, el primer modelo de propagación directa capaz de realizar la reconstrucción e interpolación métrica de humanos y objetos en 4D a partir de videos de vistas dispersas no calibradas. El marco de trabajo descompone el complejo problema 4D en dos tareas secuenciales: reconstrucción de Gaussian Splatting 3D en streaming y predicción de movimiento denso. El flujo de entrenamiento consta de tres etapas:

Etapa 1: Reconstrucción de Gaussian Splatting 3D Estática de Propagación Directa

El modelo aprovecha un backbone preentrenado (VGGT) para recuperar la geometría y las poses de la cámara, pero lo adapta para predecir activos de 3D Gaussian Splatting (3DGS) en lugar de nubes de puntos para un renderizado fotorealista.

Alineación de Calibre Métrico: Un desafío fundamental es la discrepancia de escala entre la salida normalizada de VGGT y las escalas métricas del mundo real. Los autores introducen una regularización de calibre métrico ( $p_{gauge}$ ) que alinea el sistema de coordenadas interno del modelo con las extrínsecas de la cámara de la verdad de terreno. Esto se logra calculando la relación de las magnitudes de traslación entre las cámaras predichas y las de la verdad de terreno, asegurando una optimización estable y permitiendo mediciones métricas.
Funciones de Pérdida: El modelo es supervisado mediante una combinación de pérdidas fotométricas (L2, SSIM, LPIPS) en vistas originales y nuevas, y una pérdida de cámara integral que impone una rotación precisa, una dirección de traslación y una escala relativa consistente.

Etapa 2: Reconstrucción Dinámica en Streaming con Tokens de Estado

Para manejar flujos de video sin incurrir en errores de falta de memoria (OOM) o latencia excesiva por la atención global sobre todos los fotogramas:

Tokens de Estado: Los autores introducen tokens de estado aprendibles que codifican iterativamente la información de los fotogramas anteriores. Estos tokens actúan como Key (Llave) y Value (Valor) en un mecanismo de atención cruzada para el fotograma actual, mientras que el fotograma actual actualiza el token como Query (Consulta). Esto permite una propagación de la información temporal de manera eficiente y amigable con la memoria.
Consistencia Temporal: La regularización del calibre métrico se extiende a una forma temporal, asegurando una escala global y parámetros de cámara consistentes en toda la secuencia de video.

Etapa 3: Síntesis de Nuevos Timestamps mediante Predicción de Movimiento Denso

Para permitir la interpolación a timestamps intermedios arbitrarios, el modelo predice campos de movimiento densos para cada Gaussian 3D.

Predicción de Movimiento Denso: Un módulo dedicado predice un campo de movimiento dual (hacia atrás y hacia adelante) para cada Gaussian 3D entre fotogramas adyacentes.
Pérdida de Retargeting Autosupervisada: Dado que no se dispone de movimiento 3D denso de verdad de terreno, los autores formulan la predicción de movimiento como una tarea de emparejamiento de puntos 3D. Deforman los Gaussians 3D del fotograma actual al fotograma anterior utilizando el movimiento predicho y supervisan el resultado renderizado contra la imagen de verdad de terreno del fotograma anterior.
Pérdida de Flujo de Óptica Consciente de la Oclusión: Para regularizar aún más el movimiento y asegurar la plausibilidad física, se introduce una pérdida de flujo óptico. Esta utiliza flujos de verdad de terreno pseudo (de SEA-RAFT) y una máscara de consistencia cíclica para penalizar inconsistencias y manejar oclusiones.
Fusión de Gaussian para la Interpolación: Para la síntica de nuevos tiempos, los Gaussians 3D de dos fotogramas adyacentes se deforman al timestamp intermedio bajo una suposición de velocidad constante. Un MLP de fusión consciente de la oclusión fusiona estas representaciones deformadas, filtrando los puntos ocluidos y reduciendo la redundancia temporal para prevenir el parpadeo (flickering).

Contribuciones Clave

Primer Modelo 4D de Propagación Directa: Forge4D es el primer modelo que realiza la reconstrucción métrica 4D de humanos y objetos e interpolación de nuevos tiempos desde videos de vistas dispersas no calibradas en una sola pasada directa.
Arquitectura Descompuesta: El trabajo simplifica la reconstrucción 4D al desacoplarla en la predicación de 3DGS en streaming y la estimación de movimiento denso, estabilizada por un nuevo calibre métrico, retargeting y pérdidas de flujo conscientes de la oclusión.
Fusión Guiada por Movimiento: Se introduce un nuevo método de fusión de Gaussian para la interpolación 3D, mitigando eficazmente los artefactos de parpadeo y vibración causados por la redundancia temporal.

Resultados Experimentales

El modelo fue evaluado en los conjuntos de datos DNA-Rendering (en el dominio), Genebody (fuera del dominio) y SelfCap/VVC (en el mundo real).

Síntesis de Nuevas Vistas: Forge4D supera tanto a los métodos basados en optimización (ej. DualGS, D-3DGS) como a los modelos de propagación directa existentes (ej. NoPoSplat, AnySplat, GPS-Gaussian). En el conjunto de datos DNA-Rendering, alcanza un PSNR de 29.82 dB, superando al mejor método de propagación directa previo (GPS-Gaussian) por +2.90 dB.
Síntesis de Nuevos Tiempos: En tareas de interpolación 4D, Forge4D supera significativamente al modelo de propagación directa de vanguardia L4GM, logrando una ganancia de PSNR de hasta +12.57 dB en el conjunto de datos Genebody.
Escala Métrica: El modelo logra un error de distancia de puntos medio de 0.0264m frente a las mallas de verdad de terreno, superando a MoGe-2 (0.3309m).
Eficiencia: El modelo completo procesa un par de fotogramas en 224.27 ms. Con la interpolación, puede generar 10 fotogramas intermedios en 1.46 ms adicionales, lo que resulta en una tasa de fotogramas de salida efectiva de 44.42 FPS.

Significado y Limitaciones

El artículo afirma que Forge4D representa un paso significativo hacia adelante al permitir la reconstrucción 4D interactiva y en tiempo real sin necesidad de calibración de cámara u optimización iterativa. Cierra la brecha entre la reconstrucción estática de propagación directa y la comprensión de escenas dinámicas, ofreciendo síntesis de alta fidelidad de nuevas vistas y nuevos tiempos.

Los autores reconocen limitaciones: el rendimiento se degrada con movimientos grandes o intervalos entre fotogramas largos debido a la reducción de las correspondencias entre fotogramas y las violaciones de la suposición de velocidad constante. Se sugiere que el trabajo futuro se centre en mejorar el modelado de movimiento bajo desplazamientos extremos y en optimizar la eficiencia computacional.