💻 computer science

VolFill: Single-View Amodal 3D Scene Reconstruction with Volumetric Flow Matching

VolFill es un marco generativo que aprovecha un VAE 3D híbrido y un Transformer de difusión latente para reconstruir geometrías de escenas 3D completas, incluyendo estructuras ocultas, a partir de una única imagen RGB mediante el uso de modelos fundacionales de geometría y el ajuste de flujo volumétrico.

Autores originales: Tuan Duc Ngo, Chuang Gan, Evangelos Kalogerakis

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tuan Duc Ngo, Chuang Gan, Evangelos Kalogerakis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás mirando una habitación a través de un ojo de cerradura. Puedes ver el frente de un sofá, una mesa de centro y una lámpara. Pero no puedes ver la parte trasera del sofá, la pared detrás de la mesa, ni el suelo debajo de la lámpara. La mayoría de los programas informáticos que intentan "ver" esta habitación solo pueden dibujar lo que está directamente frente al ojo de la cerradura. Si intentan adivinar el resto, a menudo terminan dibujando puntos flotantes desordenados o dejando grandes huecos en la imagen.

VolFill es un nuevo programa informático diseñado para resolver este problema. No se limita a adivlar lo que está oculto; construye un modelo 3D completo y sólido de toda la habitación, incluyendo las partes que no puedes ver, a partir de una sola foto.

Así es como funciona, utilizando algunas analogías sencillas:

1. El Problema: La trampa del "Alineación con Píxeles"

Piensa en la mayoría de los escáneres 3D actuales como un pintor al que solo se le permite pintar en el lienzo donde incide la luz. Si miras una silla, pueden pintar las patas delanteras perfectamente, pero ¿las patas traseras? Simplemente las dejan en blanco o intentan adivinarlas, lo que suele resultar en una forma tambaleante y rota. Están atrapados en la "superficie visible" y no pueden imaginar el resto del objeto.

2. La Solución: El mapa de "Tinta Invisible" (TUDF)

En lugar de intentar adivinar puntos individuales (como una nube de polvo), VolFill piensa en la habitación como una gigantesca cuadrícula 3D de diminutos cubos, como un enorme bloque de gelatina.

El truco: Utiliza un tipo especial de mapa llamado TUDF. Imagina que este mapa es como un sensor de "distancia a la superficie". Cada uno de los cubos de la cuadrícula sabe exactamente qué tan lejos está de la pared, el suelo o el mueble más cercano.
Por qué ayuda: Incluso si una pared está oculta detrás de un sofá, los cubos que están detrás del sofá siguen sabiendo qué tan lejos están de esa pared oculta. Esto permite a la computadora "rellenar" las partes invisibles perfectamente, creando una forma sólida y continua en lugar de una nube dispersa de puntos.

3. El Motor: El "Compresor Inteligente" y el "Soñador"

Para que esto funcione, VolFill utiliza dos herramientas trabajando juntas:

El Compresor Inteligente (Hybrid 3D VAE):
Una cuadrícula 3D completa de una habitación entera es enorme y haría colapsar a una computadora. VolFill utiliza un "compresor" para encoger esta enorme cuadrícula en un resumen pequeño y compacto (un espacio latente).
- Analogía: Imagina tomar el plano detallado de una ciudad y doblarlo hasta que quepa en tu bolsillo, pero manteniendo todos los detalles importantes intactos para poder desplegarlo más tarde. Este compresor es lo suficientemente inteligente como para saber que el aire vacío no necesita mucho detalle, por lo que concentra su memoria en los muebles y las paredes.
El Soñador (Diffusion Transformer):
Una vez que la cuadrícula está comprimida, VolFill utiliza un "Soñador" para rellenar las partes faltantes.
- Analogía: Imagina que tienes el boceto de una habitación, pero la mitad de ella ha sido borrada. El Soñador es un artista que mira la parte visible y dice: "Bien, basándome en cómo suelen ser las habitaciones, la parte oculta debe verse así". No solo adivina al azar; sigue las "reglas" de cómo encajan los objetos 3D.

4. La Guía: El sistema de "Doble Verificación"

Para asegurarse de que el Soñador no alucine formas locas (como un techo flotante), VolFill utiliza una estrategia de Doble Condicionamiento. Actúa como un detective con dos fuentes de evidencia:

La Foto: Observa la "vibra" de alto nivel de la imagen (¿es una cocina? ¿un dormitorio?).
La Geometría Visible: Utiliza un "experto" preentrenado (llamado MoGe2) para obtener un mapa preciso de lo que sí es visible.
- Analogía: El Soñador es el artista, pero la "Geometría Visible" es un supervisor estricto que sostiene una regla. El supervisor dice: "Puedes imaginar la parte trasera oculta del sofá, pero debes asegurarte de que se conecte perfectamente con las patas delanteras que sí podemos ver". Esto mantiene las partes ocultas físicamente realistas.

5. El Resultado: Un Modelo Sólido y Limpio

Cuando VolFill termina su trabajo, no te entrega una nube de puntos desordenada. Debido a que utilizó el método del "mapa de distancia" (TUDF), puede convertir instantáneamente esa cuadrícula en una malla suave y sólida (como un objeto impreso en 3D).

Comparación: Otros métodos podrían darte un sofá que parece una bolsa de canicas (puntos ruidosos) o un sofá con una segunda capa fantasmal detrás (artefactos). VolFill te da un sofá limpio, nítido y sólido donde la parte trasera oculta es tan suave como la parte frontal.

En resumen: VolFill toma una sola foto, comprime el mundo en un resumen inteligente, utiliza un "soñador" de IA guiado por reglas geométricas estrictas para imaginar las partes ocultas, y luego lo despliega en una habitación 3D perfecta y sólida que incluye todo lo que no puedes ver.

Resumen Técnico: VolFill: Reconstrucción de Escenas 3D Amodal de Visión Única mediante el Emparejamiento de Flujo Volumétrico

1. Formulación del Problema

El artículo aborda el desafío de la reconstrucción de escenas 3D amodal a partir de una única imagen RGB. A diferencia de los métodos tradicionales alineados con píxeles que recuperan solo superficies visibles (por ejemplo, mapas de profundidad o mapas de puntos), el objetivo es predecir la geometría 3D completa dentro del frustum de visión observado, incluyendo las superficies ocluidas por objetos en primer plano.

Esta tarea es inherentemente mal planteada debido a la falta de evidencia visual para las estructuras ocultas. Los enfoques existentes enfrentan limitaciones significativas:

Los métodos alineados con píxeles (por ejemplo, MoGe2, DepthPro) están restringidos a superficies visibles y no pueden inferir regiones ocluidas.
Los métodos basados en optimización requieren capturas multivista densas y horas de computación por escena.
Los modelos generativos centrados en objetos tienen dificultades con escenas complejas y no acotadas.
Las líneas base amodales a nivel de escena (por ejemplo, LaRI, NOVA3R) a menudo producen mallas fragmentadas, artefactos de capas ("efecto de múltiples paredes") o nubes de puntos ruidosas y desintegradas debido a representaciones no estructuradas o restricciones de capa de rayo fijas.

2. Metodología

VolFill es un marco generativo que predice una rejilla de vóxeles de Función de Distancia No Firmada Truncada (TUDF) completa a partir de una sola imagen, en lugar de depender de la regresión determinista. La arquitectura consta de tres componentes principales:

A. Representación TUDF

La geometría de la escena se representa como un campo escalar continuo $V(p)$ , definido como la distancia a la superficie más cercana (incluyendo las ocluidas), truncada a un valor máximo $\tau$ .

Formulación No Firmada: Se utiliza una función de distancia no firmada porque las escenas interiores suelen no ser estancas (por ejemplo, paredes de una sola cara), lo que hace que las funciones de distancia con signo (SDF) sean geométricamente ambiguas.
Discretización Dinámica: El método emplea una estrategia de discretización alineada con el frustum que calcula un tamaño de vóxel isotrópico y dinámico basado en la caja delimitadora de la geometría visible, asegurando que la rejilla se concentre en la escena capturada inmediata.

B. VAE 3D Híbrido

Para cerrar la brecha entre las rejillas TUDF de alta resolución ( $256^3$ ) y el espacio latente requerido para el modelado generativo, se propone un VAE 3D Híbrido Esparso-Denso:

Codificador: Procesa entradas TUDF esparsas utilizando convoluciones 3D esparsas para comprimir la rejilla $16\times$ en un espacio latente denso y compacto ( $16^3 \times C$ ).
Decodificador: Utiliza un esquema de decodificación híbrido denso-a-esparso:
1. Upsampling Denso: Convoluciones transpuestas aumentan la resolución del latente a $64^3$ .
2. Predicción de Estructura: Una cabeza de ocupación binaria predice una máscara para esparcir el mapa de características, descartando las regiones vacías.
3. Upsampling Esparso: Convoluciones esparsas aumentan las características a la resolución final de $256^3$ .
Función de Pérdida: El VAE se entrena con una pérdida compuesta que incluye distancia L1 para vóxeles activos, pérdidas BCE y Dice para la ocupación, y divergencia KL para la regularización latente.

C. Transformador de Difusión Latente con Emparejamiento de Flujo

El núcleo generativo es un Transformador de Difusión (DiT) entrenado con un objetivo de emparejamiento de flujo rectificado. Aprende a transportar el ruido hacia la distribución de los latentes TUDF de la escena.

Estrategia de Doble Condicionamiento: Para asegurar una generalización robusta y plausibilidad física, el DiT está condicionado por dos fuentes:
1. Prerrequisitos Geométricos Globales: Características de un modelo fundacional de geometría congelado (MoGe2) se inyectan mediante atención cruzada para proporcionar contexto espacial de alto nivel.
2. Inpainting de Latente Visible: El mapa de puntos visible de MoGe2 se codifica en un "latente visible" ( $z_{vis}$ ) y se fusiona con el latente ruidoso mediante un MLP de inicialización cero. Esto ancla la generación a la geometría observada mientras guía la completación de las regiones ocluidas.
Inferencia: El modelo integra la ODE aprendida desde $t=0$ hasta $t=1$ utilizando pasos de Euler, seguido de la decodificación a través del VAE para producir la rejilla TUDF final.

3. Contribuciones Clave

Marco VolFill: Un marco generativo que utiliza el emparejamiento de flujo volumétrico para recuperar la geometría completa a nivel de escena a partir de imágenes de visión única, yendo más allá de la regresión alineada con píxeles.
VAE 3D Híbrido: Una arquitectura que permite la compresión espacial eficiente de rejillas TUDF de alta resolución en un espacio latente compacto, facilitando la reconstrucción de alta fidelidad de estructuras amodales complejas.
Estrategia de Doble Condicionamiento: Un enfoque novedoso que aprovecha los modelos fundacionales de geometría (MoGe2) para integrar tokens de imagen de alto nivel con geometría visible explícita, fundamentando el razonamiento amodal en datos observados.

4. Resultados Experimentales

El método fue evaluado en los conjuntos de datos SCRREAM y NRGB-D, superando a las líneas base actuales (incluyendo LaRI, NOVA3R y modelos centrados en objetos como TRELLIS y TripoSG).

Desempeño Cuantitativo: VolFill logra resultados de vanguardia en las métricas de Distancia de Chamfer (CD) y F-score (FS), particularmente para la geometría oculta y completa. En SCRREAM, logra un CD de 3.03 y un FS0.02 de 54.83 para la escena completa, superando significativamente a NOVA3R (CD 3.43, FS 45.12) y LaRI (CD 5.19, FS 30.85).
Escala Métrica: En evaluaciones de escala métrica, VolFill supera significativamente a las líneas base en F-score (44.90 vs. 22.23 para NOVA3R), demostrando una reconstrucción fiel a escala métrica.
Calidad Cualitativa: Las comparaciones visuales muestran que VolFill produce una geometría nítida y de alta fidelidad con mallas suaves y topológicamente consistentes. En contraste, LaRI sufre de artefactos de capas y huecos, mientras que NOVA3R genera dispersiones de puntos ruidosas y no estructuradas.
Estudios de Ablación:
- El diseño del VAE Híbrido ofrece el mejor equilibrio entre calidad de reconstrucción, latencia y uso de memoria en comparación con los decodificadores puramente densos o puramente esparsos.
- El doble condicionamiento (combinando características de MoGe2 y latentes visibles) supera significativamente a las estrategias de condicionamiento único.
- MoGe2 se identifica como el modelo fundacional superior para el condicionamiento en comparación con DINOv2 o VGGT, resaltando la importancia de los anclajes espaciales 3D explícitos sobre las características semánticas generales.

5. Significado y Reivindicaciones

El artículo afirma que VolFill proporciona una base robusta para la comprensión espacial holística al desplazar la reconstrucción de una estimación determinista alineada con píxeles hacia un manifold generativo estructurado.

Representación Estructurada: Al predecir una rejilla TUDF en lugar de nubes de puntos no estructuradas, VolFill permite la extracción directa de superficies mediante isosuperficies, lo que resulta en mallas limpias y sin artefactos sin necesidad de un post-procesamiento ruidoso (por ejemplo, reconstrucción de Poisson).
Escalabilidad: El enfoque volumétrico escala bien con la complejidad de la escena e impone ninguna restricción en el número de capas ocluidas recuperables, a diferencia de los métodos basados en rayos.
Plausibilidad Física: El marco generativo, guiado por fuertes prioris geométricos, sintetiza completaciones físicamente plausibles para regiones subdeterminadas donde la evidencia visual es inexistente.

Limitaciones: Los autores reconocen que ocasionalmente pueden persistir pequeños huecos en regiones no observadas debido a la falta de evidencia visual, y la inferencia sigue siendo más lenta (1.4s en RTX 4090) que las líneas base basadas en regresión debido al proceso generativo iterativo. Se sugiere que el trabajo futuro aborde las brechas topológicas mediante un aumento en la capacidad del modelo y la diversidad de datos.