💻 computer science

Depth Estimators Are Implicit Neural Fields for 3D Scene Geometry Inpainting and Reconstruction

Este artículo propone Neural Depth Field (NDF), un enfoque novedoso que reinterpreta los estimadores de profundidad como campos implícitos a nivel de escena para realizar una optimización de un solo paso en tiempo de prueba, logrando así una inpainting y reconstrucción de geometría 3D de vanguardia con alta fidelidad y consistencia global a través de diversos conjuntos de datos.

Autores originales: Yingzhao Jian, Zihao Lin, Hehe Fan

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yingzhao Jian, Zihao Lin, Hehe Fan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir un modelo 3D perfecto del mundo, como el nivel de un videojuego que se vea exactamente igual a la vida real. Para hacer esto, las computadoras necesitan saber la forma de todo: dónde están las paredes, qué tan altas son las montañas y qué tan profundos son los agujeros. Esto se llama "geometría 3D". Normalmente, las computadoras obtienen esta información de cámaras o sensores, pero la vida real es desordenada. A veces las nubes bloquean la vista, a veces las sombras ocultan detalles, y a veces los sensores simplemente pierden un punto, dejando un "hueco" en los datos. Es como intentar terminar un rompecabezas cuando alguien se ha comido algunas piezas; puedes ver la imagen, pero hay huecos donde la imagen falta.

Para solucionar estos huecos, los científicos suelen utilizar "estimadores de profundidad". Piensa en ellos como adivinadores súper inteligentes. Han estudiado millones de fotos y han aprendido cómo suele verse una pared, un árbol o un edificio. Cuando ven un hueco, usan ese conocimiento para llenarlo. Sin embargo, estos adivinadores tienen dos grandes problemas. Primero, a veces adivinan cosas que no encajan con las partes de la imagen que sí pueden ver (como adivinar que hay una puerta en un lugar donde claramente hay una pared sólida). Segundo, si ven algo que nunca han visto antes —como una vista desde un satélite a gran altura sobre la ciudad en lugar de una vista a nivel de calle— podrían confundirse y hacer conjeturas erróneas y descabelladas.

Este artículo presenta una nueva y astuta forma de solucionar estos problemas llamada Campo de Profundidad Neuronal (NDF, por sus siglas en inglés). Los investigadores se dieron cuenta de que un estimador de profundidad no tiene por qué ser solo un "adivinador de un solo paso". En su lugar, lo trataron como un molde invisible y flexible que puede remodelarse para adaptarse a la escena específica que está observando. Imagina que tienes un trozo de arcilla que sabe cómo hacer una taza perfecta. Normalmente, solo presionas una vez y esperas que quede bien. Pero con NDF, presionas la arcilla contra la taza real que tienes en la mano, suavizándola hasta que coincida perfectamente con las curvas reales, manteniendo al mismo tiempo la forma general de una taza. Esto permite que la computadora llene los huecos faltantes con alta precisión, asegurando que las partes nuevas se mezclen perfectamente con las partes antiguas, ya sea en una habitación interior desordenada o en una ciudad gigante vista desde el espacio.

El problema de las conjeturas de "un solo paso"

En el mundo de la visión artificial 3D, solemos confiar en modelos preentrenados para decirnos qué tan profundas son las cosas. Estos modelos son como estudiantes que han estudiado un libro de texto masivo de formas 3D. Cuando les muestras una imagen, adivinan la profundidad instantáneamente. Pero los datos del mundo real suelen estar incompletos. Un dron podría perder de vista un edificio debido a un árbol, o un satélite podría perder datos debido a una nube.

El enfoque estándar es tomar estos modelos preentrenados y pedirles que "repinten" (rellenen) las partes faltantes. Sin embargo, los autores señalan que esto suele fallar de dos maneras específicas:

Inconsistencia: El modelo podría rellenar un hueco con una forma que contradice las partes visibles de la escena. Es como dibujar una puerta en una pared que el resto de la foto muestra claramente como una superficie de ladrillo sólido.
Confusión por fuera de la distribución: Si el modelo fue entrenado principalmente con fotos a nivel de calle, podría perderse totalmente al mirar una imagen satelital. No conoce las reglas para ese "dominio" específico, por lo que sus conjeturas se vuelven poco fiables.

La solución del "Campo de Profundidad Neuronal"

Los autores proponen un nuevo método llamado Campo de Profundidad Neuronal (NDF). Su gran idea es dejar de tratar al estimador de profundidad como una herramienta estática que solo da una respuesta, y empezar a tratarlo como un campo implícito a nivel de escena.

Aquí está la analogía: Imagina que un estimador de profundidad es una lámina de caucho con un patrón impreso.

Como Predictor: Normalmente, solo estiras esta lámina sobre una imagen y esta imprime una conjetura basada en su patrón.
Como Campo: Con NFF, tomas esa misma lámina de caucho y la presionas físicamente contra las partes reales de la imagen que sí puedes ver. Estiras y suavizas la lámina hasta que se ciñe perfectamente a la geometría real y visible.

Al hacer este "ajuste en tiempo de prueba" (ajustando el modelo mientras observa la escena específica), NDF obliga al modelo a hacer dos cosas al mismo tiempo:

Ajustarse a lo Observado: Debe coincidir con las partes de la imagen que realmente podemos ver, asegurando que las nuevas conjeturas no contradigan los datos existentes.
Adaptar el Conocimiento Previo: Utiliza su conocimiento general (el "patrón" en la lámina) para adivinar cómo deberían ser las partes faltantes, pero ahora ese conocimiento está ajustado específicamente para esta escena.

Esto convierte el problema de "rellenar los espacios en blanco" en una única tarea unificada: encontrar la mejor versión de la lámina de caucho que se ajuste tanto a las partes conocidas como a las desconocidas simultáneamente.

Lo que encontraron

Los investigadores probaron esta idea en dos tipos de escenas muy diferentes:

Imágenes Satelitales: Lo utilizaron en un mapa de una ciudad masiva (Birmingham) donde los datos de altura faltaban en muchos puntos debido a las nubes o errores de los sensores.
Escaneos Interiores: Lo utilizaron en escaneos 3D de habitaciones (del conjunto de datos ScanNet) donde los muebles y las paredes faltaban debido a oclusiones o ruido de los sensores.

Los Resultados:

Mejor Precisión: NDF rellenó las partes faltantes con mucha más exactitud que los métodos anteriores. En los datos satelitales, mejoró la precisión de la reconstrucción de la altura faltante en un 23.1%.
Menos Fallos: Corrigió el problema de que las partes nuevas choquen con las partes antiguas. Redujo la "inconsistencia entre vistas" (donde la imagen se ve diferente o rota al cambiar de ángulo) en un 63.3%.
Detalles Finos: El método fue capaz de recuperar detalles diminutos que otros métodos pasaron por alto, como pequeñas farolas en las fotos satelitales o cables delgados en los escaneos de interiores.

El artículo descarta explícitamente la idea de que usar simplemente un modelo preentrenado sin ajustes sea suficiente. Demostraron que solo "predecir" o solo "reconstruir" por separado conduce a resultados borrosos o inconsistentes. La magia ocurre solo cuando se combinan ambos en este proceso de optimización único.

Por qué es importante

Esto no se trata solo de hacer imágenes más bonitas. Tener un mapa 3D completo y consistente del mundo es crucial para que los robots naveguen, para que las ciudades planifiquen infraestructuras y para que la realidad virtual se sienta real. Si un robot piensa que hay una pared cuando no la hay, podría chocar. Si un planificador urbano piensa que un edificio tiene una altura determinada cuando en realidad es más alto, podría ser un peligro para la seguridad.

Al demostrar que podemos tomar un modelo de "conjetura" general y ajustarlo para que se adapte perfectamente a una escena específica, NDF ofrece una forma de obtener datos 3D de alta calidad incluso cuando nuestros sensores fallan o cuando estamos mirando cosas desde ángulos que nunca hemos visto antes. Sugiere que el futuro de la reconstrucción 3D no consiste solo en construir modelos más grandes y más inteligentes, sino en enseñar a esos modelos cómo adaptarse a la realidad específica que están observando, justo en ese momento.

Los autores señalan que este proceso actualmente toma desde unos pocos minutos hasta una hora por escena, lo que es más lento que una simple conjetura de "un solo paso", pero la compensación es un resultado de mucha mayor calidad. Sugieren que en el futuro esto podría acelerarse, pero por ahora, demuestra que tomarse el tiempo para "ajustar el molde" a la escena vale la pena para obtener un mundo 3D verdaderamente preciso.

Resumen Técnico: Campo de Profundidad Neuronal (NDF) para la Inpainting y Reconstrucción de la Geometría de Escenas 3D

1. Definición del Problema

Los datos de escenas 3D del mundo real son frecuentemente estructuralmente incompletos debido a oclusiones, limitaciones de los sensores o factores ambientales (por ejemplo, nubes en imágenes satelitales, desenfoque de movimiento en escaneos de interiores). Aunque los estimadores de profundidad convencionales pueden recuperar geometría continua a partir de observaciones parciales, enfrentan dos limitaciones críticas:

Inconsistencia: Las regiones de inpainting suelen fallar al alinearse geométricamente con las partes observadas, lo que genera discontinuidades.
Desplazamiento de Distribución (Distribution Shift): Los estimadores de profundidad estándar, entrenados en conjuntos de datos a gran escala, suelen funcionar de manera poco fiable en datos fuera de distribución (por ejemplo, imágenes satelitales o texturas específicas de interiores) y luchan por mantener la consistencia de escala métrica entre diferentes vistas.

Los enfoques existentes dependen ya sea de una extrapolación de prior directos (que es poco fiable para datos no vistos) o utilizan estimadores de profundidad como supervisión indirecta para campos neuronales (lo que puede conducir a inconsistencias entre la profundidad predicha y el campo de la escena optimizado).

2. Metodología: Campo de Profundidad Neuronal (NDF)

Los autores proponen el Campo de Profundidad Neuronal (NDF), un marco de optimización en tiempo de prueba (test-time optimization) que reinterpreta un estimador de profundidad preentrenado como un campo neuronal implícito a nivel de escena.

Idea Central

NDF opera bajo la perspectiva dual de que un estimador de profundidad cumple dos funciones simultáneas:

Como Predictor: Aprende prioris específicos del dominio para la inpainting de profundidad optimizando sobre las observaciones de profundidad existentes.
Como Campo Implícito: Ajusta la geometría observada para mantener la consistencia global.

Formulación

Dada una observación $O = (I, D, M)$ , donde $I$ es la imagen RGB, $D$ es el mapa de profundidad incompleto y $M$ es una máscara de validez, el objetivo es encontrar un estimador de profundidad óptimo $f^*$ que minimice la brecha entre la profundidad predicha $\tilde{D}$ y la verdad de campo completa $\hat{D}$ .

NDF trata los parámetros $\theta$ de un estimador de profundidad monocular preentrenado $f_\theta$ como las variables de un campo implícito de nivel de escena $F_\theta$ . El objetivo de optimización unifica dos tareas en una única pérdida de discrepancia por píxel:

Consistencia Geométrica (Ajuste): La geometría renderizada debe ajustarse a la profundidad observada $D|_{\Omega_v}$ (donde $M=1$ ).
Adaptación de Dominio (Inpainting): La predicción debe ser supervisada por la distribución de profundidad de verdad de campo para adaptar el prior a la escena actual, mientras se completan las regiones ocultas $\Omega_h$ (donde $M=0$ ).

La función de pérdida unificada es:
$\ell(\theta) = \int_{\Omega} M(u)\rho(F_\theta(u), D(u)) d\nu(u) + \alpha \Pi_{F_\theta}$
Donde el primer término asegura la consistencia con los datos observados, y $\Pi_{F_\theta}$ representa restricciones como los priors preentrenados o regularizadores de suavidad. Al optimizar esta pérdida compartida en el tiempo de prueba, NDF realiza inpainting en las regiones faltantes mientras reconstruye y refina simultáneamente las regiones observadas.

Detalles de Implementación

Modelo Base: NDF se instancia utilizando InfiniDepth, un estimador de profundidad monocular de última generación.
Optimización: El modelo se somete a una optimización en tiempo de prueba sobre escenas específicas (por ejemplo, ventanas satelitales o fotogramas de interiores).
Aumentos (Augmentations): El marco emplea aumentos de máscara transferida (transferencia aleatoria de máscaras inválidas entre ventanas) y pérdidas de ventana superpuesta para forzar la consistencia a través de ventanas deslizantes.
Especificaciones de Interiores: Para escaneos de interiores, se añade una pérdida de normal de superficie para alinearse con un modelo profesor, mitigando el ruido de los artefactos de escaneo.

3. Contribuciones Clave

Formulación Unificada: El artículo es el primero en formular sistemáticamente los estimadores de profundidad como campos neuronales implícitos, unificando la inpainting y la reconstrucción de escenas 3D en un único proceso de optimización en tiempo de prueba.
Mecanismo de Doble Rol: Demuestra que tratar un estimador de profundidad como predictor e implícito simultáneamente permite la adaptación de dominio y la consistencia geométrica al mismo tiempo.
Pipeline Escalable: Los autores proporcionan un pipeline escalable para la inpainting y generación de datos de escena de alta fidelidad, incluyendo conjuntos de datos procesados con geometría completada para apoyar investigaciones futuras.

4. Resultados Experimentales

El método fue evaluado en dos conjuntos de datos distintos: Birmingham (imágenes satelitales a escala de ciudad) y ScanNet (escaneos 3D de interiores).

Rendimiento Cuantitativo

Imágenes Satelitales (Birmingham):
- Precisión de Inpainting: NDF mejoró la precisión de la profundidad métrica en inpainting en un 23.1% y la precisión de la profundidad relativa en un 9.2% en comparación con el baseline InfiniDepth.
- Consistencia: Redujo la inconsistencia entre vistas (Overlap MAE) en un 63.3% y mejoró la precisión de regresión en las regiones observadas (Observed MAE) en un 55.4%.
Escaneos de Interiores (ScanNet):
- Precisión de Inpainting: Logró una reducción del 13.2% en AbsRel para profundidad métrica y una ganancia del 17.4% para profundidad relativa en regiones no contenidas (held-out).
- Consistencia: Redujo el Overlap MAE en un 32.5% (métrico) y un 60.3% (relativo), superando significativamente a los métodos que tratan la predicción y la reconstrucción por separado.

Rendimiento Cualitativo

Las comparaciones visuales muestran que NDF recupera con éxito estructuras de grano fino (por ejemplo, farolas en imágenes satelitales, cables delgados en escaneos de interiores) y mantiene escalas métricas plausibles. A diferencia de los predictores estándar que alucinan estructuras o producen reconstrucciones borrosas, NDF preserva la coherencia geométrica local y la consistencia global entre vistas, integrando de forma fluida las regiones de inpainting con la geometría observada.

5. Significado y Reivindicaciones

El artículo afirma que NDF representa un cambio significativo en la forma en que se utilizan los estimadores de profundidad para la reconstrucción 3D. Al pasar de un paradigma de "predicción de un solo paso" (one-shot prediction) a un paradigma de "optimización en tiempo de prueba", NDF aborda el compromiso fundamental entre aprovechar los priors preentrenados y mantener la consistencia específica de la escena.

Los autores enfatizan que su enfoque:

Resuelve el problema de la inconsistencia sin requerir una optimización de geometría multi-vista compleja desde cero.
Maneja datos fuera de distribución (como imágenes satelitales) adaptando el prior a la escena específica durante la inferencia.
Logra un rendimiento de vanguardia tanto en precisión como en consistencia global a través de diversos tipos de escenas.

Limitaciones y Trabajo Futuro:
Los autores reconocen modestamente que NDF actualmente requiere una optimización por escena en tiempo de prueba (que toma de minutos a una hora), lo que limita su aplicación en tiempo real. Sugieren que amortizar este costo mediante meta-aprendizaje o adaptación de parámetros eficientes es un siguiente paso natural. Además, la formulación actual se dirige a escenas estáticas; extender el método a escenas dinámicas y representaciones más ricas (como Gaussian Splatting) se identifica como trabajo futuro.