💻 computer science

GeoDiffusion:Enhancing Self-Supervised Monocular Depth Estimation in Dynamic Scenes

El marco de trabajo GeoDiffusion mejora la estimación de profundidad monocular autosupervisada en escenas dinámicas mediante el aprovechamiento de un modelo de difusión entrenado con etiquetas de pseudo-verdad de campo refinadas para superar las inconsistencias fotométricas causadas por el movimiento y la oclusión, logrando una alta precisión en evaluaciones como Cityscapes y KITTI sin requerir la verdad de campo de profundidad durante la inferencia.

Autores originales: Fang Dai, Chengzhi Lyu, Hong He, Pan Wang, Lei Zhang

Publicado 2026-10-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fang Dai, Chengzhi Lyu, Hong He, Pan Wang, Lei Zhang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Para navegar por el mundo, un vehículo debe comprender no solo qué hay frente a él, sino qué tan lejos están esas cosas. Durante décadas, los ingenieros han dependido de costosos escáneres láser o pares de cámaras para construir este mapa tridimensional, de forma muy similar a cómo los ojos humanos trabajan juntos para juzgar la distancia. Sin embargo, estas herramientas son pesadas, costosas y difíciles de calibrar. Existe una alternativa más flexible: utilizar una sola cámara estándar, del tipo que se encuentra en la mayoría de los teléfonos inteligentes, para adivinar la profundidad de una escena. Esto se conoce como estimación de profundidad monocular. Si bien las computadoras son bastante buenas en esto cuando observan una habitación quieta y silenciosa, tienen dificultades inmensas cuando el mundo está en movimiento. En una calle con mucho tráfico, los autos pasan, los peatones cruzan la calle y la propia cámara está en movimiento. Estos cambios rompen las reglas matemáticas que las computadoras suelen usar para calcular la distancia, lo que provoca que el sistema vea fantasmas o pase por alto obstáculos por completo.

Un equipo de investigadores de la Universidad de Tecnología Automotriz de Hubei ha desarrollado un nuevo enfoque para resolver este problema específico del movimiento. Crearon un sistema llamado GeoDiffusion, que enseña a una computadora a estimar la profundidad en escenas dinámicas y en movimiento sin necesidad de que un humano proporcione las respuestas correctas. En lugar de depender de datos previamente etiquetados, que son costosos y difíciles de recolectar, el sistema aprende observando videos y corrigiendo sus propios errores. La idea central implica un proceso de dos pasos donde un modelo "maestro" primero hace un cálculo aproximado de la profundidad de una escena. Este cálculo es luego depurado por un modelo "estudiante" que utiliza una técnica llamada difusión. En términos sencillos, la difusión es un método donde la computadora comienza con una versión ruidosa y borrosa del mapa de profundidad y gradualmente elimina el ruido, paso a paso, para revelar una imagen clara y precisa. Este proceso es guiado por la suposición inicial del maestro y los detalles visuales de la propia escena.

Los investigadores probaron su método en dos conjuntos de datos importantes utilizados por la comunidad de conducción autónoma: Cityscapes, que presenta tráfico urbano complejo, y KITTI, una colección de grabaciones de conducción de Alemania. En estas pruebas, el sistema GeoDiffusion demostró ser más preciso que los métodos anteriores que no utilizaban esta técnica de difusión. En el conjunto de datos Cityscapes, redujo el error en la estimación de profundidad a un nivel de 0.105, superando al siguiente mejor método que se situaba en 0.115. En el conjunto de datos KITTI, la mejora fue aún más pronunciada, con el nuevo sistema logrando una tasa de error de 0.090 en comparación con el 0.096 de la alternativa líder. Estos números representan la diferencia promedio entre la suposición de la computadora y la distancia real, lo que significa que un número más bajo indica una visión más nítida y confiable. El sistema también logró mantener el modelo pequeño, conteniendo unos 7.6 millones de parámetros, que es menos que muchos modelos competidores, lo que le permite ejecutarse rápidamente en hardware estándar.

Lo que hace que este trabajo sea particularmente significativo es cómo maneja el caos del mundo real. Los métodos tradicionales a menudo asumen que el mundo es estático, o requieren que la computadora identifique objetos en movimiento por separado utilizando etiquetas semánticas complejas. GeoDiffusion evita esta necesidad. Utiliza una verificación de consistencia para identificar qué partes de la imagen se están moviendo o son poco fiables, como un auto pasando a toda velocidad o un reflejo en un camino mojado, e ignora esas áreas al aprender. Luego, se enfoca en las partes estables de la escena para refinar su comprensión de la profundidad. Al combinar este enfoque selectivo con el refinamiento paso a paso del proceso de difusión, el sistema aprende a ver a través de la confusión del desenfoque por movimiento y los cambios de luz. El resultado es un mapa de profundidad que permanece estable incluso cuando la cámara se sacude o los objetos pasan rápidamente.

El estudio confirma que este enfoque funciona bien en la práctica, pero los autores señalan que no está exento de limitaciones. El sistema depende del modelo "maestro" inicial para generar sus suposiciones iniciales, lo que significa que si el maestro tiene un sesgo o comete un error en condiciones climáticas muy difíciles, el estudiante podría aprender de ese error. Los investigadores sugieren que el trabajo futuro se centrará en hacer que el sistema sea aún más robusto contra el clima extremo y en reducir su dependencia de estas suposiciones iniciales. Por ahora, sin embargo, los hallazgos demuestran un camino claro a seguir. Al enseñar a las computadoras a limpiar sus propias observaciones ruidosas, en lugar de simplemente memorizar respuestas correctas, podemos construir vehículos que vean la carretera con mayor claridad, incluso cuando el mundo a su alrededor está en constante movimiento.

Resumen Técnico: GeoDiffusion

Planteamiento del Problema

La estimación de profundidad monocular es crítica para tareas de conducción autónoma como la planificación de rutas y la detección de obstáculos. Aunque los métodos tradicionales como LiDAR y cámaras estéreo son precisos, suelen ser costosos o requieren una calibración compleja. La estimación de profundidad monocular autosupervisada ofrece una alternativa rentable al aprovechar la consistencia fotométrica sin necesidad de etiquetas de profundidad de verdad de campo (ground-truth). Sin embargo, los enfoques autosupervisados existentes asumen predominantemente entornos estáticos. En escenas dinámicas del mundo real —caracterizadas por objetos en movimiento, desenfoque de movimiento, oclusiones y cambios rápidos de iluminación— esta suposición falla. Estos factores rompen la consistencia fotométrica, lo que conduce a una estimación de pose inexacta y a predicciones de profundidad degradadas. Los intentos previos para abordar la dinámica suelen depender de tareas auxiliares como la segmentación semántica o la segmentación de movimiento, las cuales requieren anotaciones costosas o un modelado preciso de la trayectoria, limitando su practicidad.

Metodología

Los autores proponen GeoDiffusion, un marco de trabajo autosupervisado que integra modelos de difusión para mejorar la estimación de la profundidad en escenas de conducción dinámicas. La arquitectura consiste en un paradigma de profesor-estudiante y un proceso de difusión condicional:

Construcción de Pseudo-Profundidad Robusta:
- Un modelo Lite-Mono-8M preentrenado actúa como profesor para generar mapas de pseudo-profundidad multiescala.
- Un módulo de consistencia multivista filtra estos mapas mediante la reproyección de la profundidad entre fotogramas. Los píxeles con alta varianza (que indican movimiento, oclusión o reflejos especulares) se marcan como inconsistentes y se excluyen. Esto crea etiquetas de pseudo-verdad de campo fiables para el entrenamiento sin anotación manual.
Difusión de Profundidad Condicional (Red Estudiante):
- La red estudiante realiza la estimación de profundidad como una tarea de eliminación de ruido iterativa.
- Difusión hacia adelante (Forward Diffusion): Se añade ruido progresivamente al mapa de profundidad.
- Difusión inversa (Reverse Diffusion): La red estudiante predice el mapa de profundidad de un fotograma objetivo mediante la eliminación de ruido en etapas discretas ( $T$ $T$ ). Este proceso es guiado por:
  - Características de Imagen Multiescala: Extraídas por un codificador de red de profundidad Lite-Mono.
  - Prioris Discriminativos: Las predicciones de profundidad del profesor ( $D_{teacher}$ ) sirven como entradas condicionales para guiar la trayectoria de eliminación de ruido, asegurando la consistencia geométrica y la fidelidad estructural.
- El estudiante utiliza un predictor de ruido compacto que equilibra las características multiescala mediante pesos de atención aprendibles.
Estimación de Pose:
- Un módulo separado, que utiliza un codificador ResNet-18 preentrenado y un decodificador convolucional de cuatro capas, predice la pose relativa de 6 grados de libertad (6-DOF) entre fotogramas consecutivos.
Objetivo de Entrenamiento:
El modelo se entrena utilizando una suma ponderada de tres funciones de pérdida:
- Pérdida de Consistencia Fotométrica ( $L_{ph}$ ): Mide la diferencia entre el fotograma objetivo sintetizado y el fotograma objetivo real utilizando SSIM y pérdida $L_1$ .
- Pérdida de Destilación de Conocimiento ( $L_{KD}$ ): Guía al estudiante para alinearse con la pseudo-profundidad fiable del profesor, filtrada por la máscara de consistencia.
- Pérdida DDIM ( $L_{DDIM}$ ): Impone coherencia entre las predicciones del estudiante y la trayectoria de difusión prevista para asegurar la estabilidad.

Durante la inferencia, el modelo profesor y las redes auxiliares se descartan; solo se utiliza el modelo estudiante, que es ligero.

Contribuciones Clave

Marco de Trabajo GeoDiffusion: Un novedoso marco de profundidad monocular autosupervisado que utiliza modelos de difusión para reducir errores específicamente en escenas dinámicas.
Generación de Pseudo-Etiquetas Robusta: Un método para generar supervisión sin etiquetas combinando un modelo profesor preentrenado con la verificación de consistencia multivista para filtrar regiones no fiables causadas por el movimiento y la oclusión.
Inyección de Prioris Discriminativos: La introducción de un módulo que inyecta la profundidad derivada del profesor como un prioris discriminativo durante el proceso de difusión, mejorando la fidelidad geométrica y estructural.
Rendimiento de Vanguardia (State-of-the-Art): El método logra una precisión y eficiencia superiores en bancos de pruebas estándar sin depender de etiquetas de segmentación semántica o de movimiento.

Resultados Experimentales

Los autores evaluaron GeoDiffusion en los conjuntos de datos Cityscapes y KITTI, comparándolo con métodos de vanguardia que incluyen Monodepth2, RA-Depth y DNA-Depth.

Cityscapes: GeoDiffusion logró un AbsRel de 0.105, un SqRel de 0.905 y un RMSE de 5.750, superando a modelos autosupervisados previos (por ejemplo, RA-Depth tuvo un AbsRel de 0.111 y un RMSE de 5.791). Los resultados cualitativos mostraron una mayor precisión para objetos dinámicos.
KITTI: El método logró un AbsRel de 0.090, un SqRel de 0.609 y un RMSE de 4.180, superando a métodos líderes como RA-Depth (AbsRel 0.096, RMSE 4.216).
Eficiencia: El modelo contiene aproximadamente 7.6 millones de parámetros, lo cual es más compacto que RA-Depth (9.98M) y Monodepth2 (14.3M). La velocidad de inferencia en una RTX 3090 es de aproximadamente 9.2 ms por fotograma, lo que indica su idoneidad para aplicaciones en tiempo real.
Estudios de Ablación: Los experimentos confirmaron que la integración de la Construcción de Pseudo-Profundidad Robusta (RPC), la Mejora de Prioris Discriminativos (DPE), la Destilación de Conocimiento ( $L_{KD}$ ) y la Pérdida Fotométrica ( $L_{PH}$ ) mejora sistemáticamente el rendimiento, siendo el modelo completo el que ofrece las mejores métricas.

Significancia y Reivindicaciones

El artículo afirma que GeoDiffusion aborda con éxito las limitaciones de la estimación de profundidad autosupervisada en entornos dinámicos mediante el aprovechamiento de las capacidades generativas y de eliminación de ruido de los modelos de difusión. Al utilizar un enfoque de destilación profesor-estudiante con filtrado de consistencia multivista, el marco logra una alta precisión sin necesidad de costosas etiquetas de verdad de campo o anotaciones semánticas/de movimiento auxiliares.

Los autores posicionan a GeoDiffusion como un paso significativo hacia adelante para la percepción 3D en la conducción autónoma, ofreciendo un equilibrio entre alta precisión, robustez estructural y eficiencia computacional. Sin embargo, el artículo reconoce modestamente ciertas limitaciones: la dependencia de las pseudo-verdades de campo de un profesor preentrenado puede introducir sesgos bajo condiciones de iluminación o clima desafiantes, afectando potencialmente la generalización. Se propone como trabajo futuro centrarse en reducir esta dependencia y mejorar la robustez frente a objetos dinámicos.