Crear un modelo tridimensional del mundo real a partir de una colección de fotografías bidimensionales es un desafío fundamental en la visión por computadora. Durante décadas, los científicos han dependido de dos enfoques principales para resolver esto. El primero, conocido como estéreo multi-vista, funciona como un cerebro humano: observa el mismo objeto desde diferentes ángulos, encuentra puntos coincidentes y calcula su distancia para construir una nube densa de puntos que representa la superficie. El segundo método, llamado 3D Gaussian Splatting, representa una escena no como un objeto sólido, sino como un enjambre de diminutos elipsoides de colores y transparentes que flotan en el espacio. Cuando una cámara observa este enjambre, los elipsoides se mezclan para crear una imagen nítida y realista. Aunque este nuevo método es increíblemente rápido y produce resultados visuales impresionantes, tiene un defecto significativo cuando se trata de construir formas 3D reales. En áreas donde la cámara tiene pocos ángulos desde los cuales mirar, o donde los objetos están ocultos detrás de otros, estos elipsoides flotantes pueden separarse o formar estructuras inestables y fantasmales que se ven bien en una foto pero que no representan una superficie real y sólida.

Investigadores de la Universidad de Wuhan y la Universidad de Hangzhou Dianzi han desarrollado un nuevo marco llamado CoMVS-GS para solucionar este problema. Su objetivo era combinar la velocidad y la calidad visual de los elipsoides flotantes con la fiabilidad geométrica del método tradicional basado en puntos. En lugar de tratar estas dos técnicas como herramientas separadas, las tejieron en un solo proceso. El resultado es un sistema que puede reconstruir mallas 3D precisas y sólidas tanto de objetos pequeños como de grandes entornos exteriores, incluso en condiciones de iluminación difíciles o cuando partes de la escena están ocultas. El equipo descubrió que, al utilizar las fortalezas del método más antiguo y lento para guiar al más nuevo y rápido, podían eliminar los artefactos flotantes y producir superficies que son tanto visualmente convincentes como geométricamente precisas.

El proceso comienza con un paso crucial antes de que comience la optimización principal. Los métodos tradicionales suelen comenzar con un conjunto disperso de puntos, dejando grandes brechas que la computadora debe adivinar cómo llenar. Los investigadores, en cambio, utilizaron una nube densa de puntos generada por un algoritmo de estéreo multi-vista estándar para inicializar su modelo. Tomaron estos puntos y dieron forma a los elipsoides flotantes para que coincidieran con la orientación y el grosor de la superficie local desde el primer momento. Imagine intentar construir una pared lanzando primero unos pocos ladrillos al aire y esperando que se asienten en una línea recta; este nuevo método coloca los ladrillos exactamente donde deben estar, alineados con la superficie de la pared, antes de que comience la construcción. Esto le dio al sistema una fuerte ventaja geométrica, evitando que los elipsoides formaran estructuras inestables en las etapas iniciales del entrenamiento.

Una vez que se inicializó el modelo, los investigadores introdujeron un bucle de retroalimentación continua entre las dos técnicas. El sistema renderiza un mapa de profundidad, que es esencialmente una imagen que muestra qué tan lejos está cada punto de la escena, y utiliza esa imagen para refinar el algoritmo de estéreo multi-vista. A su vez, el algoritmo de estéreo multi-vista refinado produce un mapa de profundidad más preciso, el cual se utiliza para corregir los elipsoides flotantes. Esta supervisión mutua significaba que el sistema estaba constantemente revisando su propio trabajo. Si los elipsoides se desviaban hacia un lugar donde no deberían estar, los datos de estéreo multi-vista los atraían de vuelta. Si los datos de estéreo multi-vista tenían dudas debido a la falta de textura, la densa nube de elipsoides proporcionaba una guía estable. Este refinamiento de ida y vuelta permitió al modelo llenar los huecos y suavizar las superficies con las que los métodos anteriores tenían dificultades para manejar.

El paso final consistió en convertir estos elipsoides refinados en una malla sólida, que es la piel de alambre utilizada para representar un objeto 3D. Muchos métodos existentes intentan hacer esto dividiendo todo el espacio 3D en una cuadrícula de cubos diminutos y calculando la superficie dentro de cada cubo. Este enfoque es sensible al tamaño de los cubos; si los cubos son demasiado grandes, se pierden los detalles finos, pero si son demasiado pequeños, la computadora se queda sin memoria, especialmente en escenas exteriores grandes. Los investigadores evitaron esta trampa utilizando una técnica diferente llamada mallado por corte de grafo de Delaunay. En lugar de depender de una cuadrícula rígida, este método conecta los puntos de la superficie directamente y utiliza la línea de visión de la cámara para determinar qué partes del espacio están dentro del objeto y cuáles están fuera. Esto les permitió crear una superficie limpia y completa sin la carga de memoria o la pérdida de detalle asociada con el enfoque basado en cuadrículas.

El equipo probó su método en varios conjuntos de datos, incluyendo el estándar DTU para la reconstrucción de objetos y nuevos subconjuntos de escenas exteriores a gran escala de los conjuntos de datos GauU-Scene V2 y MatrixCity. En el benchmark DTU, su método logró una tasa de error promedio competitiva con las mejores técnicas existentes, superándolas a menudo en la precisión de la geometría reconstruida. En las escenas exteriores, la diferencia fue aún más pronunciada. Mientras que otros métodos producían modelos con fragmentos flotantes o grandes huecos en áreas como el agua o las fachadas de los edificios, CoMVS-GS produjo superficies limpias y continuas. Los investigadores señalaron que su método produjo mallas con significativamente menos caras —promediando unos 8.76 millones de caras en comparación con más de 50 millones de algunos competidores— mientras mantenía una mayor precisión geométrica. Esta compacidad sugiere que el modelo capturó la forma real de la escena de manera más eficiente, sin añadir complejidad innecesaria para llenar los huecos.

El estudio también incluyó pruebas para ver qué partes de su sistema eran más importantes. Cuando eliminaron la inicialización de la nube de puntos densa, el modelo tuvo dificultades para converger en superficies planas, particularmente en las fachadas de edificios vistos desde ángulos agudos. Cuando eliminaron el bucle de supervisión mutua, la precisión geométrica disminuyó y las superficies se volvieron menos suaves. Finalmente, cuando cambiaron su nueva técnica de mallado de vuelta al método tradicional basado en cuadrículas, los modelos resultantes mostraron huecos y regiones incompletas, confirmando que su enfoque de corte de grafo era esencial para manejar la complejidad de las grandes escenas exteriores. Los investigadores concluyeron que, al integrar el estéreo multi-vista no solo como un paso final, sino como una fuente de inicialización, supervisión continua y extracción de superficies, pudieron lograr un nivel de estabilidad geométrica que ninguno de los dos métodos podría alcanzar por sí solo.

Si bien el método representa un avance significativo, los autores reconocen que todavía enfrenta desafíos con superficies altamente reflectantes o transparentes, donde encontrar puntos coincidentes a través de diferentes vistas de cámara es difícil. Además, el proceso de refinar periódicamente los mapas de profundidad añade cierta carga computacional, lo que podría ser un factor para escenas de muy alta resolución. Sin embargo, los resultados demuestran que combinar el rigor geomético de la fotogrametría tradicional con la eficiencia del renderizado neuronal moderno es un camino viable hacia una reconstrucción 3D más robusta y precisa. El trabajo sugiere que el futuro del modelado 3D puede no residir en elegir entre diferentes tecnologías, sino en encontrar formas de hacer que trabajen juntas, aprovechando las fortalezas de cada una para superar las debilidades de la otra.