GeoFusionLRM: Geometry-Aware Self-Correction for Consistent 3D Reconstruction

1. El Problema

La reconstrucción 3D a partir de una sola imagen ha avanzado rápidamente gracias a los Modelos de Reconstrucción a Gran Escala (LRMs, por sus siglas en inglés). Sin embargo, estos modelos actuales sufren de limitaciones significativas:

• Inconsistencias Geométricas: A menudo generan mallas con detalles mal alineados y errores estructurales.
• Falta de Fidelidad: Aunque capturan la forma general (coarse shape), fallan en detalles finos, produciendo normales de superficie distorsionadas y geometrías inexactas.
• Ambigüedad: La reconstrucción desde una sola vista es un problema mal planteado (ill-posed) debido a la falta de información volumétrica. Los métodos existentes que sintetizan múltiples vistas a menudo introducen inconsistencias geométricas entre las vistas generadas, lo que lleva a errores en la malla final que no son visibles en la salida RGB renderizada (ej. agujeros sugeridos por la apariencia pero ausentes en la geometría subyacente).

2. Metodología: GeoFusionLRM

El artículo propone GeoFusionLRM, un marco de auto-corrección consciente de la geometría que refina la reconstrucción en dos etapas sin necesidad de supervisión adicional o señales externas. La arquitectura se basa en mejorar un LRM base (InstantMesh) mediante dos componentes clave:

A. Flujo de Trabajo de Dos Etapas

1. Reconstrucción Inicial: Se genera una malla inicial ($M^{(0)}$) a partir de la imagen de entrada utilizando el LRM base.
2. Extracción de Cues Geométricos: A partir de esta malla inicial, se renderizan mapas de profundidad ($D$) y normales ($N$) bajo la misma vista de condición.
3. Codificación Geométrica (GeoFormer): Estos mapas de profundidad y normales se procesan mediante un codificador llamado GeoFormer. Este es un transformador (ViT) inicializado con pesos de DINO y fine-tuneado con supervisión geométrica para capturar la coherencia estructural.
4. Fusión de Características (GeoFuser): Un módulo ligero llamado GeoFuser fusiona los tokens semánticos de la imagen original (del codificador de visión) con los tokens conscientes de la geometría generados por GeoFormer.
   • La fusión se realiza mediante una red feed-forward que predice residuos correctivos: $F_{fused} = F_{sem} + f_\theta(F_{sem}, F_{geo})$.
   • En la primera iteración, la corrección está desactivada (pesos iniciales en cero). En iteraciones posteriores, se utilizan para refinar las características semánticas.
5. Refinamiento: Los tokens fusionados se inyectan nuevamente en el decodificador del LRM para generar una malla actualizada y más precisa.

B. Entrenamiento

• Se utiliza una estrategia de "unroll" (desenrollado) durante el entrenamiento con 3 pasos de refinamiento.
• La función de pérdida combina pérdidas fotométricas (MSE, LPIPS), consistencia de máscara, alineación de profundidad, similitud de normales y regularización FlexiCubes.
• Solo se optimizan los parámetros de GeoFormer y GeoFuser, manteniendo el backbone de InstantMesh congelado.

3. Contribuciones Clave

1. Condicionamiento Auto-Predictivo: Introducen un marco donde el modelo utiliza sus propias predicciones de profundidad y normales para corregir errores geométricos en una segunda pasada, eliminando la dependencia de predictores externos.
2. GeoFormer: Un codificador específico para geometría, inicializado desde DINO y adaptado para procesar mapas de profundidad y normales, diseñado para capturar la alineación estructural.
3. Módulo GeoFuser: Una red de fusión a nivel de token que integra eficientemente características semánticas y geométricas para producir condiciones de triplano refinadas.
4. Mejora de Consistencia: Logran una mayor fidelidad geométrica y una mejor alineación con la imagen de entrada en comparación con los modelos más avanzados (SOTA).

4. Resultados

Los experimentos se realizaron en los conjuntos de datos Objaverse-1.0 (entrenamiento), OmniObject3D y Google Scanned Objects (GSO) (evaluación).

• Cuantitativos: GeoFusionLRM supera consistentemente a los baselines (LRM, SPAR3D, LGM, InstantMesh) en todas las métricas (PSNR, SSIM, LPIPS) tanto para imágenes RGB como para mapas de normales.
  • Las mejoras son más pronunciadas en las métricas de normales, lo que indica una mayor precisión geométrica, especialmente en estructuras delgadas y superficies curvas.
  • En GSO, el método alcanza un PSNR de 26.39 para normales (vs 25.83 de InstantMesh) y un LPIPS de 0.0592 (vs 0.0625).
• Cualitativos:
  • El método preserva mejor los detalles finos (bordes afilados, patrones complejos) que los modelos anteriores, los cuales tienden a suavizar excesivamente la superficie.
  • Es capaz de reconstruir geometrías coherentes en regiones oscuras o ambiguas donde otros modelos "alucinan" agujeros o formas incorrectas.
• Análisis de Iteraciones: Se observa que una sola iteración de refinamiento (dos pasos totales: inicial + corrección) ofrece el mejor equilibrio entre calidad y costo computacional; iteraciones adicionales tienen rendimientos decrecientes.

5. Significado y Limitaciones

• Significado: GeoFusionLRM representa un avance importante al demostrar que la auto-corrección interna basada en cues geométricos renderizados puede resolver inconsistencias en la reconstrucción 3D monocular sin necesidad de múltiples vistas reales o optimización costosa por escena (como SDS). Ofrece un enfoque eficiente para mejorar la fidelidad estructural de los LRM.
• Limitaciones:
  • Costo Computacional: El proceso de refinamiento duplica aproximadamente el tiempo de inferencia y el costo de FLOPs en comparación con InstantMesh (de ~1s a ~3.8s por objeto).
  • Estructuras Muy Finas: Aunque mejora la coherencia de ramas y estructuras gruesas, el modelo sigue luchando con detalles extremadamente finos (como raíces muy delgadas) debido a la resolución limitada de la representación de triplano subyacente del backbone de InstantMesh.

En conclusión, GeoFusionLRM establece un nuevo estándar para la consistencia geométrica en la reconstrucción 3D a partir de una sola imagen, priorizando la precisión estructural sobre la simple generación de texturas plausibles.