Resumen Técnico: Estimación Unificada de Geometría Panorámica mediante Modelos Fundacionales Multi-Vista (PaGeR)

Declaración del Problema

Aunque la estimación de geometría monoculares a partir de imágenes en perspectiva ha madurado significativamente gracias a modelos fundacionales capaces de reconstrucción 3D en cero disparos, extender estas capacidades a imágenes panorámicas (360°) sigue siendo un desafío. Los enfoques panorámicos existentes enfrentan dos limitaciones principales:

1. Escasez de Datos y Sobreajuste: Los conjuntos de datos panorámicos de alta calidad con profundidad y normales de superficie métricamente precisos son laboriosos de recopilar y escasos, lo que provoca que los modelos se sobreajusten a conjuntos de datos pequeños y tengan dificultades para generalizar.
2. Distorsión Geométrica: La mayoría de los métodos se basan en la Proyección Equirectangular (ERP), que introduce distorsiones no lineales severas (estiramiento extremo cerca de los polos). Este cambio de dominio degrada la eficacia de las arquitecturas invariantes a la traslación entrenadas con datos en perspectiva y obstaculiza la transferencia de potentes priores de perspectiva al dominio panorámico.

Metodología

Los autores introducen PaGeR (Reconstrucción de Geometría Panorámica), un marco diseñado para elevar modelos fundacionales de perspectiva de última generación (específicamente Depth Anything 3, o DA3) al dominio panorámico sin requerir un reentrenamiento masivo ni arquitecturas personalizadas.

Estrategia Central: Representación de Cubemap

En lugar de procesar las panorámicas como imágenes equirectangulares distorsionadas, PaGeR representa la entrada como un cubemap: seis imágenes en perspectiva de campo de visión de 90° mapeadas a las caras de un cubo unitario. Este enfoque:

• Se alinea con los priores inductivos de los modelos entrenados en perspectiva.
• Proporciona un muestreo uniforme del espacio de rayos.
• Evita las distorsiones geométricas inherentes a la ERP.

Adaptaciones Arquitectónicas

Para adaptar el backbone transformador multi-vista (DA3) para la estimación holística de 360°, los autores implementan varias modificaciones clave:

1. Sincronización Implícita del Codificador: El codificador Vision Transformer (ViT) se ajusta fino (fine-tuned) con datos panorámicos sin cambios estructurales. Al suministrar matrices de cámara fijas y extrínsecos alineados con los ejes para las seis caras, la red aprende a enrutar el contexto y sincronizar características a través de las caras adyacentes del cubemap mediante capas de atención cruzada entre vistas.
2. Relleno del Decodificador Consciente Esférico: Para prevenir discontinuidades geométricas y fotométricas en los límites de las caras del cubemap durante la subida de densidad, el decodificador emplea relleno válido cruzado entre caras. En lugar del relleno con ceros estándar, esta capa extrae dinámicamente características de las caras geométricamente adyacentes, asegurando transiciones fluidas a través de la variedad esférica.
3. Régimen de Entrenamiento Híbrido: Para preservar los ricos priores del modelo de perspectiva preentrenado y mitigar la brecha de dominio simulación-realidad, el modelo experimenta un entrenamiento mixto. Alterna entre:
   • Lotes panorámicos: Procesando la configuración completa de seis caras con relleno cruzado entre caras activo.
   • Lotes de perspectiva: Procesando imágenes individuales del mundo real (deformadas a 90° de campo de visión) con relleno con ceros estándar.
     Esta estrategia previene el olvido catastrófico mientras enseña al modelo a manejar observaciones esféricas continuas.

Decodificación Unificada Multi-Tarea

PaGeR utiliza un backbone transformador compartido con cabezas de tareas especializadas y acopladas para decodificar múltiples modalidades geométricas en una sola pasada hacia adelante:

• Profundidad Invariante a la Escala (SI): Predice la profundidad log-planar local para comprimir la variación métrica. Utiliza una pérdida compuesta que equilibra la precisión de píxeles, la preservación de gradientes y la consistencia de normales.
• Normales de Superficie: Una rama paralela inicializada con pesos de profundidad preentrenados, optimizada con un objetivo conjunto que combina la similitud del coseno y la pérdida perceptual para evitar un suavizado excesivo.
• Escala Métrica: Un decodificador grueso y de baja resolución predice un factor de escala global alineando la profundidad SI con un mapa log-métrico grueso. Esto desacopla la estimación de escala absoluta de la reconstrucción estructural de alta resolución.
• Segmentación del Cielo: Una rama ligera segmenta el cielo para desacoplar explícitamente las regiones de profundidad infinita, estabilizando la regresión métrica para estructuras finitas.

Contribuciones Clave

1. Estrategia de Adaptación Novel: Un método para transferir modelos fundacionales de perspectiva al dominio de 360° utilizando representación de cubemap y entrenamiento híbrido, evitando las distorsiones de la ERP.
2. Marco PaGeR: Un modelo unificado que presenta un backbone transformador compartido y cabezas especializadas para la predicción simultánea de profundidad SI, profundidad métrica, normales de superficie y máscaras de cielo.
3. Benchamark ZüriPano: Un nuevo conjunto de datos de panorámicas urbanas exteriores del mundo real con escaneos LiDAR de alta precisión, curado para abordar la falta de datos de evaluación rigurosos para escenarios exteriores de largo alcance.
4. Rendimiento de Última Generación: Demostró generalización en cero disparos a través de diversos entornos interiores y exteriores, superando a los métodos existentes limitados a configuraciones específicas.

Resultados Experimentales

Los autores evaluaron PaGeR en conjuntos de datos tanto interiores (Matterport3D360, Stanford2D3DS) como exteriores (ZüriPano).

• Rendimiento Cuantitativo: PaGeR logró resultados de última generación en todos los benchmarks. En el desafiante conjunto de datos exterior ZüriPano, redujo el Error Relativo Absoluto (AbsRel) de 18.27 (anterior mejor, RPG360) a 9.36. En la estimación de profundidad métrica, logró un RMSE de 530.85 en ZüriPano, superando significativamente al siguiente mejor método (716.38).
• Normales de Superficie: En el conjunto de datos Structured3D, PaGeR logró un Error Angular Medio de 5.49° y un MSE de 174.9, superando a arquitecturas especializadas como PanoNormal e HyperSphere.
• Resultados Cualitativos: Las comparaciones visuales muestran que PaGeR recupera límites más nítidos y estructuras globales más precisas en comparación con líneas base como DAP y DA2, que a menudo sufren de suavizado excesivo. Las reconstrucciones de nubes de puntos demuestran la capacidad del marco para preservar estructuras intrincadas de interiores y topografías exteriores complejas sin los artefactos de límites comunes en otros métodos.
• Eficiencia: El modelo procesa una panorámica completa de 2K en 0.5 segundos en una sola GPU de nivel de consumo, consumiendo 12.8 GB de memoria.

Significado y Afirmaciones

El artículo afirma que PaGeR establece un nuevo estado del arte para la reconstrucción de geometría panorámica en cero disparos. Su significado principal radica en demostrar que los potentes modelos fundacionales de perspectiva pueden adaptarse eficazmente al dominio esférico mediante cambios arquitectónicos mínimos (representación de cubemap y relleno cruzado entre caras) y una estrategia de entrenamiento híbrida.

Los autores enfatizan que su enfoque:

• Mantiene Priores Ricos: Al aprovechar el backbone DA3 preentrenado, el modelo mantiene una fuerte comprensión de la estructura superficial 3D sin necesidad de reaprender desde cero.
• Asegura Consistencia Global: El relleno cruzado entre caras y el codificador sincronizado permiten una reconstrucción fluida a través de toda la vista de 360°, resolviendo los problemas de discontinuidad de límites de los enfoques multi-caras anteriores.
• Generaliza Robustamente: El marco funciona excepcionalmente bien en entornos no vistos, incluidas escenas exteriores de largo alcance donde los métodos anteriores a menudo fallan.

El artículo concluye que, aunque la instancia actual utiliza DA3, los principios arquitectónicos son compatibles con otros transformadores geométricos, ofreciendo una metodología generalizada para cerrar la brecha de dominio entre la comprensión de escenas 3D en perspectiva y panorámica. Los autores reconocen limitaciones comunes a la estimación monoculares, como las dificultades con superficies especulares o transparentes, y señalan que pueden ocurrir desalineaciones sutiles de límites en escenas estructuralmente complejas y raras.