Resumen Técnico: PanoPlane

Enunciado del Problema

La reconstrucción de escenas interiores desde puntos de vista dispersos para la síntesis de nuevas vistas es fundamental para tareas como la comprensión de escenas y la navegación encarnada. Aunque la Splatting Gaussiana 3D (3DGS) logra un renderizado fotorrealista con cobertura multivista densa, enfrenta grandes dificultades con entradas dispersas (por ejemplo, 3–9 vistas). En estos escenarios, grandes porciones de la escena permanecen sin observar, lo que conduce a geometrías colapsadas, artefactos flotantes y superficies incoherentes.

Los métodos existentes para vistas dispersas intentan abordar esto aprovechando priores de difusión para generar vistas de entrenamiento adicionales. Sin embargo, estos enfoques enfrentan dos limitaciones principales:

1. Campo de Visión Limitado: La generación basada en perspectiva captura solo pequeñas porciones de la escena, introduciendo a menudo inconsistencias geométricas entre las vistas.
2. Falta de Guía Estructural: Los métodos actuales no pueden dirigir directamente la atención interna de los modelos de difusión hacia regiones observadas estructuralmente relevantes durante la generación. En consecuencia, las regiones no observadas a menudo sufren alucinaciones sin restricciones en lugar de una extrapolación de superficies fundamentada.

Metodología: PanoPlane

PanoPlane propone un enfoque consciente de la geometría que reconstruye la geometría de habitaciones cerradas mediante la completación panorámica de escenas. En lugar de generar vistas de perspectiva fragmentadas, aprovecha la completación panorámica de 360° condicionada a la disposición espacial completa de la escena.

Pipeline Central

1. Inicialización Consciente de Planos:

   • Se entrena un modelo inicial grueso de Splatting Gaussiano 2D (2DGS) sobre entradas dispersas.
   • Un Modelo de Visión-Lenguaje (VLM) clasifica las superficies planas detectadas en planos de disposición (paredes, suelos, techos) y planos no de disposición (muebles, objetos).
   • Los mapas de profundidad se refinan utilizando la intersección rayo-plano para los píxeles asignados a superficies de disposición, asegurando consistencia geométrica.

2. Renderizado y Selección Panorámica:

   • A partir del 2DGS grueso, se renderizan panoramas equirectangulares (ERP) en puntos de vista seleccionados.
   • Las regiones no observadas aparecen como "agujeros" en el panorama.
   • Una función de puntuación selecciona el panorama óptimo para la completación basándose en el número de voxels no observados visibles, la relación agujero/observado y la diversidad de planos de disposición en la región observada.

3. Dirigido de Atención Anclado a la Disposición (Innovación Clave):

   • Asignación de Agujeros: Los tokens no observados (agujeros) en el espacio panorámico latente se asignan a planos de disposición específicos utilizando dos estrategias complementarias:
     • Basada en geometría: Intersección rayo-plano en el espacio 3D.
     • Basada en límites: Proximidad 2D a tokens observados en la cuadrícula latente.
   • Modificación de Atención: Un mecanismo sin entrenamiento modifica las matrices de Consulta ($Q$) y Clave ($K$) dentro del transformador de difusión (DiT360) durante la inferencia.
     • Para cada token de agujero, el vector de consulta se desplaza hacia el centroide de los vectores de clave de los tokens observados que pertenecen al mismo plano de disposición asignado.
     • Las claves de los tokens observados en ese plano se refuerzan.
   • Esto obliga al modelo a atender contenido observado geométricamente consistente en lugar de depender de la proximidad estadística, reemplazando efectivamente la alucinación con una extrapolación de superficie fundamentada.

4. Refinamiento:

   • Los panoramas de 360° completados se descomponen en caras de cubemap y se añaden al conjunto de entrenamiento.
   • El modelo 2DGS se refina utilizando una combinación de pérdida fotométrica estándar en vistas originales y una pérdida con peso reducido en vistas completadas, junto con regularización geométrica frente a los mapas de profundidad refinados por planos.

Contribuciones Clave

1. Dirigido de Atención Anclado a la Disposición: Un mecanismo sin entrenamiento que guía la completación panorámica de escenas anclando la atención interna del modelo de difusión a la disposición 3D de la escena (específicamente paredes, suelos y techos). Esto asegura que las regiones no observadas se completen como extensiones geométricas de las superficies detectadas.
2. Asignación de Planos Consciente de Semántica: Un pipeline que utiliza razonamiento basado en VLM para distinguir entre planos de disposición estructurales y objetos no estructurales, permitiendo un dirigido de geométrico selectivo que evita alucinar texturas planas en muebles.
3. Priors Panorámicos para Reconstrucción de Vistas Dispersas: Demuestra que la completación panorámica de 360° proporciona un contexto global superior en comparación con la generación basada en perspectiva, conduciendo a una síntesis de nuevas vistas de mayor fidelidad.

Resultados

Se realizaron experimentos en tres benchmarks interiores estándar: Replica, ScanNet++ y Matterport3D, a través de 3, 6 y 9 vistas de entrada.

• Rendimiento: PanoPlane logra un rendimiento de vanguardia en PSNR, SSIM y LPIPS en todos los conjuntos de datos y conteos de vistas.
  • En el conjunto de datos Replica con 3 vistas de entrada, logra una mejora de +2.71 dB en PSNR sobre la mejor línea base.
  • En Matterport3D (6 vistas), supera a la línea base más fuerte (G4Splat) en +2.60 dB.
• Eficiencia: El método no requiere entrenamiento ni ajuste fino del modelo de difusión subyacente. El tiempo de ejecución adicional para el mecanismo de dirigido es negligible, con tiempos totales de inferencia comparables a otras líneas base generativas.
• Ablación: Eliminar el mecanismo de dirigido de disposición causa la mayor caída de rendimiento (aprox. -1.02 dB), confirmando que es el principal impulsor de la consistencia geométrica. También se muestra que el filtrado semántico es crítico; sin él, el dirigido a menudo dirige la atención hacia superficies no de disposición, anulando los beneficios.

Significado y Afirmaciones

El artículo afirma que PanoPlane establece un nuevo paradigma para la reconstrucción interior de vistas dispersas al cambiar de la generación de perspectiva fragmentada a la completación holística de 360°. Al dirigir explícitamente la atención del modelo de difusión hacia la estructura planar subyacente de la escena, el método logra completaciones geométricamente consistentes sin requerir ajuste fino por escena.

Los autores posicionan este trabajo como un puente entre la regularización geométrica (para regiones observadas) y la completación generativa (para regiones no observadas). Señalan que el método asume estructuras planares detectables y podría tener dificultades en entornos dominados por superficies curvas o desorden pesado que oculta el envoltorio estructural. Se sugiere trabajo futuro que incluya fuerzas de dirigido adaptativas y extensiones a primitivas no planares.