Resumen Técnico: CasaMaestro

Declaración del Problema

El rápido desarrollo de la IA incorporada (embodied AI) para entornos domésticos requiere una reconstrucción 3D rápida y métricamente precisa de espacios residenciales para apoyar la navegación y la ejecución de tareas de largo alcance. Los pipelines de reconstrucción 3D de vanguardia actuales dependen principalmente de modelos de fundamentos de visión (VFM) de cámara de ojo de cerradura (pinhole). Estos métodos enfrentan limitaciones significativas cuando se aplican a escenas interiores a escala de casa:

1. Campo de Visión (FoV) Limitado: Las cámaras de ojo de cerradura requieren secuencias de imágenes densas (miles de imágenes) para cubrir múltiples habitaciones, lo que conlleva altos costos computacionales y de esfuerzo humano.
2. Deriva y Errores de Acumulación: Las largas cadenas de alineación incremental en secuencias densas exacerban la deriva, causando errores de reconstrucción severos.
3. Fallo en Captura Dispersa: Los modelos de ojo de cerradura existentes tienen dificultades con puntos de vista dispersos (pocas imágenes), fallando a menudo en la recuperación de la geometría de la escena debido a un solapamiento insuficiente.
4. Dependencia de Hardware: Aunque el LiDAR ofrece activos de alta calidad, es costoso y depende del hardware, mientras que las soluciones basadas en visión carecen de robustez para entradas panorámicas extensas y dispersas.

Los enfoques panorámicos existentes están mayormente restringidos a la predicción de profundidad de vista única o configuraciones de múltiples vistas de pequeña escala y corto alcance (por ejemplo, 2–5 vistas), sin abordar el desafío de la reconstrucción a escala de casa a partir de panoramas multivista dispersos.

Metodología

CasaMaestro se presenta como el primer modelo de alimentación directa (feedforward) capaz de realizar reconstrucciones 3D panorámicas sin extrínsecos, utilizando capturas dispersas a escala de casa (20–50 panoramas). La arquitectura sigue una filosofía de diseño minimalista, construida sobre un backbone DINOv2 con cabezales especializados para profundidad y pose.

1. Backbone Multivista Unificado

El modelo utiliza un backbone de transformador DINOv2 vanilla para procesar un número arbitrario de vistas panorámicas ($V$).

• Tokenización: Las panoramas de entrada se tratan como vistas distintas. Se generan incrustaciones de parches (patch embeddings) para cada vista.
• Mecanismo de Atención: El backbone alterna entre auto-atención intra-vista (procesando las vistas individuales de forma independiente) y auto-atención cross-view (aplanando la dimensión de la vista para permitir que los tokens de diferentes vistas intercambien información). Esta interacción global inyecta un contexto de escena integral, mejorando la robustez contra grandes desplazamientos de punto de vista.
• Salida: El backbone produce representaciones compartidas utilizadas tanto para la estimación de profundidad como de pose.

2. Decodificador de Pose de Cámara Panorámica

Para abordar los desafíos geométricos específicos de las entradas panorámicas, se introduce un decodificador de pose de cámara ligero dedicado, que desacopla la estimación de la pose del backbone principal.

• Motivación: Mientras que el backbone extrae características densas, la estimación de la pose es una tarea geométrica global que requiere alineación entre vistas. La regresión independiente (MLP por vista) carece de intercambio explícito de información.
• Arquitectura:
  • Proyección de Características: Las entradas se proyectan a la dimensión del modelo.
  • Refinamiento por Vista: Un MLP de pre-atención con conexiones residuales condiciona los tokens.
  • Atención Cross-view: Una capa de decodificador de transformador agrega información a través de la dimensión de la vista, utilizando una máscara de atención opcional para manejar regiones inválidas (por ejemplo, postes de la cámara).
  • Cabezales de Pose: Cabezales lineales separados regresan la traslación ($\mathbf{t} \in \mathbb{R}^3$) y la rotación (cuaternión unitario $\mathbf{q} \in \mathbb{R}^4$). La rotación se normaliza explícitamente para asegurar la validez geométrica.
• Ventaja: Este diseño permite que el backbone se concentre en la extracción de características mientras el decodificador fuerza explícitamente la consistencia global para la predicción de la pose.

3. Aumento de Datos ERP

Para superar la escasez de puntos de vista diversos en los conjuntos de datos existentes (donde las vistas suelen tener rotaciones relativas mínimas), los autores proponen una novedosa estrategia de aumento de datos de Proyección Equirectangular (ERP).

• Proceso: Se muestrean y aplican rotaciones aleatorias (yaw, pitch, roll) a la panorama de origen mediante rotación de rayos y remapeo.
• Consistencia: El aumento preserva estrictamente la geometría 3D al deformar simultáneamente las imágenes RGB, los mapas de profundidad y actualizar las matrices extrínsecas de la cámara (bloque de rotación) mediante multiplicación por la derecha.
• Impacto: Esto genera pares de pose-vista abundantes, impulsando significativamente la robustez del modelo ante cambios de orientación y fomentando el razonamiento cross-view.

Contribuciones Clave

1. Modelo CasaMaestro: El primer modelo feedforward para reconstrucción panorámica métrica a escala de casa. Acepta de 20 a 50 panoramas interiores dispersos y predice directamente la profundidad métrica y las poses de la cámara, permitiendo la reconstrucción inmediata de nubes de puntos de hogares enteros.
2. Decodificador de Pose Ligero: Un decodificador especializado diseñado para manejar grandes desplazamientos en entradas panorámicas, logrando una precisión de estimación de pose superior mediante mecanismos de atención cross-view.
3. Aumento de Datos ERP: Una estrategia novedosa para generar pares de pose-vista diversos a partir de datos existentes, abordando la limitación de la rotación de puntos de vista limitada en los conjuntos de datos de entrenamiento actuales.

Resultados Experimentales

El modelo fue entrenado en el conjunto de datos Realsee3D y evaluado tanto en escenas reales como sintéticas, incluyendo pruebas zero-shot en conjuntos de datos no vistos (PanoSUNCG, HM3D, Replica).

• Estimación de Pose: CasaMaestro supera significativamente a los métodos existentes (incluyendo PanoPose, SPR, VGGT y Pi3).
  • En Realsee-Real, logra un AUC@30 de 0.903, lo que representa una mejora del 84% sobre el mejor resultado previo.
  • En Realsee-Syn, logra un AUC@30 de 0.927, lo que representa una mejora del 119%.
  • Demuestra errores de rotación y traslación bajos y equilibrados, mientras que otros métodos suelen sufrir de altos errores de rotación o fallan en la reconstrucción de estructuras de casas bajo vistas dispersas.
• Estimación de Profundidad:
  • CasaMaestro logra un AbsRel de 0.078 en Realsee-Real y 0.079 en Realsee-Syn.
  • En evaluaciones zero-shot en conjuntos de datos no vistos, muestra una disminución promedio del 21.98% en AbsRel en comparación con los mejores métodos previos de estimación de profundidad panorámica, a pesar de no estar diseñado explícitamente solo para profundidad.
• Desempeño Cualitativo: Las comparaciones visuales muestran que, mientras otros métodos producen reconstrucciones desordenadas o corruptas con entradas dispersas, CasaMaestro restaura con precisión las estructuras de la casa con cobertura total y consistencia geométrica.

Significado y Afirmaciones

El artículo afirma que CasaMaestro establece un nuevo paradigma para la reconstrucción 3D al demostrar que la reconstrucción "any-view" (cualquier vista) de alimentación directa no está restringida a cámaras de ojo de cerradura. Al aprovechar las panoramas multivista, el modelo logra:

• Eficiencia: Reduciendo el tiempo de reconstrucción de ~25s (ojo de cerradura denso) a 0.56s para escenas a escala de casa.
• Robustez: Manejando con éxito entradas dispersas (20–50 vistas) donde los métodos tradicionales fallan.
• Base para Simulación: Proporcionando una base sólida para la adquisición de activos 3D de interiores a escala de casa para la simulación de bucle cerrado en la IA incorporada.

Los autores concluyen que el auge de los Modelos de Fundamentos de Visión construidos sobre panoramas y cámaras de ojo de pez podría proporcionar una nueva revolución en las tareas 3D, yendo más allá de las limitaciones de los modelos de ojo de cerradura de campo de visión estrecho.