MTPano: Multi-Task Panoramic Scene Understanding via Label-Free Integration of Dense Prediction Priors

1. Planteamiento del Problema

La comprensión de escenas panorámicas es crítica para aplicaciones inmersivas (RV, robótica), pero enfrenta dos cuellos de botella principales:

• Escasez de Datos: Las anotaciones a nivel de píxel de alta resolución para imágenes panorámicas de 360° en múltiples tareas (segmentación semántica, profundidad, normales de superficie) son prohibitivamente costosas y laboriosas de crear.
• Conflictos Geométricos y de Tareas:
  • Distorsión: Los modelos base de perspectiva estándar fallan al aplicarse directamente a datos panorámicos debido a las severas distorsiones de la Proyección Ecuatorial (ERP) (estiramiento polar).
  • Interferencia de Tareas: En el Aprendizaje Multi-Tarea (MTL), diferentes tareas de predicción densa tienen propiedades geométricas conflictivas. Las tareas invariantes a la rotación (ej. segmentación semántica, profundidad) dependen del contexto espacial relativo, mientras que las tareas variantes a la rotación (ej. normales de superficie) están estrictamente ligadas a la orientación absoluta de la cámara. Compartir características de manera ingenua entre estos grupos conduce a una "transferencia negativa", donde las tareas degradan el rendimiento de las demás.

2. Metodología

Los autores proponen MTPano, un marco unificado que combina una Pipeline de Entrenamiento sin Etiquetas con una arquitectura novedosa llamada Panorama-Dual-BridgeNet (PD-BridgeNet).

A. Pipeline de Entrenamiento sin Etiquetas

Para superar la falta de datos panorámicos anotados, MTPano aprovecha potentes modelos base de perspectiva pre-entrenados (ej. InternImage-H, MoGe-2) como maestros.

1. Proyecciones Recíprocas: Las imágenes panorámicas sin etiquetar se proyectan en múltiples parches de perspectiva aleatorios (simulando cámaras virtuales con campo de visión, guiñada y cabeceo aleatorios).
2. Generación de Pseudo-Etiquetas: Modelos de perspectiva listos para usar generan predicciones densas de alta calidad en estos parches sin distorsión.
3. Supervisión por Parches: En lugar de unir las predicciones (lo que causa artefactos), las pseudo-etiquetas se reproyectan de nuevo al dominio esférico. El modelo se entrena utilizando una estrategia de supervisión aleatorizada por parches, forzando a la red a aprender una distribución consistente a través de las vistas mientras filtra el ruido de proyección.

B. Panorama-Dual-BridgeNet (PD-BridgeNet)

La arquitectura está diseñada para manejar la distorsión ERP y resolver los conflictos de tareas mediante tres componentes clave:

1. Desenredamiento de Características Consciente de la Geometría:

   • La red se divide en dos flujos paralelos: un Flujo Invariante ($M_{inv}$) para tareas invariantes a la rotación (segmentación, profundidad) y un Flujo Variante ($M_{var}$) para tareas variantes a la rotación (normales).
   • Flujo Invariante: Se centra en propiedades intrínsecas de los objetos sin priores de orientación absoluta.
   • Flujo Variante: Inyecta priores de coordenadas esféricas absolutas (dirección y posición del rayo 3D) a través de capas de Modulación Consciente de la Geometría (FiLM). Esto permite que la red entienda atributos sensibles a la orientación como las normales de superficie.

2. Mezclador de Tokens ERP:

   • Para abordar la distorsión no uniforme en las imágenes ERP, se emplea una estrategia de doble núcleo adaptativa a la latitud. Fusiona dinámicamente núcleos estándar de $3\times3$ (para regiones ecuatoriales) y núcleos anchos de $3\times9$ (para regiones polares) basándose en la latitud del píxel, asegurando una agregación espacial uniforme.

3. Mecanismo de Puente con Gradiente Truncado:

   • Para permitir una interacción inter-tarea beneficiosa sin transferencia negativa, los flujos se conectan mediante un BridgeNet.
   • Tareas Auxiliares: Tareas auxiliares densas (Gradiente de Imagen, Campo de Distancia de Bordes, Mapa de Puntos Métricos) proporcionan pistas estructurales ricas.
   • Flujo de Gradiente Truncado: Una innovación crítica donde las características entre flujos se agregan mediante Atención Cruzada para la propagación hacia adelante (compartiendo contexto) pero se desconectan durante la retropropagación. Esto bloquea que los gradientes conflictivos fluyan entre los flujos invariante y variante, evitando la interferencia en la optimización.

3. Contribuciones Clave

1. Modelo Base sin Etiquetas: MTPano es el primer modelo base panorámico multi-tarea entrenado sin anotaciones manuales, destilando efectivamente el conocimiento de modelos base de perspectiva al dominio esférico.
2. Resolución de Conflictos Geométricos: El artículo identifica y resuelve el conflicto fundamental entre tareas invariantes y variantes a la rotación en MTL panorámico mediante la arquitectura PD-BridgeNet.
3. Componentes Arquitectónicos Novedosos:
   • PD-BridgeNet: Una arquitectura de doble flujo con modulación consciente de la geometría.
   • Mezclador de Tokens ERP: Un mecanismo consciente de la distorsión para la extracción de características esféricas.
   • Flujo de Gradiente Truncado: Un mecanismo para facilitar el intercambio de información sinérgica mientras se aíslan los gradientes conflictivos.
4. Integración de Tareas Auxiliares: La introducción de tareas auxiliares densas específicas (Gradiente, EDF, Mapa de Puntos) para fertilizar el aprendizaje inter-tarea.

4. Resultados Experimentales

MTPano fue evaluado en benchmarks estándar: Structured3D (sintético), Stanford2D3D (mundo real) y Matterport3D.

• Rendimiento de Vanguardia: MTPano supera tanto a especialistas de tarea única como a líneas base multi-tarea existentes en todas las métricas.
  • Segmentación Semántica: Logró un 75.66% mIoU en Structured3D (superando al mejor anterior en +3.69%).
  • Estimación de Profundidad: Redujo el error Relativo Absoluto a 0.0248 en Structured3D (vs. 0.0341 para el especialista DAP).
  • Normales de Superficie: Logró un error angular medio de 3.85° en Structured3D (vs. 5.56° para PanoNormal).
• Robustez: El modelo demuestra una fuerte generalización en conjuntos de datos del mundo real (Stanford2D3D) y en datos sintéticos "in-the-wild", manteniendo una alta fidelidad geométrica.
• Estudios de Ablación:
  • Eliminar el desenredamiento de características o la truncación de gradientes conduce a caídas significativas en el rendimiento (transferencia negativa), validando la necesidad del diseño de doble flujo.
  • Escalar los datos de entrenamiento (hasta 140k panoramas) mejora consistentemente la generalización.
  • Utilizar DINOv3 como columna vertebral produce resultados superiores en comparación con la inicialización de ImageNet.

5. Significado

MTPano representa un cambio de paradigma en la comprensión de escenas panorámicas al:

• Eliminar la Dependencia de Anotaciones: Demostrar que se pueden construir modelos panorámicos multi-tarea de alta fidelidad utilizando únicamente datos sin etiquetar y priores de perspectiva.
• Resolver Conflictos Geométricos: Proporcionar una solución teórica y arquitectónica a los desafíos específicos de la geometría esférica en el aprendizaje multi-tarea, los cuales métodos anteriores ignoraron.
• Escalabilidad: Ofrecer un modelo base robusto y escalable que puede adaptarse fácilmente a nuevas tareas o dominios, allanando el camino para sistemas de visión 360° más inmersivos e inteligentes.

El código y los modelos se han publicado públicamente, facilitando más investigación en visión por computadora esférica.