Resumen Técnico: PanoWorld: Hacia la Supersensibilidad Espacial en el Mundo de Panorama 360°

Enunciado del Problema

Los Modelos de Lenguaje Multimodal Grandes (MLLM) actualmente luchan con el razonamiento espacial robusto porque se entrenan predominantemente en imágenes de perspectiva, heredando un campo de visión (FoV) estrecho que limita su capacidad para percibir el entorno circundante completo. Si bien la sensado panorámico de 360° ofrece "supersensibilidad" al capturar todo el entorno centrado en el observador, las pipelines existentes de MLLM típicamente descomponen estos panoramas en múltiples vistas de perspectiva discretas. Este enfoque trata la estructura esférica de la proyección equirectangular (ERP) como implícita, fallando en aprovechar la continuidad globalmente consistente, de envoltura alrededor, y las relaciones espaciales dependientes del punto de vista inherentes a los datos panorámicos.

Transferir directamente modelos basados en perspectiva a panoramas es un desafío debido a brechas fundamentales de representación, incluyendo distorsión geométrica, muestreo espacial no uniforme y discontinuidades en los límites. Además, la investigación actual de MLLM panorámicos está fragmentada, careciendo de una taxonomía de capacidades sistemática y de una evaluación unificada para evaluar el razonamiento espacial más allá de las métricas estándar de Respuesta a Preguntas Visuales (VQA).

Metodología

Los autores proponen PanoWorld, un marco unificado para el aprendizaje espacial "nativo de panorama" que permite a los MLLM razonar directamente sobre panoramas ERP continuos centrados en el observador. La metodología consta de tres componentes principales:

1. Taxonomía de Capacidades

El artículo define la comprensión nativa de panorama a través de cuatro familias de capacidades, que sirven como base para la supervisión y la evaluación:

• Anclaje Semántico: Aterrizar el lenguaje en entidades visuales, atributos y topología global de la escena.
• Anclaje Esférico: Localizar entidades en la esfera de visualización utilizando parámetros de guiñada (yaw) y cabeceo (pitch) en lugar de coordenadas de imagen planas.
• Transformación del Sistema de Referencia: Razonar sobre relaciones espaciales bajo rotación del observador (rotación de la cámara) o reorientación condicionada por objetos, incluyendo la continuidad de envoltura alrededor consciente de las costuras.
• Razonamiento Espacial 3D Consciente de la Profundidad: Conectar observaciones esféricas con la estructura 3D, incluyendo profundidad, distancia relativa y relaciones centradas en el espectador (por ejemplo, izquierda/derecha, delante/detrás).

2. Pipeline de Construcción de Metadatos a Gran Escala

Para apoyar esta taxonomía, los autores construyeron un conjunto de datos de 570K panoramas ERP de alta calidad de fuentes mixtas (interior/exterior, sintético/real). Desarrollaron un pipeline de metadatos verificable para generar supervisión consciente de la geometría, aterrizada en el lenguaje y consciente de la profundidad:

• Detección Consciente de la Geometría: Los panoramas se proyectan en vistas de perspectiva superpuestas para la detección y luego se reproyectan a coordenadas ERP con verificación geométrica (supresión basada en IoU, consistencia entre vistas) para manejar la distorsión y la división de costuras.
• Semánticas Aterradas en el Lenguaje: Un MLLM genera anotaciones semánticas y frases de referencia, las cuales se verifican mediante un bucle de "descripción-redetección" para asegurar la alineación entre el texto y las regiones visuales.
• Asociación de Profundidad: Las entidades se asocian con información de profundidad de los datos de origen o estimada mediante modelos de profundidad panorámica.
• Grafo Estructurado: Estos elementos forman un grafo de metadatos $G=(V, E)$ que representa entidades y sus relaciones esféricas/3D, de los cuales se derivan 2.998M ejemplos de ajuste de instrucciones.

3. Adaptación del Modelo Consciente de Panorama (PanoWorld)

El modelo se basa en Qwen3.5-VL y se extiende con un módulo de Atención Cruzada Espacial Esférica (SSCA).

• Construcción de Tokens Esféricos: Para cada parche visual, el modelo calcula su centro en coordenadas ERP y lo mapea a una dirección esférica $(\lambda, \phi)$. Estas direcciones se codifican mediante codificación esférica sinusoidal y se proyectan en el espacio oculto visual para crear tokens esféricos $S$.
• Inyección de Atención Cruzada: Inmediatamente después de la incrustación de parches, los tokens visuales $H^{(0)}$ consultan los tokens esféricos $S$ mediante atención cruzada. Esto permite al modelo recuperar señales conscientes de la geometría basadas en direcciones centradas en el observador.
• Fusión con Puerta de Control: La señal resultante consciente de la geometría se fusiona de nuevo en la corriente visual mediante una actualización residual con puerta de control, preservando la base preentrenada mientras se inyecta geometría esférica.

Contribuciones Clave

1. Taxonomía de Capacidades: Una formulación sistemática del razonamiento espacial panorámico descompuesta en anclaje semántico, anclaje esférico, transformación del sistema de referencia y razonamiento 3D consciente de la profundidad.
2. Datos y Evaluación: Un pipeline escalable impulsado por metadatos que produce 570K panoramas con grafos verificados, y PanoSpace-Bench, una evaluación diagnóstica que evalúa el razonamiento espacial nativo de ERP en localización, razonamiento relacional, comprensión espacial 3D y continuidad de costuras.
3. Arquitectura del Modelo: El modelo PanoWorld con Atención Cruzada Espacial Esférica, que inyecta geometría esférica en la corriente visual para una comprensión consistente con la geometría.
4. Validación Empírica: Experimentos extensos que demuestran que la supervisión nativa de panorama dedicada y la adaptación consciente de la geometría son necesarias para un razonamiento panorámico robusto.

Resultados Experimentales

El marco propuesto se evaluó en PanoSpace-Bench, H*Bench (Búsqueda Visual Centrada en el Humano) y R2R-CE Val-Unseen (Navegación Visión y Lenguaje).

• PanoSpace-Bench: PanoWorld logró una precisión general del 56.5%, superando significativamente a modelos propietarios (por ejemplo, GPT-4o con 31.8%) y líneas base de código abierto. Se observaron ganancias notables en la localización BFOV (73.3% mIoU frente a <5% para las líneas base) y en el razonamiento de continuidad de costuras (65.5% frente a ~37%).
• Transferencia H*Bench: En un ajuste de cero disparos (zero-shot), PanoWorld logró una precisión general del 56.1%, superando sustancialmente a la mejor línea base de vista de perspectiva (38.4%). Después del ajuste fino, alcanzó el 70.1%, demostrando que la representación aprendida se transfiere efectivamente a tareas de búsqueda posteriores sin sobreajustarse a la evaluación de entrenamiento.
• R2R-CE Val-Unseen: Utilizando solo panoramas ERP como entrada, PanoWorld logró una Tasa de Éxito (SR) del 54.3% y un SPL del 52.1%, superando a los modelos VLN solo RGB recientes y métodos de predictor de waypoints, a pesar de utilizar solo el 80% de los datos de entrenamiento estándar.
• Eficiencia: La inferencia directa de ERP requiere un solo paso hacia adelante, mientras que los métodos de rotación de vista de perspectiva requieren 3.5–6.3 pasos de interacción secuenciales, lo que hace que PanoWorld sea significativamente más eficiente en términos de pasos de interacción y uso de tokens.

Significado y Afirmaciones

El artículo argumenta que el razonamiento panorámico robusto no puede lograrse simplemente tratando las imágenes ERP como imágenes 2D anchas o confiando en descripciones de coordenadas a nivel de prompt. En su lugar, requiere supervisión nativa de panorama dedicada y adaptación del modelo consciente de la geometría.

Los autores afirman que su trabajo demuestra:

1. Necesidad del Aprendizaje Nativo de Panorama: Los MLLM de propósito general fallan en el razonamiento esférico; la inyección arquitectónica específica de geometría esférica y el entrenamiento en datos alineados con capacidades son esenciales.
2. Representación Unificada: El razonamiento directo sobre el espacio panorámico continuo es más eficiente y efectivo que descomponer escenas en vistas locales fragmentadas.
3. Transferibilidad: Los priores espaciales aprendidos de la supervisión nativa de panorama se generalizan a diversas tareas posteriores, incluida la búsqueda visual centrada en el humano y la navegación encarnada, superando a los métodos que dependen de la exploración de vista de perspectiva.

El artículo concluye que PanoWorld y PanoSpace-Bench proporcionan una base para avanzar en la inteligencia espacial de entorno completo, superando las limitaciones del paradigma de imagen de perspectiva.