Resumen Técnico: OrientSAM

Planteamiento del Problema

Los Modelos de Lenguaje Multimodales Grandes (MLLMs) exhiben limitaciones significativas en tareas de razonamiento espacial que requieren una transformación de perspectiva. Mientras que los modelos actuales funcionan bien en tareas interpretables directamente desde la vista de la cámara, tienen dificultades cuando la respuesta correcta depende del punto de vista local de un objeto de referencia (razonamiento alocéntrico) en lugar del plano de la imagen (razonamiento egocéntrico).

Los autores identifican un modo de fallo específico denominado "atajo centrado en la cámara" (camera-centric shortcut). En escenarios donde la relación espacial definida por el marco local del objeto de referencia entra en conflicto con la disposición horizontal en el plano de la imagen, los MLLMs recurren consistentemente al atajo centrado en la cámara. El artículo demuestra que este atajo no es meramente un déficit general de razonamiento espacial, sino que está estrechamente vinculado a la orientación del objeto de referencia. Específicamente, los modelos fallan al realizar la transformación de marco de referencia necesaria cuando la dirección hacia la cual mira el objeto de referencia diverge del punto de vista de la cámara, lo que indica una falta de modelado explícito de la orientación en sus representaciones.

Metodología: OrientSAM

Para abordar esto, los autores proponen OrientSAM (Alineación Espacial Consciente de la Orientación), un marco diseñado para inyectar información de orientación explícita en las representaciones multimodales y alinearla con el razonamiento espacial descendente. La metodología consta de tres componentes principales:

1. Construcción de Datos Espaciales con Multi-Expertos

Dado que la supervisión espacial consciente de la orientación a gran escala es escasa, los autores construyen un flujo de trabajo para generar automáticamente datos de entrenamiento a partir de imágenes 2D a gran escala. Este flujo integra:

• Localización de Regiones (Region Grounding): Uso de modelos como GroundingDINO y SAM para extraer cajas delimitadoras de objetos y máscaras de segmentación.
• Estimación de Geometría Monocular: Estimación de mapas de profundidad y parámetros intrínsecos de la cámara para derivar la profundidad a nivel de instancia.
• Predicción de Orientación: Uso de un modelo de estimación de orientación para predecir direcciones de orientación semántica (ángulos polares, azimut y rotación) para cada objeto.
• Organización por Currículo: Los datos se filtran por confianza y se organizan en dos etapas: una etapa de percepción de orientación (aprendizaje de primitivas de orientación estables) y una etapa de razonamiento de relaciones (aprendizaje de la transformación de marco de referencia).

2. Representación Consciente de la Orientación

OrientSAM codifica explícitamente la orientación del objeto en el espacio de entrada multimodal, yendo más allá de tratar la orientación como un mero indicio textual.

• Codificación de Ángulo Basada en Fourier: Para manejar la naturaleza periódica de los ángulos (donde $0^\circ$ y $360^\circ$ son idénticos), los autores emplean una codificación de características de Fourier ($\gamma(\phi)$) en lugar de una regresión escalar directa.
• Inyección de Tokens: La codificación de la orientación se inyecta tanto en las representaciones visuales como textuales:
  • Visual: La codificación de la orientación se proyecta y se añade a las características RGB a nivel de región ($\tilde{r}_i = r_i + W_o\gamma(\phi_i)$).
  • Textual: El token del objeto se aumenta con la misma codificación ($\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$).
• Alineación Estructurada: El modelo utiliza tokens desentrelazados para apariencia ($\langle r_{gbi} \rangle$), profundidad ($\langle depth_i \rangle$) y orientación ($\langle orient_i \rangle$). Esto permite que el modelo de lenguaje atienda dinámicamente a las claves geométricas específicas requeridas para el razonamiento, en lugar de colapsarlas en un solo vector.

3. Estrategia de Aprendizaje por Currículo

El proceso de entrenamiento sigue un currículo progresivo para estabilizar el aprendizaje:

• Etapa 1 (Percepción de la Orientación): El modelo es entrenado para predecir el ángulo de azimut de objetos individuales, estableciendo un mapeo robusto entre la apariencia visual y la dirección de orientación semántica.
• Etapa 2 (Razonamiento Consciente de la Orientación): El modelo es entrenado en tareas completas de toma de perspectiva, prediciendo relaciones espaciales bajo el sistema de coordenadas del objeto de referencia utilizando los tokens estructurados de RGB-profundidad-orientación. Esto evita que el modelo converja a atajos centrados en la cámara al forzarlo a depender de los sesgos de orientación aprendidos.

Contribuciones Clave

1. Marco de Diagnóstico: Los autores introducen un marco unificado para desentrelazar respuestas centradas en la referencia (verdad de campo bajo la vista del objeto) de las respuestas centradas en la cámara (relaciones del plano de la imagen). El análisis revela que los MLLM actuales exhiben un fuerte atajo centrado en la cámara, particularmente cuando estas dos respuestas entran en conflicto, y que la fuerza de este atajo varía con la orientación del objeto de referencia.
2. Marco OrientSAM: Un novedoso marco de alineación que incorpora explícitamente sesgos de orientación en las representaciones multimodales mediante codificación basada en Fourier y tokens estructurados, abordando el cuello de botella de la transformación de marco de referencia.
3. Flujo de Construcción de Datos: Un flujo de trabajo escalable de multi-expertos que genera supervisión espacial consciente de la orientación a partir de imágenes 2D a gran escala, permitiendo el entrenamiento de modelos en tareas de toma de perspectiva sin anotación 3D manual.
4. Validación Empírica: Experimentos extensos demuestran que el modelado explícito de la orientación es crítico para un razonamiento alocéntrico robusto.

Resultados Experimentales

OrientSAM fue evaluado en tres bancos de pruebas: Spatial-MM, ViewSpatial y 3DSRBench.

• Ganancias de Rendimiento: OrientSAM supera consistentemente a los fuertes modelos de base (incluyendo LLaVA-v1.5, Qwen2.5-VL, Qwen3-VL, SpatialRGPT y APC-Vis).
  • En Spatial-MM, alcanza un 87.31% de precisión en tareas que no son de vista de cámara, superando significativamente al mejor modelo base (APC-Vis con 86.57%).
  • En ViewSpatial, logra resultados de vanguardia en tres de cuatro subtareas, con un margen notable en dirección relativa de la vista de la persona (85.04% frente a 72.57% de APC-Vis).
  • En 3DSRBench, lidera en las tareas de Orientación y Dirección (81.83%) y Relación de Multi-objetos (77.80%).
• Estudios de Ablación:
  • Inyección de Orientación: Eliminar la rama de orientación reduce significamente el rendimiento (por ejemplo, de 87.31% a 76.29% en Spatial-MM para vistas no centradas en la cámara), confirmando que el ajuste fino de datos por sí solo es insuficiente.
  • Aprendizaje por Currículo: Eliminar la estrategia de currículo reduce el rendimiento, indicando que el entrenamiento progresivo de la percepción al razonamiento es esencial para la estabilidad.
  • Estrategia de Codificación: La codificación basada en Fourier (específicamente $N=2$) supera la codificación escalar directa, validando la necesidad de modelar la naturaleza periódica de los ángulos.
• Análisis de Atajos: El estudio confirma que OrientSAM mitiga eficazmente el atajo centrado en la cámara. En muestras de conflicto, el acuerdo del modelo con la verdad de campo centrada en la referencia aumenta mientras que su dependencia de las claves centradas en la cámara disminuye, particularmente en los regímenes de frente y espalda donde los modelos previos fallaron.

Significancia y Reivindicaciones

El artículo afirma que el principal cuello de botella para el razonamiento espacial consciente de la perspectiva en los MLLM no es la falta de percepción visual general o de claves geométricas genéricas, sino la ausencia de un modelado de orientación explícito.

Los autores argumentan que:

1. El Sesgo Centrado en la Cámara es Sistemático: Los modelos actuales dependen de heurísticas del plano de la imagen en lugar de una verdadera toma de perspectiva, un comportamiento que se exacerba cuando la orientación del objeto de referencia entra en conflicto con la vista de la cámara.
2. La Orientación es un Sesgo Inductivo Ausente: Al inyectar explícitamente los sesgos de orientación en el espacio de representación, los modelos pueden aprender a transformar las relaciones espaciales en marcos de referencia locales, permitiendo un razonamiento alocéntrico robusto.
3. Implicaciones Prácticas: Este enfoque es crucial para aplicaciones que requieren interacción encarnada (embodied), colaboración humano-objeto y comprensión de la escena, donde el razonamiento debe ocurrir desde el punto de vista de una entidad en la escena en lugar de la cámara.

Los autores mantienen la modestia respecto a las limitaciones, reconociendo que el marco actualmente depende de la calidad de los modelos expertos ascendentes (grounding, profundidad, orientación) y se enfoca principalmente en el razonamiento espacial izquierda/derecha. Sugieren que el trabajo futuro debería abordar relaciones espaciales más ricas y reducir la dependencia de anotaciones externas.