Resumo Técnico: OrientSAM

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) exibem limitações significativas em tarefas de raciocínio espacial que exigem transformação de perspectiva. Embora os modelos atuais tenham um bom desempenho em tarefas interpretáveis diretamente da visão da câmera, eles enfrentam dificuldades quando a resposta correta depende do ponto de vista local de um objeto de referência (raciocínio alocêntrico) em vez do plano da imagem (raciocínio egocêntrico).

Os autores identificam um modo de falha específico denominado "atalho centrado na câmera" (camera-centric shortcut). Em cenários onde a relação espacial definida pelo quadro de referência local conflita com o arranjo horizontal no plano da imagem, os MLLMs recorrem consistentemente à pista centrada na câmera. O artigo demonstra que este atalho não é apenas um déficit geral de raciocínio espacial, mas está intimamente ligado à orientação do objeto de referência. Especificamente, os modelos falham em realizar a necessária transformação de quadro de referência quando a direção de face do objeto de referência diverge do ponto de vista da câmera, indicando uma falta de modelagem explícita de orientação em suas representações.

Metodologia: OrientSAM

Para abordar isso, os autores propõem o OrientSAM (Orientação-aware Spatial Alignment), um framework projetado para injetar informações de orientação explícitas nas representações multimodais e alinhá-las ao raciocínio espacial subsequente. A metodologia consiste em três componentes principais:

1. Construção de Dados Espaciais com Múltiplos Especialistas

Como a supervisão espacial orientada à orientação em larga escala é escassa, os autores construíram um pipeline para gerar automaticamente dados de treinamento a partir de imagens 2D de larga escala. Este pipeline integra:

• Grounding de Região: Uso de modelos como GroundingDINO e SAM para extrair caixas delimitadoras de objetos e máscaras de segmentação.
• Estimativa de Geometria Monocular: Estimativa de mapas de profundidade e parâmetros intrínsecos da câmera para derivar a profundidade ao nível da instância.
• Predição de Orientação: Uso de um modelo de estimativa de orientação para prever direções de face semânticas (ângulos polares, azimutais e de rotação) para cada objeto.
• Organização por Currículo: Os dados são filtrados por confiança e organizados em dois estágios: um estágio de percepção de orientação (aprendizado de primitivas de orientação estáveis) e um estágio de raciocínio de relação (aprendizado de transformação de quadro de referência).

2. Representação Consciente de Orientação

O OrientSAM codifica explicitamente a orientação do objeto no espaço de entrada multimodal, indo além de tratar a orientação como um mero indício textual.

• Codificação de Ângulo Baseada em Fourier: Para lidar com a natureza periódica dos ângulos (onde $0^\circ$ e $360^\circ$ são idênticos), os autores utilizam codificação de características de Fourier ($\gamma(\phi)$) em vez de regressão escalar direta.
• Injeção de Token: A codificação de orientação é injetada tanto nas representações visuais quanto nas textuais:
  • Visual: A codificação de orientação é projetada e adicionada às características RGB de nível de região ($\tilde{r}_i = r_i + W_o\gamma(\phi_i)$).
  • Textual: O token do objeto é aumentado com a mesma codificação ($\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$).
• Alinhamento Estruturado: O modelo utiliza tokens desalinhados para aparência ($\langle r_{gbi} \rangle$), profundidade ($\langle depth_i \rangle$) e orientação ($\langle orient_i \rangle$). Isso permite que o modelo de linguagem atenda dinamicamente às pistas geométricas específicas necessárias para o raciocínio, em vez de colapsá-las em um único vetor.

3. Estratégia de Aprendizado por Currículo

O processo de treinamento segue um currículo progressivo para estabilizar o aprendizado:

• Estágio 1 (Percepção de Orientação): O modelo é treinado para prever o ângulo de azimute de objetos individuais, estabelecendo um mapeamento robusto entre a aparência visual e a direção de face semântica.
• Estágio 2 (Raciocínio Consciente de Orientação): O modelo é treinado em tarefas completas de tomada de perspectiva, prevendo relações espaciais sob o sistema de coordenadas do objeto de referência usando os tokens estruturados de RGB-profundidade-orientação. Isso evita que o modelo converja para atalhos centrados na câmera ao forçá-lo a depender dos vieses de orientação aprendidos.

Principais Contribuições

1. Framework de Diagnóstico: Os autores introduzem um framework unificado para desmembrar respostas centradas na referência (verdade fundamental sob a visão do objeto) de respostas centradas na câmera (relações no plano da imagem). A análise revela que os MLLMs atuais exibem um forte atalho centrado na câmera, particularmente quando essas duas respostas conflitam, e que a força deste atalho varia com a orientação do objeto de referência.
2. Framework OrientSAM: Um novo framework de alinhamento que incorpora explicitamente vieses de orientação nas representações multimodais via codificação baseada em Fourier e tokens estruturados, abordando o gargalo da transformação de quadro de referência.
3. Pipeline de Construção de Dados: Um pipeline escalável de múltiplos especialistas que gera supervisão espacial orientada à orientação a partir de imagens 2D de larga escala, permitindo o treinamento de modelos em tarefas de tomada de perspectiva sem necessidade de anotação 3D manual.
4. Validação Empírica: Experimentos extensos demonstram que a modelagem explícita de orientação é crítica para um raciocínio alocêntrico robusto.

Resultados Experimentais

O OrientSAM foi avaliado em três benchmarks: Spatial-MM, ViewSpatial e 3DSRBench.

• Ganhos de Desempenho: O OrientSAM supera consistentemente as bases fortes (incluindo LLaVA-v1.5, Qwen2.5-VL, Qwen3-VL, SpatialRGPT e APC-Vis).
  • No Spatial-MM, alcança 87,31% de precisão em tarefas de não-visão de câmera, superando significativamente a melhor base (APC-Vis com 86,57%).
  • No ViewSpatial, alcança resultados de estado da arte em três de quatro subtarefas, com uma margem notável em direção relativa de visão da pessoa (85,04% vs. 72,57% para APC-Vis).
  • No 3DSRBench, lidera em tarefas de Orientação e Direção (81,83%) e Relação de Múltiplos Objetos (77,80%).
• Estudos de Ablação:
  • Injeção de Orientação: Remover o ramo de orientação reduz drasticamente o desempenho (ex: de 87,31% para 76,29% no Spatial-MM para tarefas de não-visão de câmera), confirmando que o ajuste fino de dados sozinho é insuficiente.
  • Aprendizado por Currículo: Remover a estratégia de currículo reduz o desempenho, indicando que o treinamento progressivo de percepção para raciocínio é essencial para a estabilidade.
  • Estratégia de Codificação: A codificação baseada em Fourier (especificamente $N=2$) supera a codificação escalar direta, validando a necessidade de modelar a natureza periódica dos ângulos.
• Análise de Atalho: O estudo confirma que o OrientSAM mitiga efetivamente o atalho centrado na câmera. Em amostras de conflito, o acordo do modelo com a verdade fundamental centrada na referência aumenta enquanto sua dependência de pistas centradas na câmera diminui, particularmente nos regimes de face frontal e traseira onde modelos anteriores falharam.

Significância e Alegações

O artigo afirma que o principal gargalo para o raciocínio espacial consciente de perspectiva em MLLMs não é a falta de percepção visual geral ou pistas geométricas genéricas, mas a ausência de modelagem explícita de orientação.

Os autores argumentam que:

1. O Viés Centrado na Câmera é Sistemático: Os modelos atuais dependem de heurísticas do plano da imagem em vez de uma verdadeira tomada de perspectiva, um comportamento que é exacerbado quando a orientação do objeto de referência conflita com a visão da câmera.
2. A Orientação é um Viés Indutivo Ausente: Ao injetar explicitamente vieses de orientação no espaço de representação, os modelos podem aprender a transformar relações espaciais em quadros de referência locais, permitindo um raciocínio alocêntrico robusto.
3. Implicações Práticas: Esta abordagem é crucial para aplicações que exigem interação incorporada, colaboração humano-objeto e compreensão de cena, onde o raciocínio deve ocorrer a partir do ponto de vista de uma entidade na cena, e não da câmera.

Os autores mantêm-se modestos quanto às limitações, reconhecendo que o framework atualmente depende da qualidade dos modelos especialistas de upstream (grounding, profundidade, orientação) e foca principalmente no raciocínio espacial esquerda/direita. Eles sugerem que trabalhos futuros devem abordar relações espaciais mais ricas e reduzir a dependência de anotações externas.