Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models

1. O Problema

O raciocínio espacial em cenas 3D é fundamental para agentes inteligentes e tarefas de Visão-Linguagem 3D (3D VL), como Visual Grounding (localização de objetos) e Visual Question Answering (resposta a perguntas). No entanto, treinar modelos com forte capacidade de raciocínio espacial do zero é desafiador devido à escassez de dados pareados de cenas 3D e linguagem.

As abordagens anteriores enfrentam dois principais dilemas ao integrar representações de cenas 3D em Grandes Modelos de Linguagem (LLMs):

1. Codificação de Posições Absolutas: Métodos que injetam coordenadas 3D absolutas diretamente nos recursos dos objetos sofrem com a fusão prematura de características. Como as coordenadas absolutas não têm definição física natural (origem e orientação arbitrárias) e não representam explicitamente a geometria relativa, os modelos têm dificuldade em extrair relações espaciais precisas.
2. Codificação Explícita de Todas as Relações: Métodos que tentam codificar explicitamente todas as relações pares entre objetos (usando tokens de entrada adicionais) enfrentam problemas de escalabilidade. O número de relações cresce quadraticamente ($O(n^2)$) com o número de objetos, o que rapidamente excede os limites de entrada de muitos LLMs. Estratégias de poda (como manter apenas vizinhos próximos) podem omitir relações críticas, pois a proximidade física nem sempre garante relevância para a tarefa.

Além disso, a aplicação direta de novas posições em LLMs pré-treinados (que já usam Rotary Positional Embeddings ou RoPE para texto) causa interferência, prejudicando tanto a compreensão linguística quanto a percepção espacial.

2. Metodologia

Os autores propõem duas inovações principais: QuatRoPE e IGRE.

A. QuatRoPE (Quaternion Rotary Positional Embedding)

O QuatRoPE é um método de incorporação posicional que permite codificar relações espaciais com complexidade linear em relação ao número de objetos ($O(n)$), enquanto preserva todas as relações pares ($O(n^2)$).

• Mecanismo: Em vez de tratar coordenadas individuais (x, y, z) separadamente, o QuatRoPE codifica as coordenadas 3D de cada objeto como vetores holísticos usando rotações de quatérnios.
• Transformação Relativa: Antes da camada de atenção, os vetores de Query (consulta) e Key (chave) são rotacionados com base nas coordenadas absolutas dos objetos correspondentes. Devido às propriedades matemáticas da multiplicação de quatérnios e do produto escalar, a pontuação de atenção (dot product) entre dois tokens rotacionados depende apenas da diferença relativa entre suas posições 3D.
• Vantagem: Isso transforma automaticamente posições absolutas em relações relativas dentro do mecanismo de atenção, permitindo que o LLM calcule distâncias e direções sem precisar de tokens explícitos para cada par.
• Codificação Holística: Ao codificar as coordenadas como um vetor unificado, evita-se que pequenas diferenças em um único eixo (ex: eixo X) inflacionem erroneamente a pontuação de atenção, garantindo que a proximidade seja avaliada no espaço 3D completo.

B. IGRE (Isolated Gated RoPE Extension)

Para integrar o QuatRoPE em LLMs que já utilizam RoPE para texto (como LLaMA ou Qwen) sem causar interferência:

• Isolamento de Dimensões: O IGRE estende os vetores de Query e Key com dimensões específicas para o QuatRoPE. Para tokens relacionados a objetos, essas dimensões são preenchidas com o vetor rotacionado pelo QuatRoPE. Para tokens não relacionados a objetos (texto, instruções), essas dimensões são preenchidas com zeros.
• Mecanismo de "Porta" (Gating): Como os tokens de texto têm zeros nessas dimensões específicas, o produto escalar envolvendo tokens de texto e objetos não é alterado pela rotação espacial. Isso garante que o QuatRoPE afete apenas a atenção entre tokens de objetos, preservando as capacidades linguísticas originais do LLM e evitando viés de posicionamento para tokens que não existem no espaço 3D.

C. Benchmark ASR (Attribute-free Spatial Reasoning)

Os autores identificaram que benchmarks existentes (como ScanRefer) permitem que modelos "trapaceiem" usando atributos semânticos (cor, categoria) em vez de raciocínio espacial puro.

• Eles criaram o ASR, um benchmark diagnóstico que:
  1. Seleciona perguntas de ScanQA que pedem o nome de um objeto.
  2. Filtra perguntas que fornecem atributos do objeto alvo, forçando o modelo a usar apenas relações espaciais (ex: "Qual objeto está à esquerda da estante?").
  3. Converte a tarefa para o formato de Visual Grounding (seleção múltipla) para eliminar vieses de geração de linguagem.

3. Contribuições Chave

1. QuatRoPE: Uma nova codificação posicional 3D que modela explicitamente posições relativas pares através de rotações de quatérnios, escalando linearmente com o número de objetos.
2. IGRE: Um mecanismo de extensão que combina QuatRoPE e RoPE de linguagem de forma isolada, minimizando interferência e preservando a capacidade do modelo de entender linguagem natural.
3. Benchmark ASR: Uma nova avaliação rigorosa e livre de atributos para medir exclusivamente a capacidade de raciocínio espacial, eliminando pistas semânticas enganosas.
4. Desempenho Superior: Validação experimental mostrando ganhos consistentes e significativos em múltiplos benchmarks de 3D VL.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos baseados em LLMs (Chat-Scene e 3DGraphLLM) com diferentes tamanhos (1B e 7B parâmetros).

• Benchmarks Padrão (ScanRefer, Multi3DRef, SQA3D):

  • A aplicação de QuatRoPE + IGRE superou consistentemente as linhas de base (baselines) em todas as métricas.
  • No ScanRefer (tarefa de localização), o modelo 3DGraphLLM-7B + QuatRoPE atingiu 58.30% de precisão (Acc@0.25), superando a linha de base de 57.0% e outros modelos especializados.
  • Ganhos significativos foram observados em tarefas que exigem percepção espacial fina.

• Benchmark ASR (Raciocínio Espacial Puro):

  • O modelo com QuatRoPE mostrou ganhos substanciais em cenários de zero-shot e fine-tuning.
  • No modelo 3DGraphLLM-1B, a precisão aumentou de 25.89% para 29.76% (ganho de ~15%), demonstrando que o método melhora diretamente a capacidade de raciocínio espacial, não apenas a adaptação de dados.

• Estudos de Ablação:

  • IGRE vs. Aditivo: O IGRE superou abordagens de adição simples de RoPE, confirmando que o isolamento de dimensões é crucial para evitar interferência.
  • QuatRoPE vs. M-RoPE/Coordenadas Brutas: O QuatRoPE superou a codificação de coordenadas brutas e o M-RoPE (adaptado para multimodalidade). A codificação holística (vetor unificado) provou ser superior, evitando os erros de "falsa proximidade" em eixos individuais.
  • Análise de "Falsa Proximidade": Em casos onde objetos estão muito próximos em um eixo, mas distantes no espaço 3D, o QuatRoPE manteve a precisão, enquanto métodos anteriores falhavam.

5. Significado e Impacto

Este trabalho resolve um gargalo fundamental na integração de LLMs com dados 3D: a escalabilidade e a precisão na representação de relações espaciais.

• Escalabilidade: Ao permitir o raciocínio sobre todas as relações pares sem explodir o tamanho da entrada, o QuatRoPE torna viável o uso de LLMs em cenas 3D densas e complexas.
• Integridade Geométrica: A abordagem de vetores holísticos garante que a compreensão do modelo respeite a geometria 3D real, alinhando-se melhor com a cognição humana (princípio da máxima relação).
• Avaliação Justa: O benchmark ASR estabelece um novo padrão para avaliar a verdadeira inteligência espacial de modelos multimodais, separando-a da simples associação semântica.

Em suma, QuatRoPE e IGRE fornecem uma solução robusta e eficiente para habilitar agentes de IA a compreender e raciocinar sobre o espaço 3D de forma mais precisa e escalável.