CAPruner: Conceptual-Adjacent Scene Graph Pruner for Enhancing 3D Spatial Reasoning of Large Language Models

Resumo Técnico: CAPruner

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) emergiram como ferramentas poderosas para tarefas de Visão-Linguagem 3D (3D-VL), que exigem a identificação de objetos alvo com base em suas relações espaciais com objetos âncora. Para facilitar isso, grafos de cena são frequentemente usados para representar objetos e suas relações espaciais pareadas. No entanto, em cenas com centenas de objetos (por exemplo, o conjunto de dados InteriorGS apresenta uma média de 554 objetos por cena), o número de relações pareadas cresce quadraticamente ($\binom{n}{2}$), levando contagens de tokens que excedem os limites de entrada dos LLMs e causam ineficiências computacionais.

Soluções existentes, como a estratégia de K-Vizinhos Mais Próximos (KNN) baseada em proximidade usada no 3DGraphLLM, tentam mitigar isso retendo apenas as relações entre um objeto e seus vizinhos mais próximos. Os autores identificam falhas críticas nesta abordagem:

1. Irrelevância da Tarefa: A proximidade espacial não garante a relevância para a tarefa. Uma relação necessária para uma consulta específica (ex: uma cadeira em relação a uma cama) pode estar distante e ser, portanto, podada, enquanto relações locais irrelevantes são retidas.
2. Fragmentação Estrutural: A poda baseada em proximidade frequentemente desconecta o grafo de cena. No conjunto de dados ScanNet, mais de 67% das cenas tornam-se desconectadas após a poda por KNN, impedindo que o LLM realize o raciocínio através de diferentes componentes conectados.
3. Rigidez: Políticas de poda fixas falham em se adaptar ao contexto específico de uma consulta, forçando os modelos a codificar informações redundantes enquanto perdem dependências de longo alcance críticas.

Metodologia: CAPruner

Os autores propõem o CAPruner (Conceptual-Adjacent Scene Graph Pruner), um modelo leve projetado para selecionar um subconjunto de arestas de grafos de cena que sejam mais pertinentes a uma tarefa 3D-VL específica. O método integra relevância semântica difusa com proximidade espacial.

1. Componentes Principais

• Correspondência Semântica Difusa (Fuzzy Semantic Matching): Em vez de depender de correspondência de atributos estritos (ex: cor ou forma), que pode ser propensa a erros no alinhamento de nuvens de pontos 3D, o CAPruner utiliza correspondência difusa em categorias de objetos. Ele calcula uma pontuação de relevância semântica ($s_i$) para cada objeto medindo a similaridade máxima entre a categoria do objeto e os tokens da descrição da tarefa em linguagem natural. Isso garante que todos os candidatos potenciais (ex: todas as "cadeiras" quando a consulta menciona "cadeira vermelha") sejam ponderados positivamente, reduzendo o risco de podar o alvo correto.
• Ponderação de Proximidade Espacial: Para lidar com relações espaciais dependentes de perspectiva (ex: "esquerda", "direita") que são difíceis de prever com precisão, o modelo pondera as arestas com base na distância euclidiana entre os objetos, aderindo à Máxima de Relação de Grice (priorizando objetos próximos quando as condições semânticas são iguais).
• Predição de Peso de Aresta: Um Perceptron Multicamadas (MLP) recebe as pontuações de relevância semântica de dois objetos de extremidade e sua distância como entrada para prever o peso de uma aresta.

2. Estratégia de Treinamento (Supervisão por Nó)

Um grande desafio é a falta de anotações de verdade fundamental (ground-truth) para a importância da relação pareada nos conjuntos de dados 3D-VL existentes (que tipicamente apenas rotulam o objeto alvo). Para evitar o custo proibitivo de anotar todas as relações, o CAPruner emprega supervisão agregada por nível de nó:

• Agregação: Os pesos das arestas incidentes a um nó são agregados em um peso de nó ($v_i$) usando um método de norma-$p$: $v_i = \sigma(\sum_j w_{ij}^p)^{1/p}$.
• Função de Perda: O modelo é treinado usando uma perda de Erro Quadrático Médio Ponderado (WMSE). Esta perda incentiva os nós correspondentes aos objetos alvo a terem pesos altos (próximos de 1) e os nós não-alvo a terem pesos baixos (próximos de 0).
• Retropropagação: O sinal de supervisão propaga-se de volta através da operação de agregação, incentivando implicitamente o modelo a atribuir pesos mais altos às arestas incidentes aos objetos alvo.

3. Inferência

Durante a inferência, o modelo calcula os pesos das arestas para uma cena e tarefa dadas. O grafo de cena é podado retendo as arestas incidentes com os maiores pesos para cada nó, gerando um subgrafo específico para a tarefa que preserva relações críticas enquanto descarta redundâncias.

Principais Contribuições

1. Identificação de Requisitos de Poda: Os autores demonstram, através de análise qualitativa e quantitativa, que o raciocínio espacial de LLMs depende fortemente de relações explicitamente retidas. Eles estabelecem que uma poda eficaz deve preservar relações críticas para a tarefa, em vez de apenas as espacialmente próximas.
2. Arquitetura CAPruner: A proposta de um modelo de poda leve que combina correspondência semântica difusa com proximidade espacial. Esta abordagem evita a natureza de "tudo ou nada" da correspondência estrita e a rigidez das estratégias fixas de KNN.
3. Novo Mecanismo de Supervisão: O desenvolvimento de um framework de treinamento que utiliza pontuações de nó agregadas para supervisionar pesos de arestas, eliminando a necessidade de anotações caras de nível de relação.
4. Validação Empírica: Experimentos extensos mostrando que o CAPruner preserva relações espaciais essenciais, levando a ganhos significativos de desempenho em tarefas 3D-VL subsequentes.

Resultados Experimentais

Os autores avaliaram o CAPruner em três benchmarks: ScanRefer (3D Visual Grounding), ScanQA (3D Visual Question Answering) e SQA3D (Situated 3D VQA).

• Ganhos de Desempenho: Usando os mesmos backbones de LLM (Llama-3.2-1B e Llama-3-8B), o CAPruner superou consistentemente o baseline 3DGraphLLM (que utiliza KNN baseado em proximidade).
  • No ScanRefer, o CAPruner + Llama-3-8B alcançou 61,7% de acurácia (A.@0.25), superando o baseline 3DGraphLLM-8B (60,2%).
  • No ScanQA, alcançou 56,0% de acurácia, comparado a 54,6% do baseline.
  • No SQA3D, atingiu 55,3%, melhorando o baseline de 54,7%.
• Eficiência de Tokens: O CAPruner demonstrou maior eficiência de tokens. Por exemplo, alcançou melhor desempenho com uma média de 582 tokens comparado aos 882 tokens do baseline, economizando aproximadamente 34% no uso de tokens.
• Estratégia de Poda: Experimentos comparando diferentes políticas de poda (KNN vs. MST) nos pesos de aresta aprendidos mostraram que a estratégia KNN (retendo as arestas de maior peso por nó) teve o melhor desempenho, validando a abordagem de priorizar regiões localmente relevantes para a tarefa sobre a conectividade global do grafo.
• Estudos de Ablação:
  • Correspondência Difusa: Superou consistentemente a correspondência estrita e os embeddings baseados em BERT, destacando a importância de uma relevância semântica robusta na presença de ruído de alinhamento de características 3D.
  • Proximidade vs. Semântica: Embora a proximidade ajude na identificação, a relevância semântica foi considerada o fator dominante, alinhando-se com a Máxima de Relação.
  • Norma-$p$: A acurácia melhorou conforme $p$ aumentava até 3, estabilizando-se depois disso, sugerendo que arestas de alto peso são mais críticas do que a soma agregada dos pesos.

Significância e Alegações

O artigo afirma que o CAPruner oferece uma estratégia escalável e eficaz para melhorar o raciocínio espacial baseado em LLM em tarefas 3D-VL. Ao mudar o paradigma de poda de "proximidade espacial" para "adjacência conceitual" (relevância semântica específica da tarefa), o método garante que o orçamento limitado de tokens seja alocado para relações que são realmente úteis para responder à consulta.

Os autores enfatizam que o CAPruner alcança essas melhorias com um overhead de inferência desprezível (0,75 ms por amostra) e sem exigir anotações de nível de relação custosas. Eles concluem que a poda de grafo de cena específica para a tarefa é um caminho viável para escalar sistemas 3D-VL, permitindo que LLMs raciocinem efetivamente mesmo em cenas complexas com centenas de objetos.

Limitações Reconhecidas: Os autores observam que os grafos de cena ainda podem ter dificuldades em representar relações multi-salto altamente complexas (ex: "a quarta cadeira... na quinta fileira"), sugerindo que estruturas de dados mais versáteis podem ser necessárias para tais cenários no futuro.