Resumo Técnico: Primitivas 3D como Linguagem Espacial para MVLs

Declaração do Problema

Os Modelos Visão-Linguagem (MVLs) exibem um paradoxo notável em relação ao raciocínio espacial. Embora frequentemente falhem em perguntas espaciais simples em linguagem natural (por exemplo, contar objetos ou identificar relações) quando apresentados a uma imagem, os mesmos modelos podem frequentemente gerar código executável (por exemplo, Three.js, Unity C#) que reconstrói a cena 3D com contagens de objetos corretas, classes e posições aproximadas. Isso sugere que os MVLs possuem conhecimento espacial latente que não é acessível por meio de consultas diretas em linguagem natural. O artigo postula que essa discrepância representa uma "falha de roteamento de tarefa", onde a capacidade do modelo de externalizar a compreensão espacial por meio de código estruturado não é efetivamente transferida para a resposta direta a perguntas. Além disso, benchmarks existentes frequentemente confundem competência espacial com familiaridade a um formato de saída específico (linguagem natural ou uma única linguagem de código), falhando em isolar capacidades genuínas de raciocínio espacial.

Metodologia

Os autores propõem um framework centrado em primitivas geométricas 3D (cubos, esferas, cilindros, etc.) expressas em código executável como ferramenta de diagnóstico e representação intermediária. A metodologia consiste em três componentes principais:

1. Benchmark SPATIALBABEL

Para desacoplar a compreensão espacial da familiaridade com o formato, os autores introduzem o SPATIALBABEL, um benchmark que avalia MVLs em dois domínios de cena e seis linguagens de código de cena.

• Domínios de Cena:
  • Divisão Primitiva: 1.000 cenas geradas proceduralmente no Blender contendo 3–20 primitivas geométricas sem oclusão significativa. Isso fornece uma verdade absoluta exata com zero ruído de rótulo.
  • Divisão Hypersim: 405 cenas internas foto-realistas com geometrias complexas e oclusão substancial, servindo como um domínio de validação mais difícil.
• Linguagens de Código de Cena: O benchmark avalia a reconstrução em seis formatos distintos: Three.js (JavaScript), Unity C#, Python do Blender, Open3D Python, JSON Canônico (um esquema declarativo introduzido neste trabalho) e uma Linguagem de Cena DSL.
• Tarefas:
  • Reconstruir: Gerar código executável para recriar a cena.
  • QA: Responder a perguntas em linguagem natural sobre a cena (localização, relação, contagem, existência, comparação).
• Métricas: Uma Pontuação de Reconstrução SpatialBabel composta, agregando taxa de análise, F1 (correspondência de objetos combinada por Hungarian), precisão de classe, fidelidade de posição e fidelidade de escala.

2. Code-CoT (Cadeia de Pensamento via Código)

Uma estratégia de inferência sem treinamento projetada para fechar a lacuna no momento da inferência.

• Mecanismo: Em vez de responder diretamente a uma pergunta espacial, o modelo é primeiro solicitado a reconstruir a cena como código executável baseado em primitivas. Em seguida, ele responde à pergunta espacial condicionado à sua própria saída estruturada.
• Racional: Isso força o modelo a rotear seu raciocínio através da "linguagem espacial" do código, onde demonstrou maior competência, antes de traduzir essa compreensão de volta para a linguagem natural.

3. S3-FT (Ajuste Fino Espacial Auto-supervisionado)

Uma intervenção no momento do treinamento para destilar conhecimento espacial em raciocínio visual geral, visando especificamente modelos com capacidades de codificação mais fracas.

• Pipeline:
  1. Geração de Pseudo-GT: O MVL base gera código de reconstrução Three.js para cenas primitivas. Um filtro de qualidade sintática garante que o código seja válido.
  2. Extração de Anotação: O código gerado é analisado deterministicamente em anotações espaciais estruturadas (contagens de objetos, classes, poses 3D, relações). Estas são combinadas com pares de QA em linguagem natural gerados por regras e descrições de cena.
  3. Ajuste Fino: O mesmo MVL é ajustado fino (usando LoRA) nesta mistura de múltiplas tarefas.
• Característica Chave: O processo é inteiramente auto-supervisionado; não requer rótulos humanos nem um modelo "professor" externo, pois o sinal de supervisão é derivado da própria geração de código de alta fidelidade do modelo.

Resultados Principais

Achados do Benchmark (SPATIALBABEL)

• Desempenho Dependente de Linguagem: O desempenho dos MVLs varia drasticamente entre as linguagens de código de cena. Para o mesmo modelo nas mesmas imagens, as pontuações F1 de detecção de objetos podem variar em até 5,7× dependendo da linguagem alvo.
• Correlação Fraca: Há uma correlação fraca (Pearson $r \approx 0,12$) entre a pontuação F1 de reconstrução de um modelo e sua precisão direta de QA. Um modelo pode ser altamente preciso na geração de código, mas ruim em responder a perguntas diretas, confirmando a falha de roteamento de tarefa.
• Eficácia do Code-CoT: O Code-CoT melhora as pontuações de QA em cenas primitivas em até +6,4% (por exemplo, Gemini-2.5-Pro) e eleva a precisão do CV-Bench-3D em fotos reais em +5,0% para modelos com fortes capacidades de codificação. No entanto, mostra retornos decrescentes ou regressão em cenas foto-realistas e desordenadas, onde o vocabulário de primitivas é insuficiente.

Desempenho do S3-FT

• Ganhos Intra-distribuição: O treinamento apenas com imagens primitivas melhora significativamente o desempenho na tarefa SpatialBabel-Primitive-QA. Para o Qwen3-VL-8B, o S3-FT produz melhorias de +4,6% a +8,6% em todos os modos de inferência.
• Transferência Fora da Distribuição: Crucialmente, o treinamento apenas em cenas primitivas transfere-se para benchmarks gerais de raciocínio visual.
  • HallusionBench: +17% de melhoria.
  • CV-Bench-2D: +9,7% de melhoria.
  • CV-Bench-3D: +3,3% de melhoria.
• Generalização: A receita transfere-se entre diferentes famílias de modelos (Qwen, InternVL, LLaVA) e escalas, embora os ganhos dependam da capacidade.

Significado e Alegações

O artigo estabelece que primitivas geométricas 3D em código executável servem tanto como ferramenta de diagnóstico quanto como vocabulário espacial transferível para MVLs.

1. Ferramenta de Diagnóstico: O benchmark SPATIALBABEL revela que a compreensão espacial está frequentemente entrelaçada com priores específicos de geração de código. As grandes lacunas de desempenho entre linguagens indicam que benchmarks padrão podem estar medindo familiaridade com o formato em vez de raciocínio espacial verdadeiro.
2. Vocabulário Transferível: O sucesso do Code-CoT e do S3-FT sugere que os MVLs implicitamente "tokenizaram" o espaço 3D por meio de primitivas geométricas durante o pré-treinamento. Ao aproveitar essa representação estruturada, os modelos podem acessar conhecimento espacial latente que de outra forma seria inacessível via prompting direto em linguagem natural.
3. Destilação Auto-supervisionada: O S3-FT demonstra que raciocínio espacial de alta qualidade pode ser destilado em MVLs gerais sem anotação humana ou modelos professores, desde que o modelo base possa gerar reconstruções de primitivas suficientemente precisas. Isso reduz a barreira para melhorar capacidades espaciais em modelos de peso aberto.

Os autores concluem que, embora a abordagem mostre limites claros em cenas foto-realistas altamente complexas e ocluídas (onde a aproximação de primitivas falha), ela fornece um caminho robusto para aprimorar o raciocínio espacial em MVLs por meio da representação intermediária de código 3D executável.