Resumo Técnico: SpatialThinker

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) alcançaram progressos significativos em tarefas de visão e linguagem, mas continuam a ter dificuldades com o raciocínio espacial, particularmente no espaço 3D. Essa capacidade é crucial para IA incorporada (embodied AI), navegação e realidade aumentada. As abordagens existentes para melhorar o raciocínio espacial dependem tipicamente de:

1. Pipelines Intensivos em Dados: Geração de conjuntos de dados sintéticos massivos (centenas de milhares a milhões de amostras) a partir de grafos de cena 3D ou nuvens de pontos.
2. Modificações Arquiteturais: Adição de entradas 3D explícitas (mapas de profundidade, nuvens de pontos) ou tokens espaciais auxiliares.
3. Aprendizado por Reforço (RL) Esparso: Uso de recompensas simples baseadas apenas em acurácia, que fornecem orientação insuficiente para o raciocínio visualmente fundamentado.

Existe uma lacuna crítica na integração da Geração de Grafo de Cena (SGG) diretamente no processo de raciocínio. Os métodos atuais frequentemente tratam a SGG como uma etapa de pré-processamento isolada para curadoria de dados ou como um alvo de geração isolado, falhando em usar representações de cena estruturadas para guiar a cadeia de raciocínio de ponta a ponta. Além disso, os métodos de RL existentes carecem do feedback denso e estruturado necessário para impor localização espacial precisa e compreensão relacional.

Metodologia: SpatialThinker

Os autores propõem o SpatialThinker, o primeiro MLLM que unifica a Geração de Grafo de Cena (SGG) e o raciocínio visual em uma única passagem via Aprendizado por Reforço (RL) online. O framework simula a percepção espacial humana ao construir um "grafo de cena mental" de objetos e relações relevantes para a tarefa, raciocinando então sobre essa representação estruturada para derivar uma resposta.

1. Arquitetura Central e Treinamento

• Modelos Base: Construído sobre Qwen2.5-VL (3B, 7B) e Qwen3-VL (30B).
• Paradigma de Treinamento: O modelo é treinado usando Otimização de Política Relativa ao Grupo (GRPO), um método de RL online que evita redes de crítico ao estimar vantagens através de comparações intra-grupo.
• Sem SFT: Os modelos são treinados diretamente no objetivo de RL sem SFT (Ajuste Fino Supervisionado) prévio no conjunto de dados de treinamento.
• Inferência: O modelo gera uma resposta estruturada contendo <observe>, <scene> (um subgrafo de cena em formato JSON), <thought> e <answer>.

2. Design de Recompensa de Múltiplos Objetivos Densa

A inovação central é uma função de recompensa de múltiplos objetivos densa e lexicograficamente bloqueada ($R_{total}$) que guia o modelo através de um processo de raciocínio estruturado: observe → localize → reason → answer. A recompensa compreende quatro componentes:

1. Recompensa de Formato ($R_f$): Impõe um template de raciocínio estruturado. Valida o JSON dentro da tag <scene>, garantindo a capacidade de análise (parseability), a presença de campos obrigatórios (ID, bounding box) e triplas sujeito-predicado-objeto válidas.
2. Recompensa de Contagem ($R_c$): Penaliza desvios entre as contagens previstas e as reais de objetos e relações. Isso evita o "reward hacking", onde modelos geram objetos excessivos para maximizar correspondências espaciais aleatórias.
3. Recompensa de Acurácia ($R_a$): Um score binário baseado na correspondência exata de strings com a resposta de referência (ground-truth). Esta carrega o maior peso ($w=0.5$) para priorizar a correção da tarefa.
4. Recompensa Espacial ($R_s$): Computada apenas quando a resposta final está correta (via bloqueio lexicográfico). Utiliza o algoritmo de Hungria para combinar objetos previstos e reais com base em IoU Completo (CIoU) e similaridade semântica. Isso fornece supervisão densa sobre a localização de objetos.

Bloqueio Lexicográfico: As recompensas são ordenadas como Formato ≻ {Contagem, Acurácia} ≻ Espacial. O modelo deve satisfazer o formato primeiro, depois otimizar contagem e acurácia, e só recebe a recompensa espacial se a resposta estiver correta. Isso garante que a fundamentação espacial reforce o raciocínio válido em vez de sobrepô-lo.

3. Dataset: STVQA-7K

Para facilitar o treinamento alinhado à recompensa, os autores construíram o STVQA-7K, um dataset de VQA espacial de alta qualidade:

• Fonte: Derivado de grafos de cena anotados por humanos no Visual Genome.
• Escala: 7.587 pares de VQA de múltipla escolha espacialmente fundamentados.
• Conteúdo: Cobre nove tipos de raciocínio (relações, tamanho, orientação, distância, profundidade, alcance, localização, contagem, existência) e inclui questões de raciocínio 3D (ex: profundidade, orientação).
• Controle de Qualidade: Utiliza um pipeline de verificação de dois LLMs (Claude Sonnet 4 gera, GPT-4o valida) para garantir alta qualidade, retendo apenas as 7.587 amostras superiores de um pool inicial de 56.224.
• Escalabilidade: O pipeline é capaz de gerar até ~108K amostras.

Principais Contribuições

1. SGG e Raciocínio Unificados: O SpatialThinker é o primeiro MLLM a integrar a construção de grafo de cena diretamente na cadeia de raciocínio via RL online, em vez de tratá-la como uma etapa de pré-processamento.
2. Dataset STVQA-7K: Um dataset de VQA espacial de alta qualidade, fundamentado em grafos de cena, com um pipeline de síntese escalável, permitindo treinamento eficaz com apenas 7K amostras.
3. Design de Recompensa Espacial Densa: Um novo sistema de recompensa de múltiplos objetivos com bloqueio lexicográfico que impõe fundamentação estruturada. Este design melhora tanto a generalização in-distribution quanto a out-of-distribution (OOD), quase dobrando os ganhos de performance das baselines de RL esparso.

Resultados Experimentais

Os autores avaliaram o SpatialThinker em 14 benchmarks (8 espaciais, 6 de VQA genérico/mundo real) e o compararam com modelos proprietários (GPT-5, GPT-4o, Claude 4 Sonnet) e baselines de código aberto.

• Performance com Dados Limitados: Treinado em apenas 7K amostras, o SpatialThinker-7B iguala a performance do GPT-5 e supera o GPT-4o e o Claude 4 Sonnet na média dos benchmarks espaciais.
• Efeitos de Escala: O SpatialThinker-30B supera tanto o GPT-5 quanto o Claude 4 Sonnet na média, alcançando resultados de estado da arte no CV-Bench 3D (93.6%, +3.3% sobre o GPT-5) e no 3DSRBench.
• Generalização: O SpatialThinker demonstra superioridade na generalização OOD em tarefas de VQA do mundo real (ex: RoboSpatial-Home, HallusionBench).
  • RL Esparso vs. RL Denso: Enquanto o RL esparso (GRPO Vanilla) melhora os modelos base em ~4.4%, o design de recompensa espacial densa alcança ~7.7% de melhoria, um ganho de 1.7×.
  • Transferência para o Mundo Real: O SpatialThinker-7B alcança uma melhoria de +5.3% em benchmarks do mundo real comparado a +1.9% para o RL esparso, confirmando que a fundamentação espacial estruturada melhora a percepção visual ampla e reduz alucinações.
• Estudos de Ablação: Remover a recompensa de contagem leva ao reward hacking (23.7% de acurácia). Adicionar o bloqueio lexicográfico e o filtro de RoI recupera a performance para 76.3%, e a filtragem de dataset via dual-LLM eleva isso para 87.9% no conjunto de validação.

Significância e Alegações

O artigo afirma que a fundamentação espacial estruturada via recompensas densas permite uma compreensão espacial robusta com dados limitados, desafiando a noção de que pré-treinamento em escala massiva ou entradas 3D explícitas são estritamente necessários para o raciocínio espacial de alto nível.

• Eficiência: O modelo alcança resultados de estado da arte usando apenas 7K amostras sintéticas, uma fração dos dados usados pelos atuais MLLMs espaciais (que frequentemente usam milhões de amostras).
• Raciocínio 3D Emergente: Apesar de ser treinado em imagens RGB 2D com recompensas 2D, a supervisão de grafo de cena relacional codifica pistas ligadas à profundidade e orientação, permitindo que o modelo desenvolva capacidades emergentes de raciocínio 3D.
• Generalização: A abordagem melhora não apenas tarefas espaciais, mas também a percepção visual genérica e VQA do mundo real, sugerindo que impor um raciocínio estruturado reduz alucinações e refina a distinção visual fina.

Os autores concluem que seu método demonstra que o raciocínio alinhado à recompensa, combinado com a fundamentação por grafo de cena, é um caminho viável e eficiente para a compreensão espacial robusta em MLLMs.