Spatial-DISE: A Unified Benchmark for Evaluating Spatial Reasoning in Vision-Language Models

Este artigo apresenta o Spatial-DISE, um benchmark unificado e um conjunto de dados escaláveis baseados em uma taxonomia cognitiva que avalia a capacidade de raciocínio espacial de modelos de linguagem visuais, revelando uma lacuna significativa entre o desempenho atual das máquinas e a competência humana, especialmente em tarefas intrínsecas dinâmicas e multi-etapa.

O essencial

🧠 O Grande Desafio: "E se eu girar isso?"

Imagine que você está montando um móvel da IKEA. Você olha para o manual, vê as peças e precisa imaginar mentalmente como elas se encaixam, como girar uma peça de 90 graus para que o parafuso entre, ou como a mesa ficará quando você dobrar as pernas.

Para os humanos, isso é um exercício mental comum. Mas para os Modelos de Visão e Linguagem (VLMs) — que são os "cérebros" de IA que veem imagens e respondem perguntas —, isso é um pesadelo.

Este paper, apresentado na conferência ICLR 2026, diz: "Nossas IAs atuais são ótimas em descrever o que veem, mas péssimas em pensar sobre o espaço."

🏗️ O que é o Spatial-DISE?

Os autores criaram um novo "campo de provas" chamado Spatial-DISE. Pense nele como uma gymnástica mental para robôs.

Antes, os testes de IA focavam em coisas simples, como: "Onde está o gato em relação ao sofá?" (Isso é fácil, a IA só precisa olhar).
O Spatial-DISE é diferente. Ele pergunta coisas como: "Se eu dobrar este papel, furar um buraco e desdobrar, quantos buracos aparecerão?" ou "Qual dessas peças de Lego encaixa aqui se eu girá-la?"

Para organizar esses testes, eles criaram um mapa de 4 quadrantes (como um jogo da velha), dividindo os desafios em:

1. Estático vs. Dinâmico: A coisa está parada ou precisa ser girada/dobrada na sua cabeça?
2. Interno vs. Externo: Você está analisando as partes de um único objeto (como as faces de um dado) ou a relação entre vários objetos (como um carro e uma pessoa)?

A grande inovação é que eles focaram muito no Dinâmico (girar, dobrar, montar), que é onde as IAs mais falham.

🤖 O Resultado: A IA está "cega" para a lógica espacial

Os autores testaram 32 das IAs mais inteligentes do mundo (incluindo GPT-4o, Gemini, Claude, etc.) contra este novo teste.

O resultado foi decepcionante:

• Humanos: Tiraram em média 77% de acerto.
• IAs: Tiraram em média 28% de acerto (quase o mesmo que chutar no escuro, que seria 25%).

A analogia: É como se você tivesse um estudante que decora todos os livros de geografia do mundo e sabe o nome de todas as cidades, mas se você colocar um globo terrestre na frente dele e perguntar "se eu girar o globo para a esquerda, onde fica o Brasil?", ele não consegue responder. Ele sabe o nome, mas não consegue "manipular" o objeto na mente.

🕵️‍♂️ Por que elas falham? (A Autópsia do Erro)

Os pesquisadores analisaram os erros e descobriram que a IA não está falhando porque não "enxerga" a imagem (ela vê os pixels). Ela falha porque não consegue simular o movimento.

Eles encontraram três falhas principais:

1. Esquecimento de Regras Básicas: A IA às vezes esquece que, num cubo, duas faces opostas nunca podem se tocar. Ela ignora as leis da física e da geometria.
2. Amnésia Espacial: Em tarefas de "dobrar e furar", a IA consegue contar as camadas no início, mas perde a conta no meio do processo. É como tentar lembrar de uma receita de bolo, mas esquecer quantos ovos você já colocou na metade da preparação.
3. Foco no Detalhe Errado: A IA olha para uma parte da imagem que parece correta, mas ignora que o resto está errado. Ela vê a "casca" da fruta, mas não o interior.

🛠️ A Solução: Uma Fábrica de Problemas Infinitos

Como não existem muitos testes assim na internet, os autores criaram um sistema automático (usando um software de 3D chamado Blender) para gerar milhares de novos problemas.

• O que eles fizeram: Criaram um "robô de fábrica" que desenha cubos, redesenha formas, cria buracos e gera perguntas e respostas automaticamente.
• O resultado: Eles criaram um banco de dados gigante com 12.000 novos problemas (o Spatial-DISE-12K) para treinar as IAs.

🚀 O Futuro: Treinando para pensar, não apenas para ver

Quando eles pegaram uma IA média e a treinaram com esses 12.000 problemas, ela melhorou muito (de 26% para 47% de acerto). Mas ainda estava longe do nível humano.

A lição principal:
Para que as IAs ajudem em coisas reais — como dirigir carros autônomos, operar robôs em hospitais ou navegar em ambientes complexos —, elas precisam parar de apenas "reconhecer padrões" (ver uma foto de um cubo) e começar a ter uma "simulação mental" (conseguir girar e dobrar esse cubo na cabeça).

O Spatial-DISE é o mapa que mostra exatamente onde as IAs estão cegas e como podemos ensiná-las a ver o mundo não apenas como uma foto estática, mas como um lugar dinâmico que pode ser manipulado.

Resumo técnico

Resumo Técnico: SPATIAL-DISE

1. O Problema

As capacidades de raciocínio espacial são fundamentais para aplicações do mundo real de Modelos de Linguagem e Visão (VLMs), como robótica, realidade aumentada e navegação autônoma. No entanto, o artigo identifica três limitações críticas nos benchmarks existentes:

• Falta de Estrutura Cognitiva: Os benchmarks atuais são fragmentados e carecem de um quadro unificado para categorizar diferentes tipos de raciocínio espacial.
• Viés Estático: A maioria dos testes foca em cenas estáticas e relações fixas, negligenciando o raciocínio dinâmico intrínseco (como rotação mental, dobragem e transformação de objetos), que é um aspecto fundamental da cognição humana.
• Escala Insuficiente: Os poucos benchmarks que abordam tarefas dinâmicas são pequenos demais para avaliar robustamente os modelos ou impulsionar seu desenvolvimento através de treinamento em larga escala.

2. Metodologia

A. Taxonomia Cognitiva (DISE)
Os autores propõem uma taxonomia unificada baseada em ciência cognitiva, dividindo o raciocínio espacial em quatro quadrantes (2x2):

1. Eixo Intra vs. Extra:
   • Intrínseco: Relacionado às propriedades internas e partes de um único objeto.
   • Extrínseco: Relacionado às relações espaciais entre múltiplos objetos ou em relação ao ambiente.
2. Eixo Estático vs. Dinâmico:
   • Estático: Informação fixa e sem transformação.
   • Dinâmico: Requer simulação mental de transformações (rotação, dobragem, combinação).

Isso resulta em quatro categorias: Intrínseco-Estático (I-S), Intrínseco-Dinâmico (I-D), Extrínseco-Estático (E-S) e Extrínseco-Dinâmico (E-D).

B. Pipeline de Geração de Dados Sintéticos
Para superar a escassez de dados, a equipe desenvolveu um pipeline automatizado e verificável utilizando o motor Blender:

• Geração de Ativos: Criação de formas 3D complexas e texturas únicas.
• Renderização Controlada: Geração de imagens de perguntas e respostas a partir de perspectivas otimizadas.
• Geração de Distratores: Estratégia sistemática para criar opções incorretas plausíveis (variações geométricas, erros de orientação, substituição de componentes, visualizações incorretas).
• Validação: Garantia de unicidade da solução e eliminação de redundâncias.

C. Conjuntos de Dados Criados

• Spatial-DISE Bench: Um conjunto de avaliação rigoroso com 559 pares VQA (Visual Question Answering), cobrindo 10 tarefas distintas (ex: Dobragem 3D, Rotação 3D, Combinação 2D/3D, Projeção 3D) e todos os quatro quadrantes da taxonomia. Inclui dados reais e sintéticos.
• Spatial-DISE-12K: Um conjunto de dados de treinamento em larga escala com mais de 12.000 pares VQA verificáveis, focado em tarefas 3D dinâmicas, destinado ao fine-tuning de modelos.

3. Contribuições Principais

1. Taxonomia Cognitiva Unificada: Um framework que permite diagnosticar fraquezas específicas dos modelos (ex: falha em simulação mental vs. percepção estática) de forma mais granular do que benchmarks anteriores.
2. Pipeline de Geração de Dados Verificável: Uma ferramenta reutilizável para a comunidade gerar tarefas de raciocínio espacial complexo e dinâmico de forma escalável e com respostas verificáveis.
3. Benchmark e Dataset Unificados: A introdução do Spatial-DISE Bench e do dataset de 12K, preenchendo a lacuna de dados para tarefas dinâmicas.
4. Análise de Limites Cognitivos: Uma avaliação abrangente que define o estado atual da arte e revela déficits fundamentais na inteligência espacial dos VLMs.

4. Resultados Experimentais

A. Avaliação de 32 Modelos SOTA
Os autores avaliaram 32 modelos (fundação, raciocínio e específicos de espaço), incluindo GPT-4o, Gemini, Claude, Llama e Qwen.

• Desempenho Geral: A acurácia média de todos os modelos foi de apenas 28,4%, ligeiramente acima do chute aleatório (25%) e drasticamente abaixo da linha de base humana (76,8%).
• Fracasso em Transformações Multi-etapa: Modelos falharam consistentemente em tarefas que exigem simulação de múltiplos passos (ex: "Dobrar e Furar" - Fold and Punch), onde a acurácia média foi de 25,4%. Isso indica uma falta de "memória de trabalho espacial".
• Limitações do Post-training: Modelos com Reinforcement Learning (RL) ou Chain-of-Thought (CoT) mostraram melhorias marginais, mas ainda permanecem muito abaixo do nível humano.
• Paradoxo Estático vs. Dinâmico: Curiosamente, a proficiência em tarefas estáticas não garante bom desempenho em dinâmicas. Alguns modelos performaram melhor em tarefas dinâmicas do que em estáticas, sugerindo que eles aprendem estratégias fragmentadas em vez de construir um modelo espacial robusto.

B. Análise de Erros
Uma análise detalhada de 200 respostas incorretas revelou que 72,5% dos erros são de Raciocínio, e não de Percepção. As falhas principais foram:

1. Falha na Aplicação de Regras (44,8%): Ignorar axiomas geométricos básicos (ex: faces adjacentes vs. opostas em um cubo).
2. Falha na Simulação Mental (40,0%): Incapacidade de rastrear o estado de um objeto através de transformações sequenciais.
3. Falha no Processamento Holístico-Local (15,2%): Incapacidade de alternar entre a estrutura geral e detalhes locais, sendo enganado por similaridades superficiais.

C. Fine-tuning com Spatial-DISE-12K
Ao fazer fine-tuning (SFT) de modelos como Qwen2.5-VL-7B e SpaceOm no dataset de 12K:

• Houve ganhos significativos (Qwen subiu de 26,1% para 47,0% no Bench).
• A transferência de aprendizado foi específica por quadrante: treinar em um quadrante (ex: Dinâmico) não melhorou automaticamente o desempenho em outros (ex: Estático), indicando que as competências espaciais não são fatoradas de forma simples.
• Mesmo após o treinamento, os modelos permaneceram muito abaixo do desempenho humano, destacando a necessidade de novas arquiteturas.

5. Significado e Conclusão

O Spatial-DISE estabelece um novo padrão para a avaliação de inteligência espacial em VLMs. O trabalho demonstra que, embora os modelos atuais sejam excelentes em percepção visual e reconhecimento de padrões, eles carecem de um "modelo de mundo" interno capaz de realizar simulações mentais dinâmicas e aplicar regras geométricas abstratas.

O estudo sugere que o futuro da inteligência espacial em IA não reside apenas em mais dados ou fine-tuning superficial, mas no desenvolvimento de mecanismos que permitam simulação mental robusta, raciocínio baseado em regras e memória de trabalho espacial, aproximando a capacidade das máquinas da cognição humana. Os dados, código e benchmarks estão disponíveis publicamente para fomentar pesquisas futuras.