Resumo Técnico: GIQ – Avaliação de Referência do Raciocínio Geométrico 3D de Modelos de Fundação de Visão

Declaração do Problema

Apesar de alcançarem um desempenho de estado da arte em benchmarks visuais padrão, os modernos métodos de reconstrução 3D monocular e os modelos de visão-linguagem (VLMs) exibem dúvidas significativas quanto ao seu verdadeiro entendimento de propriedades geométricas. Os modelos atuais frequentemente exploram padrões arbitrários e não conscientes de 3D provenientes de conjuntos de dados de treinamento, levando a uma baixa generalização em dados fora da distribuição (out-of-distribution). Especificamente, os atuais conjuntos de dados 3D de grande escala (ex: OmniObject3D, NAVI, Google Scanned Objects) carecem das anotações precisas necessárias para avaliar propriedades fundamentais da geometria de objetos 3D, como simetria, convexidade e complexidade topológica. Consequentemente, existe uma lacuna crítica na compreensão da "inteligência geométrica" dos modelos de fundação: eles realmente raciocinam sobre a estrutura 3D ou apenas a aproximam com base em texturas e pistas 2D?

Metodologia

Para abordar essas lacunas, os autores introduzem o GIQ (Geometric IQ Test), um conjunto de dados de benchmark abrangente e um framework de avaliação projetado para sondar as capacidades de raciocínio geométrico de modelos de fundação de visão e visão-linguagem.

O Conjunto de Dados GIQ

O GIQ consiste em 224 formas poliédricas únicas categorizadas em grupos com níveis variados de complexidade geométrica e simetria:

• Classes: Platônicos (5), Arquimedianos (13), Catalares (13), Johnson (92), Estelações (48), Kepler-Poinsot (4), Compostos (10) e Não-convexos uniformes (53).
• Modalidades de Dados:
  • Sintéticos: Renderizados usando o renderizador fisicamente baseado Mitsuba, com iluminação controlada, sombreamento difuso e 20 vistas aleatórias por forma para garantir cobertura diversificada de perspectiva.
  • Mundo Real ("Wild"): Modelos de papel físicos construídos a partir de projetos geométricos, fotografados em diversos ambientes internos e externos (variando iluminação, fundos e clima) para testar a robustez ambiental.

Tarefas de Avaliação

Os autores conduziram experimentos sistemáticos através de quatro dimensões distintas de inteligência geométrica:

1. Reconstrução 3D Monocular: Avaliando métodos de estado da arte (Shap-E, Stable Fast 3D, OpenLRM) na reconstrução de geometrias 3D completas a partir de imagens únicas. Os modelos foram testados zero-shot no GIQ.
2. Detecção de Simetria 3D: Utilizando sondas lineares e não lineares em embeddings de codificadores de imagem (incluindo CLIP, DINOv2, SigLip e redes multi-view como DUSt3R) para classificar elementos específicos de simetria 3D (reflexão de ponto central, simetrias rotacionais de 4 e 5 ordens).
3. Testes de Rotação Mental (MRT): Avaliando o raciocínio espacial ao determinar se duas imagens (uma sintética, uma real) retratam o mesmo poliedro sob diferentes rotações. Isso incluiu um "split difícil" com pares de formas visualmente e geometricamente semelhantes.
4. Classificação de Poliedros Zero-Shot: Questionando VLMs de fronteira (ChatGPT o3/o4, Gemini 2.5 Pro, Claude 3.7) para identificar nomes de poliedros a partir de imagens, testando sua capacidade de distinguir geometria de faces, convexidade e estruturas compostas.

Resultados Principais

1. Falhas de Reconstrução 3D Monocular

Mesmo modelos treinados em milhões de ativos 3D diversos tiveram dificuldades significativas:

• Formas Básicas: Algoritmos de estado da arte frequentemente falharam em reconstruir sólidos platônicos básicos (ex: cubos) com precisão, produzindo artefatos assimétricos e estruturas globais incompatíveis.
• Degradação de Complexidade: O desempenho degradou-se ainda mais com formas não-convexas ou compostas, exibindo superfícies fraturadas e inconsistências topológicas.
• Gap de Domínio: Modelos treinados em dados sintéticos ou conjuntos de dados específicos falharam em generalizar para imagens do "mundo real" (wild), muitas vezes falhando em recuperar propriedades fundamentais como faces alinhadas aos eixos ou ângulos retos.

2. Detecção de Simetria vs. Diferenciação Geométrica

• Simetria: A sondagem linear em codificadores de imagem de fundação (particularmente DINOv2) mostrou forte capacidade de detectar elementos de simetria 3D, alcançando até 93% de precisão em imagens reais para simetria rotacional de 4 ordens.
• Diferenciação: Apesar de capturarem pistas de simetria, esses mesmos codificadores e VLMs falharam significativamente em tarefas que exigem diferenciação geométrica detalhada, como o Teste de Rotação Mental. Em divisões difíceis, a maioria dos modelos aproximou-se de níveis de acaso, com apenas sondas não lineares em SigLIP e DINOv2 atingindo cerca de 67-69% de precisão.

3. Desempenho Humano vs. Máquina

• Rotação Mental: Embora a melhor configuração de modelo (SigLIP com sonda não linear) tenha igualado a precisão humana média (~69%), 68% dos participantes humanos individuais superaram o melhor modelo. Os melhores performers humanos atingiram 90% de precisão em conjuntos difíceis.
• Classificação Zero-Shot: VLMs de fronteira exibiram uma precisão notavelmente baixa (<20%) em formas de Catalan, Johnson e não-convexas. Eles frequentemente alucinaram tipos de faces, confundiram convexidade (ex: classificando erroneamente formas côncavas como convexas) e fundiram estruturas compostas com estelações.
• Modelos Nativos de Geometria: Modelos projetados para entradas 3D (LLaVA-3D, ShapeLLM, PointLLM) não superaram os VLMs generalistas, sugerindo um gap arquitetônico fundamental em representação geométrica explícita.

Significância e Alegações

O artigo posiciona o GIQ como um "teste de litígio geométrico" para a inteligência espacial. Os autores alegam que os resultados revelam uma desconexão substancial entre as capacidades impressionantes dos modelos de fundação em benchmarks padrão e seu desempenho em tarefas que exigem raciocínio geométrico explícito.

• Entendimento Implícito vs. Explícito: O estudo sugere que, embora os modelos de fundação possam codificar implicitamente propriedades estruturais 3D (evidenciado pela detecção de simetria), isso não se traduz em raciocínio robusto e explícito. Os modelos parecem aprender priors para superfícies ruidosas e imperfeitas a partir dos dados de treinamento, em vez de exatidão matemática.
• Limitações de Escala: Os autores argumentam que o escalonamento sozinho é insuficiente; sem dados matematicamente gerados para impor restrições geométricas, os modelos falham em compreender a "aritmética geométrica" necessária para cenas complexas.
• Direção Futura: O GIQ fornece uma ontologia estruturada para diagnosticar essas lacunas e facilitar o desenvolvimento de aprendizagem de representação robusta e consciente da geometria. Os autores propõem que a estrutura do conjunto de dados permite a geração automática de dados de treinamento de Cadeia de Pensamento (Chain-of-Thought), embora notem que trabalhos futuros devem abordar a generalização para distribuições "wild" mais amplas.

Em conclusão, o artigo afirma que os sistemas de visão atuais dependem de aproximações baseadas em textura em vez de um verdadeiro entendimento geométrico, deixando-os despreparados para o "cálculo geométrico" de cenários complexos do mundo real. O GIQ serve como uma ferramenta diagnóstica crítica para impulsionar o desenvolvimento de modelos capazes de raciocínio espacial de nível humano.