Resumo Técnico: VRIQ – Avaliação de Desempenho e Análise do QI de Raciocínio Visual de VLMs

Declaração do Problema

Apesar dos avanços significativos nos Modelos de Linguagem-Visão (VLMs), sua capacidade de realizar raciocínio não verbal confiável permanece não comprovada. Embora as capacidades de raciocínio sejam um pilar do desempenho dos Grandes Modelos de Linguagem (LLMs), estender esses benefícios para contextos multimodais revelou limitações persistentes. Os benchmarks existentes frequentemente sofrem de duas lacunas críticas:

1. Falta de Paridade de Domínio: Muitos benchmarks focam exclusivamente em imagens naturais com requisitos de raciocínio superficiais ou quebra-cabeças abstratos desconectados da compreensão visual do mundo real, impedindo a comparação direta do comportamento do modelo entre domínios.
2. Avaliação Monolítica: As avaliações atuais tipicamente tratam a percepção (identificação de elementos visuais) e o raciocínio (aplicação de regras a esses elementos) como uma única capacidade, falhando em isolar a fonte específica da falha.

Consequentemente, permanece incerto se as falhas dos VLMs em tarefas visuais complexas decorrem de uma incapacidade de extrair fatos visuais (percepção) ou de uma incapacidade de aplicar regras lógicas (raciocínio).

Metodologia: O Benchmark VRIQ

Os autores introduzem o VRIQ (Visual Reasoning IQ), um benchmark diagnóstico composto por 1.500 itens elaborados por especialistas, projetados para avaliar VLMs tanto em percepção quanto em raciocínio.

1. Design do Benchmark

O VRIQ emprega uma estratégia de construção de domínio paralelo, apresentando duas famílias de quebra-cabeças que compartilham estruturas lógicas idênticas, mas diferem no domínio visual:

• Domínio Abstrato: Primitivas geométricas, linhas e padrões (ex: testes de aptidão de serviço público).
• Domínio Natural: Objetos e cenas do mundo real projetados para exigir as mesmas operações lógicas que seus correspondentes abstratos.

O benchmark cobre cinco categorias fundamentais de raciocínio estabelecidas na psicometria humana:

• Completagem de Sequência (SC)
• Predição de Matriz (MP)
• Elemento Diferente (OO)
• Rotação de Figura (FR)
• Visualização 3D (3D)

2. Estrutura de Diagnóstico Hierárquico

Para dissecar as falhas dos modelos, o VRIQ utiliza uma estrutura de avaliação de três níveis:

• Nível 1 (Precisão de Ponta a Ponta): Mede a precisão padrão de múltipla escolha em todas as categorias.
• Nível 2 (Sondas Diagnósticas): Para cada quebra-cabeça, os autores constroem dois tipos de sondas:
  • Sondas Perceptivas (P-probes): Questões atômicas, triviais para humanos, que testam atributos visuais específicos (ex: "Quantos círculos vermelhos?") usando a imagem original.
  • Sondas de Raciocínio (R-probes): Instanciações apenas textuais da regra do quebra-cabeça onde os fatos visuais são explicitamente fornecidos. Isso testa se o modelo consegue aplicar a lógica dados os fatos corretos.
• Nível 3 (Categorização de Erros): As falhas são classificadas em três baldes distintos:
  • P-only (Apenas Percepção): O modelo falha em uma P-probe, mas passa na R-probe (Gargalo de percepção).
  • R-only (Apenas Raciocínio): O modelo passa em todas as P-probes, mas falha na R-probe (Déficit de raciocínio).
  • P+R (Percepção + Raciocínio): O modelo falha em ambos (Falha combinada).

3. Configuração Experimental

O estudo avalia um conjunto diversificado de modelos de código aberto (ex: Qwen2.5/3, InternVL, LLaVA) e proprietários (ex: GPT-4o, GPT-5.1, Gemini-2.5-pro). Um caso especial é feito para o OpenAI o3, que é avaliado com "pensamento com imagens" habilitado, permitindo que utilize ferramentas externas (recorte, zoom, rotação, código Python) durante a inferência. Uma linha de base humana também foi estabelecida usando 20 participantes em um subconjunto estratificado.

Principais Resultados

1. Baixo Desempenho em Raciocínio Abstrato

Os VLMs apresentam níveis próximos ao acaso em questões de QI abstratas.

• Domínio Abstrato: A precisão média de todos os VLMs testados é de 27,52%, apenas marginalmente acima da linha de base de escolha aleatória (25%). Mesmo o modelo de melhor desempenho, Qwen3-VL-32B-Thinking, alcança apenas 35,5%.
• Proprietário vs. Código Aberto: Contrariando as tendências em outros benchmarks, os modelos proprietários (ex: GPT-4o com 30,3%) não superam significativamente os fortes modelos de código aberto em tarefas abstratas.
• Linha de Base Humana: Humanos alcançam 90,36% de precisão no subconjunto abstrato, destacando um enorme abismo.

2. Raciocínio Natural Melhorado, mas Não Confiável

O desempenho melhora quando as tarefas são fundamentadas em imagens naturais, mas permanece longe do nível humano.

• Domínio Natural: A precisão média sobe para 42,53%, com ganhos de 10 a 20 pontos percentuais sobre as tarefas abstratas.
• Confiabilidade: Apesar das melhorias, os modelos permanecem não confiáveis. Por exemplo, o GPT-4o atinge 54,2% em média, enquanto os modelos de código aberto agrupam-se entre 35% e 47%. O desempenho varia drasticamente entre as categorias (ex: um modelo pode pontuar 19% em raciocínio 3D, mas 24% em completagem de sequência).

3. O Impacto do Raciocínio Aumentado por Ferramentas

O modelo OpenAI o3, equipado com capacidades de uso de ferramentas (manipulação de imagem, execução de código), demonstra um salto substancial de desempenho:

• Abstrato: 50,2% de precisão média (vs. ~28% para os outros).
• Natural: 85,0% de precisão média.
• Mecanismo: A análise dos rastros das ferramentas mostra que o o3 frequentemente usa recorte e zoom para isolar elementos e rotação para canonicalizar a orientação, mitigando efetivamente os gargalos perceptivos.

4. Achados Diagnósticos: A Percepção é o Gargalo

A análise de sondagem hierárquica revela a causa raiz das falhas:

• Dominância da Percepção: Aproximadamente 56% das falhas são atribuídas à percepção isoladamente (P-only), e 43% são falhas combinadas de percepção-raciocínio (P+R).
• Raridade do Raciocínio: Falhas puras de raciocínio (R-only) representam apenas 1,1% dos erros.
• Implicação: Quando os modelos percebem corretamente os elementos visuais, eles aplicam as regras lógicas de forma confiável. O principal modo de falha é a incapacidade de extrair fatos visuais precisos (contagem, posição, orientação) da imagem.

5. Déficits Perceptivos Detalhados

Categorias perceptivas específicas mostram perfis de falha distintos:

• Contagem: Maior taxa de falha (73,8%).
• Posição e Rotação: Altas taxas de falha (58,2% e 52,4%, respectivamente).
• Cor: Menor taxa de falha (31,4%), sugerindo que os modelos são melhor ajustados para atributos baseados em aparência do que para atributos espaciais ou quantitativos.
• 3D/Profundidade: Alta taxa de falha (67,5%), indicando falta de fortes vieses geométricos 3D.

Significância e Alegações

O artigo afirma que os atuais VLMs, mesmo com arquiteturas avançadas e raciocínio aumentado por ferramentas, permanecem raciocinadores abstratos não confiáveis. A limitação primária não é a falta de capacidade de raciocínio lógico, mas sim um gargalo perceptivo.

As principais contribuições incluem:

1. Um Novo Benchmark: O VRIQ fornece o primeiro benchmark multidimensional que permite a comparação direta de raciocínio abstrato vs. natural usando estruturas lógicas idênticas.
2. Estrutura Diagnóstica: A metodologia de sondagem hierárquica consegue separar com sucesso a percepção do raciocínio, revelando que a vasta maioria dos erros de "raciocínio" são, na verdade, erros de percepção.
3. Insights Acionáveis: Os achados sugerem que melhorar o desempenho dos VLMs requer priorizar o fundamento perceptivo (ex: melhor codificação espacial, mecanismos de contagem e vieses 3D), em vez de simplesmente escalar o tamanho do modelo ou a capacidade de raciocínio. O artigo postula que o progresso futuro no raciocínio multimodal pode depender mais da orquestração de procedimentos externos (ferramentas) para lidar com a percepção do que de um aumento adicional na escala de modelos únicos.

Os autores concluem que, ao mudar de uma avaliação descritiva para uma diagnóstica, o VRIQ oferece uma base principiológica para o desenvolvimento de sistemas multimodais mais robustos e confiáveis.