Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

O estudo revela que os modelos de visão-linguagem apresentam uma limitação fundamental na localização espacial de células preenchidas em grades binárias sem identidade textual, demonstrando que sua capacidade de raciocínio espacial depende criticamente de uma via de reconhecimento de texto que supera drasticamente sua percepção visual nativa.

O essencial

Imagine que você tem três super-heróis da inteligência artificial: o Claude, o ChatGPT e o Gemini. Todos eles são famosos por "ver" e entender imagens, como se tivessem olhos e cérebro humanos.

Os pesquisadores deste artigo decidiram fazer um teste simples para ver se esses heróis realmente entendem o que veem, ou se eles estão apenas "chutando" com base em palavras.

O Experimento: O Jogo dos Quadrados

Eles criaram 15 quadros (como uma folha de papel quadriculado de 15x15). Em cada quadro, alguns quadradinhos estavam preenchidos de preto e outros brancos.

Eles mostraram esses quadros para os robôs de duas formas diferentes:

1. Forma de Texto: Os quadradinhos preenchidos eram representados pelo símbolo de "cerol" (#) e os vazios por um ponto (.).
   • Exemplo: .#.#.
2. Forma de Quadrado Puro: Os quadradinhos eram apenas blocos pretos e brancos, sem linhas, sem símbolos, apenas formas geométricas.

A pergunta era: "Onde estão os quadradinhos pretos?"

O Resultado Surpreendente: O "Efeito Leitura"

Aqui está a mágica (e o problema):

• Quando eram símbolos de texto (#): Os robôs foram incrivelmente bons! O Claude e o ChatGPT acertaram cerca de 91% dos quadradinhos. Eles conseguiam dizer exatamente onde cada # estava.
• Quando eram apenas quadrados pretos: A mágica desapareceu. A performance deles desabou para cerca de 60% a 70% de acerto, e a precisão de encontrar os quadrados caiu drasticamente (de 84% para menos de 40%).

A Grande Revelação:
O que é mais importante: A imagem era exatamente a mesma para o "olho" do computador. Não importa se era um símbolo # ou um quadrado preto; para a câmera digital, ambos são apenas pixels pretos e brancos.

Por que a diferença?

A Analogia do "Leitor de QR Code" vs. "O Observador"

Imagine que esses robôs têm dois modos de pensar:

1. O Modo "Leitor de Código" (OCR): Quando eles veem um símbolo que parece uma letra ou um número (como o #), eles ativam um "super-poder" de leitura. É como se dissessem: "Ah, isso é um caractere! Eu sei exatamente onde cada caractere está no meu alfabeto mental." Eles usam a lógica de leitura de texto para mapear a posição. É como ler um livro: você sabe que a letra "A" vem antes da "B".
2. O Modo "Observador Visual": Quando eles veem apenas um quadrado preto sem nenhum símbolo, eles tentam usar a visão pura. É como tentar contar quantas gotas de chuva caíram em um telhado apenas olhando de longe, sem contar uma por uma. Eles conseguem ver que "há uma mancha escura ali", mas perdem a precisão de dizer exatamente qual gota é qual.

A conclusão do artigo é: Os robôs atuais não são tão bons em "ver" formas geométricas puras quanto achamos. Eles dependem quase que totalmente de transformar o que veem em texto para conseguir entender a posição das coisas. Se não há "texto" para ler, eles ficam perdidos.

Como cada robô falhou (Os "Estilos de Erro")

Cada um teve um jeito diferente de se confundir quando os quadrados não tinham letras:

• O Claude: Ficou "poupador". Ele via os quadrados, mas achava que havia menos do que realmente existia. Ele contava errado e perdia a localização exata.
• O ChatGPT: Ficou "alucinado". Ele via uma mancha preta e imaginava que havia muitos quadrados ali, criando uma mancha borrada e exagerada.
• O Gemini: Ficou "criativo demais". Quando a imagem ficava muito cheia, ele parava de olhar e inventava padrões geométricos que não existiam (como desenhar um "X" ou um "L" no lugar do que estava na imagem).

O Teste de "Colar Etiquetas"

Para provar a teoria, os pesquisadores fizeram um teste extra: eles pegaram os quadrados pretos e colocaram um pequeno número "1" branco dentro de cada um.

• Resultado: O Claude e o Gemini voltaram a ser gênios! Assim que viram o "1" (texto), a leitura ativou e eles acertaram tudo de novo.
• O ChatGPT: Ficou pior! O texto dentro do quadrado pareceu confundi-lo, como se ele não soubesse se deveria "ler" o número ou "ver" o quadrado.

Por que isso importa?

Isso nos diz que, embora esses robôs pareçam ver o mundo como nós, eles na verdade "leem" o mundo.

• Se você usar um robô para ler um documento médico cheio de texto, ele será ótimo.
• Mas se você pedir para ele analisar uma imagem de raio-x, um mapa de calor ou um circuito eletrônico (onde não há letras, apenas formas), ele pode falhar feio, porque ele não tem um "olho" visual puro e preciso; ele precisa transformar tudo em palavras para entender.

Resumo em uma frase:
Os robôs de IA atuais são ótimos em ler imagens, mas ainda são muito ruins em ver formas puras, a menos que você coloque letras dentro delas para ajudá-los a entender.

Resumo técnico

Título: Os Modelos Visão-Linguagem Conseguem Ver Quadrados?

Subtítulo: O Reconhecimento de Texto Media o Raciocínio Espacial em Três Famílias de Modelos

1. O Problema

Existe uma suposição implícita de que os Modelos Visão-Linguagem (VLMs) de ponta possuem capacidades robustas de raciocínio espacial sobre entradas visuais arbitrárias. No entanto, este trabalho desafia essa premissa, propondo que os VLMs atuais podem depender excessivamente de um caminho de reconhecimento de texto (essencialmente uma OCR interna) para realizar tarefas espaciais precisas.

O problema central identificado é a incapacidade dos VLMs de localizar com precisão células preenchidas em grades binárias quando essas células não possuem identidade textual. Embora os modelos performem bem quando os elementos visuais são caracteres de texto reconhecíveis, eles falham dramaticamente quando os mesmos elementos são representados como formas geométricas abstratas (quadrados preenchidos), mesmo que a informação visual seja idêntica e processada pelo mesmo codificador visual.

2. Metodologia

Os autores realizaram um experimento controlado e deliberadamente simples para isolar o raciocínio espacial da compreensão semântica:

• Geração de Dados: Foram criadas 15 grades binárias de 15x15 (225 células cada), variando a densidade de células preenchidas de 10,7% a 41,8%.
• Condições de Codificação Visual: Cada grade foi renderizada em dois formatos distintos, apresentados como imagens PNG (sem bypass do codificador visual):
  1. Símbolos de Texto: Células vazias como . e preenchidas como # (fonte monoespaçada).
  2. Quadrados Preenchidos: Células como quadrados pretos ou brancos sólidos, sem linhas de grade.
• Modelos Avaliados: Três VLMs de ponta de organizações diferentes:
  • Claude Opus (Anthropic)
  • ChatGPT 5.2 (OpenAI)
  • Gemini 3 Thinking (Google)
• Prompting: Os modelos receberam instruções fixas para transcrever as grades visualmente, sem uso de ferramentas de código ou processamento de imagem externo.
• Métricas: Precisão de célula (fração de células classificadas corretamente) e F1-score para a detecção de células preenchidas (a métrica mais crítica devido ao desequilíbrio de classes).

3. Contribuições Principais

• Evidência de uma Limitação Fundamental: Demonstração robusta de que a capacidade de localização espacial de VLMs cai drasticamente quando os elementos visuais não são caracteres de texto reconhecíveis.
• Generalização Arquitetural: A falha foi replicada em três famílias de modelos independentes com arquiteturas, dados de treinamento e codificadores visuais diferentes, sugerindo que é uma propriedade estrutural dos VLMs atuais e não um defeito isolado.
• Análise de Ablação de Símbolos: Introdução de condições intermediárias (caracteres Unicode de quadrados e texto embutido dentro de quadrados) para mapear o continuum entre "texto" e "visual puro".
• Identificação de Modos de Falha Distintos: Caracterização qualitativa de como cada modelo falha (subcontagem, supercontagem e alucinação de padrões).

4. Resultados Chave

A. A Lacuna Texto vs. Quadrados

Houve uma queda drástica no desempenho ao mudar de símbolos de texto para quadrados preenchidos:

• Condição de Texto: Claude e ChatGPT atingiram ~91% de precisão e ~84% de F1. O Gemini atingiu 84% de precisão e 63% de F1.
• Condição de Quadrados Preenchidos: Todos os modelos colapsaram para 60–73% de precisão e 29–39% de F1.
• Gap de Desempenho: A diferença no F1 entre as condições variou de 34 a 54 pontos entre os modelos.

B. Efeitos de Densidade e Modos de Falha

• Claude Opus: Apresentou subcontagem sistemática. Detectou a região aproximada, mas falhou na localização precisa das bordas individuais.
• ChatGPT 5.2: Apresentou supercontagem massiva. Em grades densas, gerou muito mais células preenchidas do que existiam e frequentemente perdeu as dimensões da grade, criando padrões borrados.
• Gemini 3 Thinking: Apresentou alucinação de padrões. Em densidades moderadas a altas, abandonou a entrada real e gerou padrões geométricos estereotipados (cruz, L, mais), indicando um colapso na capacidade de reconhecimento de texto que o levou a "adivinhar" padrões.

C. Ablação de Tipo de Símbolo

• Quadrados Unicode (□■): Produziram desempenho intermediário (69–77% de F1), sugerindo que a familiaridade do token (frequência nos dados de treinamento) influencia o desempenho, mas não é o único fator.
• Texto dentro de Quadrados:
  • Claude e Gemini: A recuperação foi quase total (atingindo 100% de F1 em grades esparsas), provando que a presença de texto, mesmo embutido, ativa o caminho de alta fidelidade.
  • ChatGPT: O desempenho piorou (51% de F1) ao adicionar texto, sugerindo uma interferência destrutiva entre os caminhos visual e textual neste modelo específico.

5. Significado e Implicações

Hipótese do Caminho de Reconhecimento de Texto

O artigo propõe que os VLMs operam com dois caminhos implícitos:

1. Caminho de Reconhecimento de Texto: Alta fidelidade, mapeia caracteres para tokens e preserva a posição espacial com precisão (funciona como OCR interna).
2. Caminho de Recursos Visuais: Baixa fidelidade espacial, otimizado para compreensão semântica global, mas perde coordenadas precisas.

A maioria dos modelos atuais depende fortemente do primeiro caminho para tarefas espaciais. Quando o estímulo visual não é um caractere reconhecível, o modelo recorre ao segundo caminho, que é insuficiente para localização precisa.

Implicações Práticas

• Superestimação de Capacidades: Benchmarks baseados em texto ou documentos podem superestimar drasticamente a capacidade de raciocínio espacial de VLMs em conteúdo não textual.
• Aplicações Críticas: Áreas como imagem médica, sistemas autônomos e visualização científica, que dependem de formas abstratas e não de texto, podem sofrer com erros de localização graves ao usar VLMs atuais.
• Soluções Potenciais: O uso de "andaimes textuais" (adicionar rótulos de texto a elementos visuais) pode melhorar o desempenho em alguns modelos, mas não é uma solução universal. O futuro pode exigir codificadores visuais treinados com objetivos de previsão de coordenadas espaciais explícitas ou o uso de tokens visuais discretos.

Conclusão

O estudo conclui que, apesar de processarem imagens através do mesmo codificador visual, os VLMs de ponta não "veem" quadrados preenchidos da mesma forma que veem caracteres de texto. Sua capacidade de raciocínio espacial é mediada pelo reconhecimento de texto; na ausência de identidade textual, a localização espacial degrada-se severamente. Isso revela uma lacuna fundamental na arquitetura atual de modelos multimodais que precisa ser abordada para aplicações que exigem precisão geométrica em elementos não textuais.