🤖 AI

NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models

O artigo apresenta o NumerosityVLM, um benchmark de inspiração cognitiva com 10.800 imagens sintéticas controladas que revela que a percepção de numerosidade dos Modelos de Visão-Linguagem é determinada primordialmente por suas arquiteturas e componentes de linguagem, em vez de condições visuais, com sinais de numerosidade linearmente separáveis emergindo precocemente no codificador de visão.

Autores originais: Yiming Fu, Fangjun Li, Xiujin Liu, Ruidong Ma, Hang Yu, Zhichen Lu, Kanwei He, Alessandro Di Nuovo, Angelo Cangelosi, Zhegong Shangguan

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiming Fu, Fangjun Li, Xiujin Liu, Ruidong Ma, Hang Yu, Zhichen Lu, Kanwei He, Alessandro Di Nuovo, Angelo Cangelosi, Zhegong Shangguan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os seres humanos possuem uma capacidade inata e notável de reconhecer quantos itens há em um grupo sem contá-los um por um. Um bebê pode distinguir a diferença entre uma pilha de três biscoitos e uma pilha de quatro antes mesmo de aprender a falar, contando com um senso de número que emerge naturalmente no cérebro em desenvolvimento. Essa habilidade, conhecida como percepção de numerosidade, é uma parte fundamental de como entendemos o mundo. Nos últimos anos, os cientistas voltaram sua atenção para a inteligência artificial, especificamente um tipo de sistema computacional chamado modelo de visão-linguagem. Esses sistemas são projetados para observar imagens e responder perguntas sobre elas, muitas vezes performando com fluência humana em tarefas complexas. No entanto, uma questão persistente permanece: essas máquinas realmente entendem o conceito de "quantos", ou estão simplesmente adivinhando com base em padrões visuais que memorizaram?

Para responder a isso, uma equipe de pesquisadores criou um novo campo de testes chamado NumerosityVLM. Eles construíram um conjunto de 10.800 imagens geradas por computador projetadas para eliminar os truques que poderiam enganar uma máquina. No mundo real, a contagem é frequentemente confundida por outras pistas visuais. Por exemplo, um grupo de objetos grandes pode ocupar mais espaço do que um grupo de objetos pequenos, levando um sistema a pensar que há mais dos grandes simplesmente porque eles cobrem uma área maior. Para evitar isso, os pesquisadores controlaram cada detalhe de suas imagens. Eles criaram cenários onde o número de itens mudava enquanto o espaço total ocupado permanecia o mesmo, e vice-versa. Eles também removeram textura, forma e cor em etapas, deixando apenas pontos simples, para ver se os modelos dependiam da aparência dos objetos ou da contagem real. Eles testaram sete modelos de código aberto diferentes, variando de sistemas menores e mais antigos a outros maiores e mais avançados, pedindo-lhes que contassem os itens em cada imagem.

Os resultados revelaram uma divisão clara entre os modelos. Os sistemas mais avançados, que possuíam estruturas internas maiores, tiveram um desempenho significativamente melhor, alcançando alta precisão mesmo quando as pistas visuais eram enganosas. Os modelos menores e mais antigos tiveram dificuldades, muitas vezes falhando em distinguir entre diferentes quantidades e produzindo o mesmo conjunto limitado de respostas, independentemente do que havia na imagem. Os pesquisadores descobriram que o maior fator determinante para o sucesso não foi a condição visual da imagem, mas a própria arquitetura do modelo. A forma como a máquina foi construída importava muito mais do que os truques visuais específicos usados no teste. Isso sugere que a capacidade de contar não é apenas uma questão de enxergar claramente, mas de ter a estrutura interna correta para processar essa informação.

Aprofundando a análise sobre como esses modelos funcionavam, a equipe examinou as diferentes etapas do pipeline de processamento da máquina. Eles descobriram que a capacidade de distinguir números parece aparecer muito cedo, logo quando a máquina observa a imagem pela primeira vez. Mesmo os modelos menos bem-sucedidos consegravam detectar o número de itens em suas camadas visuais iniciais. O problema, descobriu-se, ocorria mais tarde. A diferença entre um modelo que conseguia contar bem e um que não conseguia residia em como ele traduzia esses sinais visuais em palavras. Os modelos mais bem-sucedidos eram melhores em pegar a informação numérica que já haviam visto e convertê-la em uma resposta textual correta. Os modelos menos bem-sucedidos pareciam perder essa informação conforme passavam do ato de ver para o de falar.

O estudo também examinou como essas máquinas lidam com a escala dos números. Os modelos de melhor desempenho foram quase perfeitos ao contar pequenos grupos de até quatro itens, uma faixa que os humanos reconhecem instantaneamente. À medida que os números cresciam, sua precisão caía, e eles começavam a estimar consistentemente valores abaixo da contagem real. Esse padrão de subestimação tornava-se mais forte conforme os números aumentavam, espelhando uma limitação conhecida na percepção humana, onde a estimativa de grandes quantidades torna-se menos precisa. No entanto, os modelos mais avançados mostravam esse viés muito mais tarde do que os modelos mais fracos, sugerindo que possuíam uma compreensão mais robusta de números maiores.

Em última análise, a pesquisa indica que os atuais modelos de visão-linguagem possuem, sim, uma forma de compreensão numérica, mas ela é frágil e fortemente dependente de seu design. A capacidade de ver "quantos" está presente no processamento visual inicial desses sistemas, mas a etapa final de transformar essa percepção em uma resposta confiável é onde as máquinas frequentemente falham. O estudo conclui que a lacuna de desempenho não se deve à falta de dados visuais, mas sim a como os diferentes modelos são construídos para interpretar e expressar esses dados. Ao isolar esses fatores, os pesquisadores forneceram um mapa mais claro de onde a inteligência artificial se encontra em sua jornada rumo à cognição numérica genuína, mostrando que, embora os olhos da máquina possam ver o número, a mente da máquina ainda precisa aprender a contar.

Resumo Técnico: NumerosityVLM

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) têm demonstrado capacidades notáveis em tarefas multimodais de alto nível, como compreensão de cenas e questionamento visual. No entanto, suas habilidades perceptivas fundamentais, especificamente a percepção de numerosidade (a capacidade de estimar ou contar quantidades), permanecem mal compreendidas. Embora bebês humanos desenvolvam a percepção de numerosidade antes da aquisição da linguagem, os VLMs atuais têm dificuldade com essa tarefa. Os benchmarks de contagem existentes sofrem de duas limitações primárias:

Alcance Limitado: Benchmarks de propósito geral frequentemente cobrem apenas pequenos intervalos de numerosidade, falhando em testar o Sistema de Número Aproximado (ANS).
Variáveis Confundidas: Conjuntos de dados do mundo real emaranham a numerosidade com fatores visuais correlacionados, como tamanho do objeto, densidade e área de superfície total. Isso torna difícil atribuir falhas de contagem a deficiências específicas na percepção visual, decodificação de linguagem ou dependência de pistas de atalho (shortcuts).

Consequentemente, os benchmarks atuais não podem distinguir de forma confiável se um modelo falha devido à incapacidade de perceber quantidades visuais ou à incapacidade de mapear essas percepções para saídas textuais.

Metodologia

Para abordar essas limitações, os autores introduzem o NumerosityVLM, um benchmark de diagnóstico inspirado na cognição, composto por 10.800 imagens sintéticas geradas sob condições estritamente controladas.

Design do Benchmark

O conjunto de dados é construído em uma tela de 1024 × 1024 pixels com objetos não sobrepostos. Apresenta três categorias de objetos (maçãs, borboletas, figuras humanas) e 12 níveis de numerosidade variando de 1 a 100 (cobrindo tanto os regimes de subitização quanto de ANS). O benchmark emprega seis condições experimentais controladas:

Condições de Controle Ortogonais:
- Baseline (Base): Preserva a covariância natural entre numerosidade e área total.
- Incongruente ao Tamanho (Size-Incongruent): A área de superfície total é fixa; o tamanho do objeto individual varia inversamente com a numerosidade.
- Incongruente ao Espaço (Space-Incongruent): O tamanho do objeto individual é fixo; a densidade espacial aumenta com a numerosidade dentro de um invólucro convexo fixo.
Condições de Ablação de Pistas Visuais:
- Ablação de Textura (Texture-Ablated): Objetos substituídos por modelos de formas simplificadas.
- Ablação de Forma (Shape-Ablated): Objetos substituídos por pontos de cores sólidas.
- Ablação de Cor (Color-Ablated): Pontos coloridos convertidos para tons de cinza.

Configuração Experimental

O estudo avalia sete VLMs de código aberto representativos de quatro famílias arquiteturais (CLIP, LLaVA, InternVL, Qwen3-VL) em um cenário de zero-shot (zero-shot setting). A avaliação utiliza estratégias de prompting abertas e fechadas.

Técnicas de Análise

Atribuição Multifatorial: Uma ANOVA de três vias é realizada na acurácia ao nível da imagem para quantificar a contribuição de Modelo, Condição e Subconjunto para a variância de desempenho usando $\omega^2$ parcial.
Análise de Viés Sistemático: Comparações hierárquicas avaliam a robustez contra fatores visuais (tamanho, espaço, textura, forma, cor) e vieses dependentes de magnitude (análise de resíduos).
Sondagem por Camadas (Layer-wise Probing): Máquinas de Vetores de Suporte (SVMs) lineares são treinadas em representações ocultas em cada estágio do pipeline do VLM (codificador de visão, módulo de alinhamento, modelo de linguagem) para determinar onde os sinais de numerosidade emergem e permanecem linearmente separáveis.
Análise de Geometria Numérica: A Análise de Componentes Principais (PCA) é aplicada às representações do backbone de linguagem para examinar a estrutura geométrica da codificação numérica (compressão linear vs. logarítmica).

Resultados Principais

1. Variância de Desempenho e Arquitetura

A análise multifatorial revela que a arquitetura do modelo é o fator dominante que explica a variância de desempenho (partial $\omega^2 = 0,325$ ), superando em muito a influência das condições visuais (partial $\omega^2 = 0,005$ ) ou dos subconjuntos de objetos.

Modelos de Nível 1 (Tier-1): Arquiteturas recentes e maiores (ex: Qwen3VL-8B, InternVL3-8B) alcançam alta acurácia (~77–84%) e baixas magnitudes de erro.
Modelos de Nível 2 (Tier-2): Arquiteturas mais antigas ou menores (ex: CLIP, LLaVA-1.5) operam próximo ao nível basal aleatório (~21%) com altas magnitudes de erro.

2. Robustez Visual e Viés

Tamanho vs. Espaço: Os modelos performam significativamente melhor na condição Incongruente ao Tamanho (área total fixa) em comparação com o baseline, sugerindo que eles dependem fortemente de pistas de área total. No entanto, o desempenho não muda significativamente na condição Incongruente ao Espaço (invólucro convexo fixo), indicando uma falta de sensibilidade a mudanças de densidade espacial nos modelos testados.
Ablação de Pistas: Remover a textura degrada significativamente o desempenho para os modelos Tier-1 em relação ao baseline (caindo para 72,05% de acurácia). No entanto, a remoção adicional de pistas de forma e cor melhora progressivamente sua acurácia, atingindo 77,71% sob ablação de forma e 80,92% sob ablação de cor. Os modelos Tier-2 não mostram melhoria significativa nas condições de ablação, sugerindo que falham em utilizar essas pistas efetivamente, independentemente da complexidade.
Viés de Magnitude: Todos os modelos exibem subestimação sistemática para numerosidades superiores a 50. Os modelos Tier-1 mantêm alta acurácia no intervalo de subitização (1–4) e no baixo intervalo de ANS (5–20), mas degradam conforme a magnitude aumenta.

3. Insights Mecanísticos (Sondagem por Camadas)

Codificador de Visão: Sinais de numerosidade linearmente separáveis emergem consistentemente nas camadas iniciais do codificador de visão. Ao final do codificador de visão, tanto modelos de alto desempenho quanto os de baixo desempenho codificam representações robustas de numerosidade. Isso indica que a extração de características visuais não é a principal fonte de disparidade de desempenho.
Modelo de Linguagem: A lacuna crítica de desempenho surge durante as etapas de modelagem de linguagem e decodificação. Os modelos Tier-1 retêm informações numéricas estruturadas através do processo de decodificação, enquanto os modelos Tier-2 degradam rapidamente.
Geometria Numérica: Os backbones de linguagem Tier-1 exibem uma geometria numérica altamente ordenada e logaritmicamente comprimida (alta correlação de Spearman e Log $R^2$ ), alinhando-se com as características do ANS humano. Os backbones Tier-2 mostram um ordenamento mais fraco e uma escala menos consistente.

Principais Contribuições

Benchmark NumerosityVLM: Uma ferramenta de diagnóstico inspirada na cognição com controle ortogonal sobre o tamanho do objeto, arranjo espacial e numerosidade, juntamente com ablação progressiva de pistas, permitindo o diagnóstico sistemático da percepção de VLMs.
Atribuição de Variância de Desempenho: Demonstração de que o design arquitetural e as estratégias de integração multimodal explicam a maior parte das diferenças de desempenho de contagem, em vez de condições visuais ou categorias de objetos.
Localização Mecanística: Evidência de que os sinais de numerosidade são linearmente decodificáveis nas camadas de visão iniciais em todos os modelos, enquanto as diferenças de desempenho estão primariamente associadas à capacidade do modelo de linguagem de mapear representações latentes para saídas textuais.

Significância e Limitações

O artigo afirma que o NumerosityVLM fornece um framework necessário para ir além de métricas de desempenho geral para um entendimento mecanístico das limitações dos VLMs. Os achados sugerem que a "falha de contagem" em muitos VLMs não é uma falha de percepção visual, mas uma falha de alinhamento da representação para a saída no componente de linguagem.

Os autores reconhecem limitações:

A dependência de estímulos sintéticos com isolamento estrito de fatores pode limitar a generalização para cenas complexas do mundo real.
Os resultados de sondagem fornecem evidência correlacional, em vez de causal, em relação aos mecanismos internos.

Trabalhos futuros são propostos para estender o framework para ambientes do mundo real e explorar métodos de intervenção causal.