A visão humana não se trata meramente de ver; trata-se de comparar. Quando olhamos para uma sala, não apenas registramos que cadeiras e mesas existem; julgamos instantaneamente qual cadeira é mais alta, qual mesa está mais próxima, quantas xícaras há no balcão ou se uma fotografia mostra uma cena do passado ou do presente. Essa capacidade de pesar uma coisa contra outra é uma parte fundamental de como compreendemos o mundo. Nos últimos anos, os computadores aprenderam a enxergar com uma habilidade notável, sendo capazes de descrever imagens e responder perguntas sobre o que elas contêm. Esses sistemas, conhecidos como modelos de visão-linguagem, são os motores por trás de muitas ferramentas modernas que podem ler um gráfico, descrever uma foto ou resolver um enigma visual. No entanto, embora essas máquinas tenham se tornado adeptas do reconhecimento e da descrição, permanece incerto se elas possuem a mesma compreensão intuitiva de comparação que os humanos usam a cada segundo do dia.

Um pesquisador construiu agora um teste especializado para responder a essa pergunta, criando um novo conjunto de avaliação projetado para isolar o ato específico de comparar informações visuais. Ele descobriu que, embora os sistemas de computador mais avançados tenham um bom desempenho em tarefas gerais, eles têm dificuldade significativa quando solicitados a fazer comparações diretas sobre quantidade, tamanho, distância ou tempo. O estudo revela que mesmo os modelos mais inteligentes podem falhar ao contar objetos que estão claramente visíveis, errar ao julgar qual de dois itens é mais longo ou se confundir sobre qual de duas pessoas está mais próxima da câmera. O pesquisador descobriu que esses sistemas frequentemente tropeçam em tarefas que são triviais para um humano, sugerindo que a capacidade de comparar detalhes visuais continua sendo uma fraqueza sistemática na inteligência artificial atual.

Para investigar essa lacuna, o pesquisador construiu um conjunto abrangente de testes chamado CompareBench, que é apoiado por outros dois recursos que ele desenvolveu: TallyBench e OmniCaps. O TallyBench é uma coleção de dois mil imagens, cada uma pareada com uma pergunta simples pedindo ao computador para contar um tipo específico de objeto, como cães, livros ou colheres. Este recurso serve como uma base para testar o quão bem um modelo consegue contar itens individuais e também fornece as imagens de origem para a tarefa de comparação de quantidade. O OmniCaps é um conjunto menor de setecentos e dezesseis imagens apresentando eventos históricos, marcos famosos e pessoas notáveis, cada uma marcada com uma data específica. Esta coleção permite ao pesquisador testar se um modelo pode compreender a passagem do tempo ao ordenar imagens cronologicamente. O teste principal, o CompareBench, reúne esses elementos em mil duzentos perguntas que pedem ao computador para fazer comparações diretas. Essas perguntas são divididas em quatro categorias: comparar quantidades, comparar propriedades geométricas como comprimento e espessura, julgar relações espaciais como profundidade e altura, e ordenar eventos no tempo. O subconjunto de comparação de quantidade utiliza especificamente o TallyBench para formar seiscentas perguntas.

O pesquisador testou nove versões diferentes de sistemas de visão computacional líderes de três grandes empresas de tecnologia. Ele pediu a esses modelos que resolvessem as mil duzentas perguntas de comparação e as duas mil tarefas de contagem. Os resultados mostraram uma divisão clara entre o desempenho humano e o desempenho da máquina. Os humanos alcançaram pontuações quase perfeitas em quase todas as tarefas, contando objetos e julgando tamanhos com facilidade. Os modelos de computador, no entanto, mostraram erros persistentes. Nas tarefas de contagem, os melhores modelos acertaram aproximadamente oitenta e sete por cento das respostas, o que significa que deixaram passar ou erraram a contagem de objetos em mais de uma em cada dez imagens. Nas tarefas de comparação, o desempenho variou por categoria. Os modelos foram razoavelmente bons em comparar quantidades, mas tiveram dificuldades significativas com o raciocínio espacial, frequentemente falhando em determinar qual objeto estava mais próximo da câmera ou qual ponto estava mais alto em relação ao solo. Eles também tiveram problemas com comparações geométricas, como decidir qual de dois livros era mais grosso.

Uma das descobertas mais surpreendentes surgiu na categoria de comparação temporal, ou baseada no tempo. Nesta seção, os modelos foram solicitados a observar imagens de cenas históricas, marcos ou pessoas famosas e decidir qual delas ocorreu anteriormente na história. Aqui, os modelos de computador superaram os sujeitos humanos de teste. Os humanos, que estavam limitados a olhar apenas para a evidência visual nas fotos, muitas vezes não consegiam determinar a ordem correta porque as imagens pareciam muito semelhantes. Os modelos de computador, no entanto, tinham acesso a uma vasta quantidade de conhecimento pré-existente sobre história, arquitetura e figuras famosas. Eles podiam recorrer a esse banco de dados interno para ordenar as imagens corretamente, mesmo quando as pistas visuais sozinhas eram insuficientes. Isso sugere que, embora os modelos careçam de uma verdadeira compreensão visual de espaço e tamanho, eles podem às vezes compensar isso usando sua memória massiva de fatos para resolver problemas que exigem conhecimento externo.

Apesar desses sucessos ocasionais, o estudo destaca que a habilidade central de comparar elementos visuais ainda não foi totalmente dominada pela inteligência artificial. O pesquisador observou que os modelos frequentemente confundiam o comprimento de um objeto com sua altura, ou falhavam em distinguir entre um objeto em primeiro plano e um no plano de fundo. Eles também descobriram que os modelos frequentemente perdiam objetos parcialmente ocultos ao contar, uma tarefa que os humanos lidam de forma instintiva. O pesquisador concluiu que os sistemas atuais ainda não são confiáveis para tarefas que exigem comparação visual detalhada, e que essas falhas não são apenas erros aleatórios, mas limitações sistemáticas na forma como os modelos processam a informação visual. Ao fornecer um conjunto focado de testes que isola essas habilidades específicas, o novo benchmark oferece uma maneira clara de medir o progresso nesta área. O pesquisador espera que, ao tornar seus dados e métodos públicos, outros cientistas possam usar essas ferramentas para construir melhores modelos que possam, eventualmente, igualar a habilidade humana de ver, comparar e compreender o mundo ao nosso redor.