Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models
O artigo apresenta o "Blind-Spots-Bench", um novo benchmark composto por 235 tarefas simples para humanos, porém desafiadoras para a IA, que revela lacunas significativas de desempenho entre modelos de código fechado e de pesos abertos, ao mesmo tempo em que destaca fraquezas persistentes em sistemas multimodais atuais que os benchmarks existentes não conseguem detectar.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está jogando um videogame onde o chefe de IA acabou de derrotar todos os níveis que você já venceu. Ela está esmagando recordes, resolvendo enigmas matemáticos mais rápido que uma calculadora e escrevendo poesias que fazem você chorar. Você pensaria: "Ok, esta IA é basicamente um supergênio". Mas então, você faz uma pergunta simples: "Você consegue desenhar um cachorro com exatamente cinco patas?" ou "Escreva uma frase que tenha exatamente 31 caracteres".
De repente, a IA supergênio tropeça nos próprios pés. Ela desenha um cachorro com seis patas, ou escreve uma frase com 32 caracteres. É como um campeão mundial de xadrez que, de repente, esquece como amarrar os cadarços.
É exatamente isso que os pesquisadores da EPFL descobriram com seu novo teste, chamado blind-spots-bench. Eles não apenas olharam para o quão inteligentes essas modelos de IA são nos grandes e sofisticados exames de que todos falam. Em vez disso, criaram um "teste de estresse" composto por 235 tarefas minúsculas e complicadas que são super fáceis para humanos, mas que parecem derrubar até as IAs mais avançadas.
A Descoberta do "Ponto Cego"
A equipe coletou essas perguntas complicadas de alunos de um curso de pós-graduação em IA. Os alunos foram solicitados a encontrar as coisas específicas que os chatbots de IA mais inteligentes do final de 2025 simplesmente não conseguiam acertar. Eles limparam as perguntas e construíram um sistema para avaliar as respostas automaticamente.
Quando rodaram seus testes, descobriram algumas coisas surpreendentes:
1. A Vantagem do "Filho Rico"
O artigo sugere que os modelos "fechados" e super caros (aqueles que você não pode baixar e rodar por conta própria) são significamente melhores nesses pontos cegos do que os modelos de "pesos abertos" (aqueles que qualquer um pode usar). Mesmo quando ambos os tipos de modelos parecem pontuar quase o mesmo em benchmarks regulares, os modelos de código fechado ainda vencem os abertos em cerca de 10% neste teste de estresse específico. É como dois corredores que parecem igualmente rápidos em uma pista, mas quando você pede para eles correrem por um labirinto enquanto fazem malabarismo, aquele com o equipamento de treinamento mais caro vence.
2. Maior nem sempre é Melhor
Você poderia pensar que tornar um modelo de IA maior (adicionando mais "poder cerebral") resolveria esses erros bobos. Mas o artigo mediu isso e descobriu que escalar não ajuda sempre. Em alguns casos, uma versão menor de um modelo teve um desempenho melhor do que sua versão gigante. Por exemplo, na família Qwen3.5, o modelo de 35 bilhões de parâmetros às vezes superou a versão massiva de 397 bilhões de parâmetros em certos enigmas de lógica. É como como um elefante gigante pode ter dificuldade para passar por uma porta pequena pela qual um gato passa facilmente.
3. Ferramentas não resolvem tudo
Algumas pessoas pensaram: "Se a IA não sabe contar, vamos dar uma calculadora a ela!". Os pesquisadores testaram isso permitindo que os modelos usassem ferramentas de execução de código. Os resultados foram mistos. Para alguns modelos, usar ferramentas ajudou a obter a resposta correta e economizou tempo. Mas para outros, como o GPT-5.4, usar ferramentas na verdade os tornou piores. É como dar uma faca nova e sofisticada a um chef; às vezes eles cortam mais rápido, mas às vezes eles apenas cortam o próprio polegar e estragam a refeição.
4. A Crise da "Contagem"
Um dos maiores pontos cegos que o artigo mediu é a contagem. Seja contando objetos em uma imagem ou gerando uma imagem com um número específico de itens, os modelos tiveram dificuldades. Mesmo os melhores modelos acertaram apenas cerca de 60% dessas tarefas de contagem. É uma fraqueza persistente, como um músico que consegue tocar uma sinfonia complexa, mas não consegue manter um ritmo simples de 4/4.
O Que Este Teste Não Diz
Os autores são muito cuidadosos para não exagerar seus resultados. Eles afirmam explicitamente que este não é um "chefe final" que prova que a IA está quebrada para sempre. Eles admitem que o conjunto de dados é relativamente pequeno (apenas 235 perguntas) e foi criado por estudantes, o que significa que pode ser tendencioso para as fraquezas específicas dos modelos que estavam sendo testados na época. Eles também observam que não incluíram uma base humana para comparar as pontuações diretamente, portanto, não sabemos exatamente o quanto os humanos são "melhores", apenas que os humanos acham essas tarefas triviais.
A Conclusão
O artigo sugere que, embora a IA esteja ficando incrivelmente boa em tarefas gerais, ela ainda possui "pontos cegos" em habilidades muito específicas e concretas, como contagem, raciocínio espacial e seguir limites rígidos de caracteres. Os modelos de código fechado estão atualmente com uma pequena vantagem na correção desses pontos, mas nenhum modelo único dominou todos eles ainda.
Pense no blind-spots-bench não como um boletim que diz "a IA está falhando", mas como uma ferramenta de diagnóstico. É como um mecânico realizando um teste específico em um carro que funciona perfeitamente na rodovia, mas morre em um sinal de parada. Isso nos ajuda a ver exatamente onde o motor está falhando, para que possamos consertá-lo, em vez de apenas assumir que o carro é perfeito porque é rápido.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.