💬 NLP

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

Este artigo apresenta o BLUEX v2, um novo benchmark composto por 395 questões abertas dos principais exames de admissão universitária do Brasil (2022–2025) para avaliar 21 LLMs de última geração em tarefas discursivas em português, revelando lacunas significativas de desempenho e destacando desafios em raciocínio matemático e compreensão de imagens.

Autores originais: João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você estivesse testando o quão inteligentes são um grupo de robôs fazendo perguntas de múltipla escolha simples, como "Qual é a cor do céu? A) Azul, B) Vermelho". Eles têm se saído muito bem ao escolher a letra certa. Mas os pesquisadores por trás deste artigo, BLUEX v2, perceberam que escolher uma letra é fácil. O verdadeiro teste de inteligência é escrever um ensaio completo, explicando por que o céu é azul, e desenhar um diagrama para provar isso.

Este artigo apresenta um novo "exame final" muito mais difícil para modelos de IA, projetado especificamente para testar sua capacidade de falar e escrever em português.

Aqui está a divisão do trabalho deles usando analogias simples:

1. O Problema: A Armadilha da "Múltipla Escolha"

Anteriormente, pesquisadores testavam a IA em exames de vestibular brasileiros, mas apenas na primeira fase. Pense na primeira fase como um jogo de perguntas e respostas onde você apenas circula a resposta certa. É fácil para a IA adivinhar ou reconhecer padrões.

A segunda fase desses exames (a que o BLUEX v2 foca) é como uma defesa de tese final. Os alunos devem escrever respostas longas e detalhadas, resolver problemas matemáticos complexos passo a passo e interpretar mapas ou gráficos. Os testes antigos não conseguiam medir se uma IA conseguia realmente pensar e escrever como um humano; eles apenas mediam se ela conseguia reconhecer a resposta correta.

2. A Solução: Um Novo "Exame Final" para a IA

A equipe criou o BLUEX v2, um enorme conjunto de dados com 395 questões reais das principais universidades do Brasil (UNICAMP e USP) entre 2022 e 2025.

As Questões: Elas não são apenas texto. Cerca de 56% delas incluem imagens, tabelas ou mapas que você precisa entender para responder corretamente.
O Formato: A IA tem que escrever respostas de forma livre, não apenas escolher A, B, C ou D.
As Disciplinas: Abrange 9 disciplinas diferentes, desde História e Sociologia até Física e Matemática.

3. Como Eles Corrigiram os Robôs: O "Professor de IA"

Corrigir um ensaio de 5 páginas é difícil para humanos fazerem rapidamente para milhares de testes. Por isso, os pesquisadores construíram um sistema onde uma IA atua como o professor.

A Rubrica: Primeiro, eles usaram uma IA para ler a "resposta correta oficial" e decompô-la em uma lista de verificação (uma rubrica). Por exemplo, se a resposta precisa mencionar "ATP" e "contração muscular", a lista de verificação possui esses dois itens.
O Juiz: Outra IA (o "Juiz") lê a resposta do robô aluno e marca os itens na lista. Ele mencionou o ATP? Sim. Ele mencionou a contração muscular? Não.
A Nota: O robô recebe uma nota de 0 a 10 baseada em quantos itens da lista de verificação ele atingiu.
A Prova: Para garantir que o "Professor de IA" não estivesse alucinando, eles compararam a correção da IA com professores humanos reais. A IA concordou com os humanos 89,5% das vezes. Essa é uma pontuação muito alta, provando que a correção automatizada é confiável.

4. Os Resultados: Quem Passou e Quem Reprovou?

Eles testaram 21 modelos de IA diferentes (os "robôs") neste exame.

A Dispersão: As pontuações variaram de um baixo de 4,18 a um alto de 9,10. Isso mostra que o teste é bom para diferenciar um robô inteligente de um não tão inteligente.
Os Vencedores: Os melhores desempenhos foram de modelos gigantes e caros, como o Gemini 3.1 Pro e o GPT-5.
Os Perdedores: Modelos menores de código aberto tiveram dificuldades, com as pontuações mais baixas em torno de 4,18.
As Estrelas Brasileiras: Curiosamente, modelos feitos no Brasil (Sabiá-4) tiveram um desempenho muito bom, quase tão bom quanto os gigantes globais, mostrando que o treinamento local ajuda.

5. As "Partes Difíceis": Onde os Robôs Tropeçam

Até os melhores robôs tiveram problemas com duas coisas específicas:

Raciocínio Matemático: Esta foi a disciplina mais difícil. Assim como um humano que consegue escrever uma ótima história, mas não sabe fazer uma divisão longa, as IAs podiam escrever belos ensaios em português, mas frequentemente erravam os passos matemáticos.
Compreensão de Imagens: Quando uma questão incluía um gráfico ou um mapa, as pontuações dos robôs caíam cerca de 0,5 pontos em média. É como dar a um aluno um problema de matemática, mas desenhar os números em um pedaço de papel amassado; a IA tinha dificuldade em "ver" os detalhes claramente o suficiente para resolver o problema.

6. O Custo do Teste

Os pesquisadores foram transparentes sobre o preço. Executar todo este experimento — fazer as perguntas, gerar as descrições das imagens e corrigir as respostas — custou cerca de US$ 127. Isso é surpreendentemente barato para um estudo deste tamanho, mostrando que podemos testar a IA rigorosamente sem gastar milhões.

Conclusão

O BLUEX v2 é um novo e mais rigoroso padrão para testar a IA em português. Ele vai além das simples perguntas de conhecimentos gerais e força a IA a escrever, raciocinar e observar imagens. Os resultados mostram que, embora a IA esteja ficando muito boa em escrever e argumentar em português, ela ainda tem dificuldades com matemática complexa e interpretação de dados visuais. Este benchmark oferece aos pesquisadores um mapa claro de onde focar seus próximos avanços.

Resumo Técnico: BLUEX v2

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em diversas tarefas, sua avaliação em português permanece subdesenvolvida, particularmente no que diz respeito ao raciocínio discursivo de questões abertas. Benchmarks existentes, como o BLUEX original, baseiam-se em questões de múltipla escolha da primeira fase dos vestibares brasileiros. Esses formatos testam primordialmente habilidades de reconhecimento e seleção, falhando em capturar a compreensão profunda, o raciocínio de múltiplas etapas e a articulação complexa exigidos na segunda fase desses exames. Além disso, as avaliações atuais frequentemente carecem de uma avaliação multimodal rigorosa, apesar da prevalência de imagens, gráficos e diagramas em testes acadêmicos. Há uma necessidade crítica de um benchmark que avalie LLMs de língua portuguesa em respostas escritas de formato livre através de diversos assuntos acadêmicos e capacidades cognitivas.

Metodologia

Construção do Dataset (BLUEX v2)

Os autores construíram um benchmark derivado das provas de segunda fase dos dois principais vestibares do Brasil: UNICAMP (Comvest) e USP (Fuvest), abrangendo os anos de exame de 2022–2025.

Escopo: O dataset contém 395 questões discursivas (excluindo redações), que se desdobram em 919 subquestões com pontuação.
Multimodalidade: 55,7% das questões incluem imagens associadas (mapas, gráficos, diagramas) essenciais para a resposta.
Pipeline de Anotação: A construção envolveu um pipeline de cinco estágios:
1. Coleta de Dados: Extração de questões e respostas esperadas oficiais de PDFs usando um pipeline híbrido (pdfminer + OCR).
2. Limpeza de Dados: Revisão humana por quatro anotadores para corrigir artefatos de OCR, verificar segmentação e remover duplicatas/redações.
3. Legendagem & Classificação: Legendas de imagens contextuais foram geradas usando Gemini 3.1 Flash Lite Preview (incorporando o texto da questão), e a classificação de assunto foi realizada usando Sabiá-4.
4. Geração de Rubrica: Para cada subquestão, o Sabiá-4 gerou critérios de rubrica estruturados e legíveis por máquina (itens verificáveis de forma binária) baseados nas respostas esperadas oficiais.
5. Taxonomia: Cada questão foi anotada com seis tags de capacidade cognitiva: Conhecimento Prévio (PRK), Compreensão de Texto (TU), Compreensão de Imagem (IU), Raciocínio Matemático (MR), Conhecimento Brasileiro (BK) e Multilíngue (ML).

Protocolo de Avaliação

Modelos: 21 LLMs de última geração (incluindo modelos de API de fronteira e famílias de pesos abertos) foram avaliados.
Inferência: Os modelos foram consultados via API com um prompt contendo a questão, legendas de imagem e andaime contextual (subquestões e respostas anteriores) para espelhar a natureza sequencial dos exames.
LLM-as-a-Judge (LLM como Juiz): As respostas foram pontuadas por um juiz LLM (Sabiá-4) contra os critérios de rubrica gerados. O juiz produz um veredito binário para cada critério, com a pontuação final calculada como a razão de critérios atendidos ( $m/k$ ) escalonada para uma escala de 0–10.
Validação: O protocolo de juiz LLM foi validado contra dois revisores humanos independentes em uma amostra de 200 anotações de nível de critério. O acordo LLM-humano (Kappa de Cohen $\approx 0,69$ ) situou-se no intervalo "substancial", comparável ao acordo humano-humano ( $\kappa \approx 0,82$ ).

Principais Resultados

Desempenho Geral

Poder Discriminativo: O benchmark demonstrou uma dispersão de desempenho significativa de 4,92 pontos (variando de 4,18 a 9,10 em uma escala de 0–10).
Top Performers: Modelos de fronteira dominaram os rankings superiores, com o Gemini 3.1 Pro Preview pontuando 9,10, seguido pelo GPT-5.4 (8,92) e GPT-5-mini (8,90).
Modelos Brasileiros: Modelos desenvolvidos domesticamente, Sabiá-4 e Sabiazinho-4, alcançaram pontuações competitivas de 8,60 e 8,57, respectivamente.
Bottom Performers: Modelos menores de pesos abertos (ex: LLaMA-3.2-11B Vision) pontuaram significativamente abaixo (4,18).

Análise de Capacidade e Assunto

Dimensões Mais Difíceis: Raciocínio Matemático (MR) e Compreensão de Imagem (IU) emergiram como as capacidades mais desafiadoras. O MR apresentou o maior desvio padrão entre modelos (1,92), tornando-se o principal diferenciador entre os modelos. A IU teve média de 7,79.
Dificuldade por Assunto: Disciplinas de STEM (Matemática, Física, Química) renderam pontuações médias mais baixas em comparação com Humanas (Filosofia, Sociologia, História), refletindo a dificuldade que os LLMs enfrentam com raciocínio simbólico versus escrita argumentativa.
Penalidade Multimodal: Questões contendo imagens foram, em média, 0,54 pontos mais difíceis do que questões apenas de texto em todos os modelos, indicando um desafio persistente na integração multimodal mesmo para modelos de fronteira.

Significância e Contribuições

O artigo reivindica cinco contribuições primárias:

Primeiro Benchmark Multimodal de Resposta Aberta: O BLUEX v2 é o primeiro benchmark derivado de exames de segunda fase de universidades brasileiras, cobrindo 9 disciplinas, 2 universidades e 4 anos de dados.
Anotação Rica: O dataset inclui seis tags de capacidade cognitiva e um pipeline de construção de quatro estágios, permitindo análise diagnóstica detalhada e reprodutibilidade total.
Protocolo de Avaliação Validado: Os autores propõem um protocolo escalável de LLM-as-a-judge usando rubricas geradas, validado contra avaliadores humanos para atingir concordância substancial, facilitando a avaliação sem necessidade de anotação manual.
Avaliação Abrangente: O estudo avalia 21 modelos, revelando modos de falha consistentes em raciocínio matemático e compreensão de imagem entre diferentes famílias de modelos.
Quantificação do Desafio Multimodal: O trabalho fornece evidência empírica da "penalidade multimodal", mostrando que questões com imagens são significativamente mais difíceis em um ambiente acadêmico real.

Os autores concluem que, embora os modelos de fronteira performem bem em argumentação em português, lacunas significativas permanecem em raciocínio simbólico e interpretação visual. O benchmark serve como uma ferramenta para impulsionar melhorias nessas áreas específicas e promove a transparência na avaliação de LLMs em português. O dataset, o código e os outputs estão publicamente disponíveis.