💬 NLP

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

Cet article présente BLUEX v2, un nouveau benchmark comprenant 395 questions ouvertes issues des principaux concours d'entrée à l'université du Brésil (2022–2025) pour évaluer 21 modèles de langage de pointe sur des tâches discursives en portugais, révélant des écarts de performance significatifs et mettant en évidence des défis dans le raisonnement mathématique et la compréhension d'images.

Auteurs originaux : João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez testé l'intelligence d'un groupe de robots en leur posant des questions à choix multiples simples, du type « Quelle est la couleur du ciel ? A) Bleu, B) Rouge ». Ils ont très bien réussi à choisir la bonne lettre. Mais les chercheurs derrière cet article, BLUEX v2, ont réalisé que choisir une lettre est facile. Le véritable test d'intelligence, c'est d'écrire un essai complet, d'expliquer pourquoi le ciel est bleu, et de dessiner un diagramme pour le prouver.

Cet article présente un nouvel « examen final » beaucoup plus difficile pour les modèles d'IA, spécifiquement conçu pour tester leur capacité à parler et à écrire en portugais.

Voici la décomposition de leur travail en utilisant des analogies simples :

1. Le problème : Le piège du « choix multiple »

Auparavant, les chercheurs testaient l'IA sur les examens d'entrée des universités brésiliennes, mais seulement pour la première phase. Considérez la première phase comme un jeu de culture générale où l'on se contente de cocher la bonne réponse. Il est facile pour une IA de deviner ou de reconnaître des schémas.

La deuxième phase de ces examens (celle sur laquelle BLUEX v2 se concentre) ressemble à une soutenance de thèse finale. Les étudiants doivent rédiger des réponses longues et détaillées, résoudre des problèmes mathématiques complexes étape par étape, et interpréter des cartes ou des graphiques. Les anciens tests ne pouvaient pas mesurer si une IA pouvait réellement penser et écrire comme un humain ; ils mesuraient seulement si elle pouvait reconnaître la bonne réponse.

2. La solution : Un nouvel « examen final » pour l'IA

L'équipe a créé BLUEX v2, un immense ensemble de données comprenant 395 questions réelles issues des meilleures universités du Brésil (UNICAMP et USP) entre 2022 et 2025.

Les Questions : Il ne s'agit pas seulement de texte. Environ 56 % d'entre elles incluent des images, des graphiques ou des cartes que vous devez comprendre pour répondre correctement.
Le Format : L'IA doit rédiger des réponses libres, et non choisir A, B, C ou D.
Les Sujets : Cela couvre 9 matières différentes, de l'Histoire et la Sociologie à la Physique et les Mathématiques.

3. Comment ils ont noté les robots : L'« IA professeur »

Noter un essai de 5 pages est difficile pour des humains à faire rapidement pour des milliers de tests. Ainsi, les chercheurs ont construit un système où une IA joue le rôle du professeur.

La Grille de correction : D'abord, ils ont utilisé une IA pour lire la « réponse correcte officielle » et la décomposer en une liste de contrôle (une grille). Par exemple, si la réponse doit mentionner « l'ATP » et la « contraction musculaire », la liste de contrôle contient ces deux éléments.
Le Juge : Une autre IA (le « Juge ») lit la réponse du robot étudiant et coche les éléments de la liste. A-t- de mentionné l'ATP ? Oui. A-t-elle mentionné la contraction musculaire ? Non.
Le Score : Le robot reçoit une note de 0 à 10 basée sur le nombre d'éléments de la liste de contrôle qu'il a atteints.
La Preuve : Pour s'assurer que l'« IA professeur » n'était pas en train d'halluciner, ils ont comparé sa notation par rapport à de vrais professeurs humains. L'IA était d'accord avec les humains 89,5 % du temps. C'est un score très élevé, prouvant que la notation automatisée est fiable.

4. Les Résultats : Qui a réussi et qui a échoué ?

Ils ont testé 21 modèles d'IA différents (les « robots ») sur cet examen.

L'Écart : Les scores allaient d'un bas de 4,18 à un haut de 9,10. Cela montre que le test est efficace pour distinguer un robot intelligent d'un robot moins intelligent.
Les Gagnants : Les meilleurs performeurs étaient des modèles géants et coûteux comme Gemini 3.1 Pro et GPT-5.
Les Perdants : Les modèles plus petits et en open-source ont eu des difficultés, avec les scores les plus bas autour de 4,18.
Les Étoiles Brésiliennes : Curieusement, les modèles fabriqués au Brésil (Sabiá-4) ont très bien performé, presque aussi bien que les géants mondiaux, montant que l'entraînement local aide.

5. Les « Parties Difficiles » : Là où les robots trébuchent

Même les meilleurs robots ont eu des problèmes avec deux choses spécifiques :

Le Raisonnement Mathématique : C'était la matière la plus difficile. Tout comme un humain qui peut écrire une excellente histoire mais qui ne sait pas faire une division longue, les IA pouvaient écrire de magnifiques essais en portugais mais faisaient souvent des erreurs dans les étapes mathématiques.
La Compréhension d'Images : Lorsqu'une question incluait un graphique ou une carte, les scores des robots chutaient d'environ 0,5 point en moyenne. C'est comme donner à un élève un problème de mathématiques mais en dessinant les chiffres sur un morceau de papier froissé ; l'IA avait du mal à « voir » les détails assez clairement pour résoudre le problème.

6. Le Coût du Test

Les chercheurs ont été transparents sur le prix. Faire tourner toute cette expérience — poser les questions, générer les descriptions d'images et noter les réponses — a coûté environ 127 $. C'est étonnamment peu cher pour une étude de cette taille, montrant que nous pouvons tester l'IA rigoureusement sans dépenser des millions.

L'essentiel

BLUEX v2 est une nouvelle norme plus exigeante pour tester l'IA en portugais. Elle dépasse le simple jeu de culture générale et force l'IA à écrire, à raisonner et à regarder des images. Les résultats montrent que, bien que l'IA devienne très douée pour écrire et argumenter en portugais, elle éprouve encore des difficultés avec les mathématiques complexes et l'interprétation des données visuelles. Ce benchmark offre aux chercheurs une carte claire pour savoir où concentrer leurs prochaines améliorations.

Résumé Technique : BLUEX v2

Énoncé du Problème

Bien que les grands modèles de langage (LLM) aient démontré une certaine maîtrise dans diverses tâches, leur évaluation en portugais reste sous-développée, particulièrement en ce qui concerne le raisonnement discursif ouvert. Les benchmarks existants, tels que l'original BLUEX, s'appuient sur des questions à choix multiples issues de la première phase des examens d'entrée universitaires brésiliens. Ces formats testent principalement les capacités de reconnaissance et de sélection, échouant à capturer la compréhension profonde, le raisonnement multi-étapes et l'articulation complexe requis lors de la seconde phase de ces examens. De plus, les évaluations actuelles manquent souvent de rigueur dans l'évaluation multimodale, malgré la prévalence d'images, de graphiques et de diagrammes dans les tests académiques. Il existe un besoin critique pour un benchmark capable d'évaluer les LLM de langue portugaise sur des réponses écrites de forme libre à travers divers sujets académiques et capacités cognitives.

Méthodologie

Construction du Jeu de Données (BLUEX v2)

Les auteurs ont construit un benchmark dérivé des examens d'entrée de la seconde phase des deux principales universités du Brésil : UNICAMP (Comvest) et USP (Fuvest), couvrant les années d'examen 2022–2025.

Portée : Le jeu de données contient 395 questions discursives (excluant les rédactions), qui se déploient en 919 sous-questions notées.
Multimodalité : 55,7 % des questions incluent des images associées (cartes, graphiques, diagrammes) essentielles pour la réponse.
Pipeline d'Annotation : La construction a impliqué un pipeline en cinq étapes :
1. Collecte de Données : Extraction des questions et des réponses attendues officielles à partir de PDF via un pipeline hybride (pdfminer + OCR).
2. Nettoyage des Données : Revue humaine par quatre annotateurs pour corriger les artefacts d'OCR, vérifier la segmentation et supprimer les doublons/rédactions.
3. Légendage & Classification : Des légendes d'images contextuelles ont été générées à l'aide de Gemini 3.1 Flash Lite Preview (incorporant le texte de la question), et la classification par sujet a été réalisée via Sabiá-4.
4. Génération de Rubriques : Pour chaque sous-question, Sabiá-4 a généré des critères de rubrique structurés et lisibles par machine (éléments vérifiables de manière binaire) basés sur les réponses attendues officielles.
5. Taxonomie : Chaque question a été annotée avec six étiquettes de capacités cognitives : Connaissances Préalables (PRK), Compréhension de Texte (TU), Compréhension d'Image (IU), Raisonnement Mathématique (MR), Connaissance Brésilienne (BK) et Multilingue (ML).

Protocole d'Évaluation

Modèles : 21 LLM de pointe (incluant des modèles API frontières et des familles de modèles à poids ouverts) ont été évalués.
Inférence : Les modèles ont été interrogés via API avec un prompt contenant la question, les légendes d'images et un étayage contextuel (sous-questions et réponses précédentes) pour refléter la nature séquentielle des examens.
LLM-as-a-Judge (Le LLM comme juge) : Les réponses sont notées par un juge LLM (Sabiá-4) par rapport aux critères de la rubrique générée. Le juge produit un verdict binaire pour chaque critère, le score final étant calculé comme le ratio de critères remplis ( $m/k$ ) mis à l'échelle sur une plage de 0 à 10.
Validation : Le protocole du juge LLM a été validé par deux réviseurs humains indépendants sur un échantillon de 200 annotations au niveau du critère. L'accord LLM-humain (Kappa de Cohen $\kappa \approx 0,69$ ) se situe dans la plage « substantielle », comparable à l'accord humain-humain ( $\kappa \approx 0,82$ ).

Résultats Clés

Performance Globale

Pouvoir Discriminant : Le benchmark a démontré un écart de performance significatif de 4,92 points (allant de 4,18 à 9,10 sur une échelle de 0 à 10).
Meilleurs Performeurs : Les modèles frontières dominent les rangs supérieurs, avec Gemini 3.1 Pro Preview marquant 9,10, suivi de GPT-5.4 (8,92) et GPT-5-mini (8,90).
Modèles Brésiliens : Les modèles développés localement, Sabiá-4 et Sabiazinho-4, ont obtenu des scores compétitifs de 8,60 et 8,57, respectivement.
Moins Bons Performeurs : Les modèles plus petits à poids ouverts (ex: LLaMA-3.2-11B Vision) ont obtenu des scores nettement inférieurs (4,18).

Analyse des Capacités et des Sujets

Dimensions les plus Difficiles : Le Raisonnement Mathématique (MR) et la Compréhension d'Image (IU) sont apparus comme les capacités les plus exigeantes. Le MR présente l'écart-type inter-modèles le plus élevé (1,92), ce qui en fait le principal différenciateur entre les modèles. L'IU moyenne 7,79.
Difficulté des Sujets : Les matières STEM (Mathématiques, Physique, Chimie) ont produit des scores moyens plus bas que les Sciences Humaines (Philosophie, Sociologie, Histoire), reflétant la difficulté des LLM face au raisonnement symbolique par rapport à l'écriture argumentative.
Pénalité Multimodale : Les questions contenant des images sont, en moyenne, 0,54 point plus difficiles que les questions textuelles uniquement, sur l'ensemble des modèles, indiquant un défi persistant dans l'intégration multimodale, même pour les modèles frontières.

Signification et Contributions

L'article revendique cinq contributions primaires :

Premier Benchmark Multimodal à Réponse Ouverte : BLUEX v2 est le premier benchmark dérivé des examens d'entrée universitaires de seconde phase au Brésil, couvrant 9 matières, 2 universités et 4 années de données.
Annotation Riche : Le jeu de données inclut six étiquettes de capacités cognitives et un pipeline de construction en quatre étapes, permettant une analyse diagnostique fine et une reproductibilité totale.
Protocole d'Évaluation Validé : Les auteurs proposent un protocole scalable de "LLM-as-a-judge" utilisant des rubriques générées, validé par rapport à des évaluateurs humains pour atteindre un accord substantiel, facilitant une évaluation sans annotation manuelle.
Évaluation Complète : L'étude évalue 21 modèles, révélant des modes d'échec constants dans le raisonnement mathématique et la compréhension d'image à travers différentes familles de modèles.
Quantification du Défi Multimodal : Le travail fournit une preuve empirique de la « pénalité multimodale », montrant que les questions comportant des images sont significativement plus difficiles dans un contexte académique réel.

Les auteurs concluent que si les modèles frontières performent bien sur l'argumentation en portugais, des lacunes importantes subsistent dans le raisonnement symbolique et l'interprétation visuelle. Le benchmark sert d'outil pour stimuler les améliorations dans ces domaines spécifiques et promouvoir la transparence dans l'évaluation des LLM en portugais. Le jeu de données, le code et les résultats sont publics.