💬 NLP

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

Dieses Paper stellt BLUEX v2 vor, einen neuen Benchmark bestehend aus 395 offenen Fragen aus Brasiliens führenden Universitätsaufnahmeprüfungen (2022–2025), um 21 hochmoderne LLMs bei portugiesischen diskursiven Aufgaben zu evaluieren, wobei signifikante Leistungsunterschiede aufgezeigt und Herausforderungen im mathematischen Denken sowie im Bildverständnis hervorgehoben werden.

Ursprüngliche Autoren: João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten getestet, wie intelligent eine Gruppe von Robotern ist, indem Sie ihnen einfache Multiple-Choice-Fragen gestellt haben, wie zum Beispiel: „Welche Farbe hat der Himmel? A) Blau, B) Rot.“ Diese haben es großartig gemacht, den richtigen Buchstaben auszuwählen. Die Forscher hinter dieser Arbeit, BLUEX v2, erkannten jedoch, dass das Auswählen eines Buchstabens einfach ist. Der wahre Test der Intelligenz besteht darin, einen vollständigen Essay zu schreiben, zu erklären, warum der Himmel blau ist, und ein Diagramm zu zeichnen, um es zu beweisen.

Dieses Paper stellt eine neue, viel schwierigere „Abschlussprüfung“ für KI-Modelle vor, die speziell darauf ausgelegt ist, deren Fähigkeit zu testen, auf Portugiesisch zu sprechen und zu schreiben.

Hier ist die Aufschlüsselung ihrer Arbeit unter Verwendung einfacher Analogien:

1. Das Problem: Die „Multiple-Choice-Falle“

Zuvor testeten Forscher KIs anhand von brasilianischen Universitätsaufnahmeprüfungen, aber nur in der ersten Runde. Denken Sie an die erste Runde als ein Quizspiel, bei dem man einfach das richtige Antwortfeld ankreuzt. Es ist für eine KI leicht, zu raten oder Muster zu erkennen.

Die zweite Runde dieser Prüfungen (die sich BLUEX v2 konzentriert) ist wie eine Abschlussverteidigung einer Thesis. Studenten müssen lange, detaillierte Antworten schreiben, komplexe mathematische Probleme Schritt für Schritt lösen und Karten oder Grafiken interpretieren. Die alten Tests konnten nicht messen, ob eine KI tatsächlich so denken und schreiben kann wie ein Mensch; sie maßen nur, ob sie die richtige Antwort erkennen konnte.

2. Die Lösung: Eine neue „Abschlussprüfung“ für KI

Das Team entwickelte BLUEX v2, einen massiven Datensatz aus 395 echten Fragen der Top-Universitäten Brasiliens (UNICAMP und USP) zwischen 2022 und 2025.

Die Fragen: Dies sind nicht nur Texte. Etwa 56 % von ihnen enthalten Bilder, Diagramme oder Karten, die man verstehen muss, um korrekt zu antworten.
Das Format: Die KI muss freie Antworten schreiben, nicht A, B, C oder D auswählen.
Die Themen: Es deckt 9 verschiedene Fachbereiche ab, von Geschichte und Soziologie bis hin zu Physik und Mathematik.

3. Wie sie die Roboter bewerteten: Der „KI-Lehrer“

Das Bewerten eines 5-seitigen Essays ist für Menschen schwer schnell zu erledigen, wenn es um tausende Tests geht. Daher bauten die Forscher ein System, in dem eine KI als Lehrer fungiert.

Das Bewertungsschema (Rubric): Zuerst nutzten sie eine KI, um die „offizielle richtige Antwort“ zu lesen und sie in eine Checkliste (eine Rubrik) zu zerlegen. Wenn die Antwort beispielsweise „ATP“ und „Muskelkontraktion“ erwähnen muss, enthält die Checkliste diese beiden Punkte.
Der Richter: Eine andere KI (der „Richter“) liest die Antwort des Schüler-Roboters und hakt die Punkte auf der Liste ab. Hat es ATP erwähnt? Ja. Hat es Muskelkontraktion erwähnt? Nein.
Die Punktzahl: Der Roboter erhält eine Punktzahl von 0 bis 10, basierend darauf, wie viele Checklistenpunkte er erfüllt hat.
Der Beweis: Um sicherzustellen, dass der „KI-Lehrer“ nicht halluziniert, verglichen sie seine Bewertung mit echten menschlichen Lehrern. Die KI stimmte in 89,5 % der Fälle mit den Menschen überein. Das ist ein sehr hoher Wert, der beweist, dass die automatisierte Bewertung zuverlässig ist.

4. Die Ergebnisse: Wer bestand und wer fiel durch?

Sie testeten 21 verschiedene KI-Modelle (die „Roboter“) in dieser Prüfung.

Die Spanne: Die Punktzahlen reichten von einem Tiefpunkt von 4,18 bis zu einem Hoch von 9,10. Dies zeigt, dass der Test gut darin ist, den Unterschied zwischen einem smarten Roboter und einem weniger smarten Roboter zu erkennen.
Die Gewinner: Die besten Performer waren riesige, teure Modelle wie Gemini 3.1 Pro und GPT-5.
Die Verlierer: Kleinere Open-Source-Modelle hatten Schwierigkeiten, mit den niedrigsten Punktzahlen um 4,18.
Die brasilianischen Stars: Interessanterweise schnitten brasilianische Modelle (Sabiá-4) sehr gut ab, fast so gut wie die globalen Giganten, was zeigt, dass lokales Training hilft.

5. Die „schwierigen Teile“: Wo Roboter stolpern

Selbst die besten Roboter hatten mit zwei spezifischen Dingen Schwierigkeiten:

Mathematisches Denken: Dies war das schwierigste Fach. Genau wie ein Mensch, der eine großartige Geschichte schreiben kann, aber Probleme mit der Langdivision hat, konnten die KIs zwar wunderschöne portugiesische Essays schreiben, aber oft die mathematischen Schritte vermasseln.
Bildverständnis: Wenn eine Frage eine Grafik oder eine Karte enthielt, sanken die Punktzahlen der Roboter um durchschnittlich etwa 0,5 Punkte. Es ist, als würde man einem Schüler eine Matheaufgabe geben, aber die Zahlen auf ein zerknittertes Stück Papier zeichnen; die KI hatte Schwierigkeiten, die Details klar genug zu „sehen“, um das Problem zu lösen.

6. Die Kosten des Tests

Die Forscher waren transparent über den Preis. Das Durchführen dieses gesamten Experiments – das Stellen der Fragen, das Generieren der Bildbeschreibungen und das Bewerten der Antworten – kostete etwa 127 $. Das ist überraschend günstig für eine Studie dieser Größe und zeigt, dass wir KI rigoros testen können, ohne Millionen auszugeben.

Das Fazit

BLUEX v2 ist ein neuer, härterer Standard für das Testen von KI in portugiesischer Sprache. Es geht über einfaches Quizwissen hinaus und zwingt die KI zu schreiben, zu argumentieren und Bilder zu betrachten. Die Ergebnisse zeigen, dass KIs zwar sehr gut darin werden, auf Portugiesisch zu schreiben und zu argumentieren, aber immer noch Schwierigkeiten mit komplexer Mathematik und der Interpretation visueller Daten haben. Dieser Benchmark gibt Forschern eine klare Orientierungshilfe, wo sie ihre nächsten Verbesserungen ansetzen müssen.

Technisches Resümee: BLUEX v2

Problemstellung

Obwohl Large Language Models (LLMs) in verschiedenen Aufgaben eine hohe Kompetenz gezeigt haben, ist ihre Evaluierung in portugiesischer Sprache noch unterentwickelt, insbesondere im Hinblick auf offene, diskursive Argumentation. Bestehende Benchmarks, wie das ursprüngliche BLUEX, stützen sich auf Multiple-Choice-Fragen aus der ersten Phase brasilianischer Universitätsaufnahmeprüfungen. Diese Formate testen primär Erkennungs- und Selektionsfähigkeiten und versäumen es, das tiefere Verständnis, die mehrstufige Argumentation und die komplexe Artikulation zu erfassen, die in der zweiten Phase dieser Prüfungen erforderlich sind. Zudem mangelt es aktuellen Bewertungen oft an einer rigorosen multimodalen Evaluierung, obwohl Bilder, Grafiken und Diagramme in akademischen Tests allgegenwärtig sind. Es besteht ein kritischer Bedarf an einem Benchmark, der portugiesischsprachige LLMs anhand freier schriftlicher Antworten über verschiedene akademische Fachbereiche und kognitive Fähigkeiten hinweg evaluiert.

Methodik

Datensatzkonstruktion (BLUEX v2)

Die Autoren konstruierten einen Benchmark, der aus den Zweitphasen-Aufnahmeprüfungen der zwei führenden brasilianischen Universitäten abgeleitet ist: UNICAMP (Comvest) und USP (Fuvest), abdeckend die Prüfungsjahre 2022–2025.

Umfang: Der Datensatz enthält 395 diskursive Fragen (ohne Aufsätze/Redações), die sich in 919 bewertbare Teilfragen aufschlüsseln.
Multimodalität: 55,7 % der Fragen enthalten zugehörige Bilder (Karten, Grafiken, Diagramme), die für die Beantwortung essenziell sind.
Annotations-Pipeline: Die Konstruktion umfasste eine fünfstufige Pipeline:
1. Datenerhebung: Extraktion von Fragen und offiziellen Erwartungswerten mittels einer hybriden Pipeline (pdfminer + OCR) aus PDFs.
2. Datenbereinigung: Menschliche Überprüfung durch vier Annotatoren zur Korrektur von OCR-Artefakten, Verifizierung der Segmentierung sowie Entfernung von Duplikaten/Aufsätzen.
3. Bildbeschreibung & Klassifizierung: Kontextsensitive Bildbeschreibungen wurden mit Gemini 3.1 Flash Lite Preview generiert (unter Einbeziehung des Fragetextes), und die Fachbereichsklassifizierung erfolgte mittels Sabiá-4.
4. Rubrik-Generierung: Für jede Teilfrage generierte Sabiá-4 strukturierte, maschinenlesbare Rubrik-Kriterien (binär überprüfbare Items) basierend auf den offiziellen Erwartungswerten.
5. Taxonomie: Jede Frage wurde mit sechs kognitiven Fähigkeitstags annotiert: Vorwissen (PRK), Textverständnis (TU), Bildverständnis (IU), Mathematisches Denken (MR), Brasilianisches Wissen (BK) und Mehrsprachigkeit (ML).

Evaluierungsprotokoll

Modelle: 21 State-of-the-Art LLMs (einschließlich Frontier-API-Modelle und Open-Weight-Familien) wurden evaluiert.
Inferenz: Die Modelle wurden via API mit einem Prompt abgefragt, der die Frage, Bildbeschreibungen und kontextuelle Gerüstbildung (vorherige Teilfragen und Antworten) enthielt, um die sequentielle Natur der Prüfungen zu spiegeln.
LLM-as-a-Judge: Die Antworten wurden von einem LLM-Judge (Sabiá-4) gegen die generierten Rubrik-Kriterien bewertet. Der Judge gibt ein binäres Urteil für jedes Kriterium aus, wobei die finale Punktzahl als Verhältnis erfüllter Kriterien ( $m/k$ ) berechnet wird, skaliert auf einen Bereich von 0–10.
Validierung: Das LLM-Judge-Protokoll wurde gegen zwei unabhängige menschliche Reviewer anhand einer Stichprobe von 200 Kriterien-Annotationen validiert. Die Übereinstimmung zwischen LLM und Mensch (Cohen's $\kappa \approx 0,69$ ) lag im Bereich „substanziell“ und ist vergleichbar mit der Mensch-Mensch-Übereinstimmung ( $\kappa \approx 0,82$ ).

Kernergebnisse

Gesamtleistung

Diskriminanzfähigkeit: Der Benchmark zeigte eine signifikante Leistungsspanne von 4,92 Punkten (reichend von 4,18 bis 9,10 auf einer 0–10 Skala).
Spitzenreiter: Frontier-Modelle dominierten die oberen Ränge, wobei Gemini 3.1 Pro Preview mit 9,10 punktete, gefolgt von GPT-5.4 (8,92) und GPT-5-mini (8,90).
Brasilianische Modelle: Im Inland entwickelte Modelle, Sabiá-4 und Sabiazinho-4, erreichten kompetitive Werte von 8,60 bzw. 8,57.
Schlusslichter: Kleinere Open-Weight-Modelle (z. B. LLaMA-3.2-11B Vision) schnitten signifikant schlechter ab (4,18).

Fähigkeits- und Fachbereichsanalyse

Schwierigste Dimensionen: Mathematisches Denken (MR) und Bildverständnis (IU) erwiesen sich als die anspruchsvollsten Fähigkeiten. MR wies die höchste Standardabweichung über die Modelle hinweg auf (1,92), was es zum primären Differenzierungsmerkmal macht. IU lag im Durchschnitt bei 7,79.
Fachbereichsschwierigkeit: MINT-Fächer (Mathematik, Physik, Chemie) lieferten im Vergleich zu Geisteswissenschaften (Philosophie, Soziologie, Geschichte) niedrigere Durchschnittswerte, was die Schwierigkeiten von LLMs bei symbolischer Argumentation gegenüber argumentativer Schreibweise widerspiegelt.
Multimodaler Malus: Fragen, die Bilder enthielten, waren im Durchschnitt 0,54 Punkte schwerer als rein textbasierte Fragen über alle Modelle hinweg, was auf eine anhaltende Herausforderung bei der multimodalen Integration selbst für Frontier-Modelle hindeutet.

Bedeutung und Beiträge

Das Paper beansprucht fünf primäre Beiträge:

Erster multimodaler Open-Ended Benchmark: BLUEX v2 ist der erste Benchmark, der aus brasilianischen Zweitphasen-Aufnahmeprüfungen abgeleitet wurde und 9 Fächer, 2 Universitäten sowie 4 Jahre an Daten abdeckt.
Reiche Annotation: Der Datensatz enthält sechs kognitive Fähigkeitstags und eine vierstufige Konstruktions-Pipeline, was eine feingliedrige diagnostische Analyse und vollständige Reproduzierbarkeit ermöglicht.
Validiertes Evaluierungsprotokoll: Die Autoren schlagen ein skalierbares LLM-as-a-judge Protokoll vor, das durch generierte Rubriken ermöglicht und gegen menschliche Bewerter validiert wurde, um eine substanzielle Übereinstimmung zu erreichen und eine annotationsfreie Evaluierung zu erleichtern.
Umfassende Evaluierung: Die Studie evaluiert 21 Modelle und zeigt konsistente Fehlermodi in mathematischem Denken und Bildverständnis über verschiedene Modellfamilien hinweg auf.
Quantifizierung der multimodalen Herausforderung: Die Arbeit liefert empirische Belege für den „multimodalen Malus“ und zeigt, dass bildbasierte Fragen in einem realen akademischen Umfeld signifikant schwieriger sind.

Die Autoren kommen zu dem Schluss, dass Frontier-Modelle zwar gut in der portugiesischen Argumentation performen, aber signifikante Lücken in der symbolischen Argumentation und visuellen Interpretation bestehen bleiben. Der Benchmark dient als Werkzeug, um Verbesserungen in diesen spezifischen Bereichen voranzutreiben und fördert die Transparenz in der Evaluierung portugiesischer LLMs. Der Datensatz, der Code und die Outputs sind öffentlich zugänglich.