💬 NLP

LLM Performance on a Real, Double-Marked GCSE Benchmark

Diese Arbeit stellt einen umfangreichen Datensatz von doppelt bewerteten GCSE-Prüfungsantworten vor und zeigt auf, dass einsatzbereite große Sprachmodelle die Konsistenz menschlicher Prüfer bei der Bewertung verschiedener Fächer, einschließlich handschriftlicher Mathematik und subjektiver englischer Essays, erreichen oder gar übertreffen können, was eine kosteneffiziente Lösung für die automatisierte Korrektur bietet.

Ursprüngliche Autoren: Malachy Fox, Kavi Samra, Paul Jung

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Malachy Fox, Kavi Samra, Paul Jung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige Schulprüfung, bei der tausende Schüler ihre Antworten abgeben. Traditionell benötigen Sie zwei menschliche Lehrkräfte, die jede einzelne Arbeit lesen und benoten. Das ist langsam, teuer und manchmal sind sich die beiden Lehrer uneinig darüber, was ein „B“ oder ein „C“ wirklich bedeutet.

Dieses Paper stellt eine einfache Frage: Kann ein Computer (speziell ein Large Language Model oder eine „KI“) als zweite Lehrkraft genauso gut fungieren wie ein echter Mensch?

Um dies herauszufinden, haben die Forscher einen riesigen „Test“ für die KI erstellt. Hier ist die Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben, unter Verwendung alltäglicher Analogien.

1. Die „Doppel-Bewertungs“-Testküche

Die Forscher sammelten 32.534 echte Schülerantworten aus Modellprüfungen (Übungstests für die britischen Abschlussprüfungen im Alter von 16 Jahren).

Das Setup: Jede Antwort wurde bereits von zwei verschiedenen menschlichen Experten bewertet. Das ist so, als gäbe es zwei Preisrichter in einer Kochshow, die beide das Gericht probieren und eine Punktzahl aufschreiben.
Die Vielfalt: Die Antworten waren nicht nur getippte Essays. Sie enthielten auch unordentliche, handschriftliche Mathematikaufgaben mit Diagrammen, naturwissenschaftliche Berechnungen und kreatives Schreiben.
Das Ziel: Sie wollten sehen, ob eine KI, wenn man ihr die gleiche Frage und den „Lösungsschlüssel“ (Bewertungsschema) gibt, eine Punktzahl vergeben kann, die den menschlichen Preisrichtern so nahe kommt, wie die beiden menschlichen Preisrichter einander selbst nahe kamen.

2. Die Ergebnisse des „Geschmackstests“

Die Forscher fütterten diese Fragen an verschiedene KI-Modelle (wie GPT-5.5, Gemini und Claude) mit einer sehr einfachen Anweisung: „Hier ist die Frage, die Regeln für die Bewertung und die Antwort des Schülers. Gib mir eine Punktzahl in Form einer Zahl.“ Sie baten die KI nicht, „intensiv nachzudenken“ oder komplexe Schlussfolgerungen zu ziehen; sie baten sie einfach, die Aufgabe zu erledigen.

Die große Überraschung:
In fast jedem Fach erfüllte die KI nicht nur einen „guten Job“. In vielen Fällen stimmte die KI sogar besser mit den menschlichen Preisrichtern überein, als die beiden menschlichen Preisrichter untereinander übereinstimmten.

Die Analogie: Stellen Sie sich vor, zwei menschliche Preisrichter probieren einen Kuchen. Preisrichter A gibt eine 7/10, Preisrichter B eine 6/10. Sie weichen um einen Punkt voneinander ab. Nun probiert die KI denselben Kuchen. Sie gibt eine 6,5/10. Die KI sitzt also eigentlich genau in der Mitte und fungiert als perfekter Entscheidungsschlichter.
Die Zahlen:
- Englische Essays: Die KI war ein „Super-Richter“. Sie entsprach eher dem menschlichen Konsens, als die Menschen es untereinander taten.
- Mathematik: Selbst mit unordentlicher Handschrift und komplexen Diagrammen war die KI unglaublich präzise und erreichte fast perfekt die menschliche Konsistenz.
- Naturwissenschaften: Dieselbe Geschichte. Die KI war genauso zuverlässig wie eine zweite menschliche Lehrkraft.

3. Größe spielt nicht immer eine Rolle

Man könnte denken, dass man die größte, teuerste und „intelligenteste“ KI benötigt. Das Paper sagt: Nein.

Die Analogie: Es ist, als wolle man einen undichten Wasserhahn reparieren. Man braucht keinen Meisterklempner mit einem 5.000-Dollar-Werkzeugsatz; ein Standard-Schraubenschlüssel erledigt oft den gleichen Job.
Das Ergebnis: Kleine, günstigere KI-Modelle schnitten genauso gut ab wie die massiven, teuren Modelle. In manchen Aufgaben war sogar ein „Budget-Modell“ genauso konsistent wie das „Premium-Modell“.

4. Die „Persönlichkeits“-Eigenheit (Bias)

Obwohl die KI in der Frage, wie sehr sie mit Menschen übereinstimmte, genau war, hatten einige KIs eine „Persönlichkeits“-Voreingenommenheit.

Die Analogie: Stellen Sie sich zwei menschliche Preisrichter vor. Der eine ist ein „strenger Lehrer“, der immer niedrigere Punktzahlen vergibt, und der andere ist ein „netter Lehrer“, der höhere Punktzahlen vergibt.
Das Ergebnis: Einige KI-Modelle waren von Natur aus „streng“ (gaben niedrigere Punktzahlen als der Durchschnitt), während andere „gnädig“ waren (gaben höhere Punktzahlen). Sobald man jedoch diese Persönlichkeit berücksichtigte, war die Fähigkeit der KI, korrekt zu bewerten, immer noch exzellent. Die besten Modelle waren jene, die „neutral“ waren – sie neigten weder zu extremer Strenge noch zu extremer Nettigkeit.

5. Die Kosten der „zweiten Lehrkraft“

Schließlich betrachtete das Paper den Preis.

Die Analogie: Eine zweite Lehrkraft einzustellen, um 1.000 Arbeiten zu bewerten, ist teuer. Eine KI zu verwenden, ist wie ein Kinoticket zu kaufen: Es kostet ein paar Dollar statt hundert.
Das Ergebnis: Das Bewerten von 1.000 Arbeiten mit einer KI kostet zwischen 1 $ und 120 $, je nach Modell. Da die günstigeren Modelle genauso gut funktionierten wie die teureren, können Schulen eine Menge Geld sparen und dennoch eine zuverlässige „zweite Meinung“ zu jeder Arbeit ihrer Schüler erhalten.

Das Fazit

Dieses Paper beweist, dass die heutige KI bereit ist, als zuverlässige „zweite Korrekturinstanz“ für Schulprüfungen zu fungieren. Sie kann unordentliche Handschriften lesen, komplexe Mathematik verstehen und Essays mit einer Konsistenz bewerten, die oft die Übereinstimmung zwischen Menschen übertrifft. Sie funktioniert gut, sie ist kostengünstig und sie benötigt nicht das größte, teuerste Modell, um die Aufgabe zu erfüllen.

Was das Paper nicht sagt:

Es behauptet nicht, dass die KI menschliche Lehrer vollständig ersetzen sollte.
Es sagt nicht, dass die KI für jede Art von Prüfungsfrage perfekt ist (obwohl sie bei den getesteten Aufgaben sehr gut abschnitt).
Es diskutiert nicht, wie dies die Schulen in der Zukunft verändern wird, sondern nur, dass die Technologie jetzt gerade unter diesen spezifischen Testbedingungen funktioniert.

Technisches Resümee: LLM-Leistung auf einem realen, doppelt bewerteten GCSE-Benchmark

Problemstellung

Schulen und Prüfungsbehörden stehen vor einem erheblichen Arbeitsaufwand bei der manuellen Bewertung von Schülerleistungen, insbesondere bei hochkarätigen nationalen Prüfungen wie den britischen GCSEs (die mit ca. 16 Jahren abgelegt werden). Während die automatisierte Essay-Bewertung von merkmalsbasierten Systemen zu neuronalen Ansätzen telah entwickelt hat, mangelt es bestehenden Benchmarks oft an der Komplexität realer Prüfungen. Die meisten Schulprüfungen umfassen mehrere Fächer, beinhalten handgeschriebene Gleichungen sowie Diagramme und erfordern eine multimodale Verarbeitung. Vorherige Studien deuten darauf hin, dass Standard-Large Language Models (LLMs) bei diesen multimodalen, unstrukturierten Eingaben oft Schwierigkeiten haben und im Vergleich zu fachspezifischen Systemen auf Standard-Benchmarks historisch hinterherhinken. Die zentrale Frage, die hier adressiert wird, ist, ob kommerziell erhältliche LLMs, die unter einem generischen Prompt mit minimalem Denkaufwand operieren, als zuverlässige „Zweitkorrektoren“ für diverse Antworttypen (getippter Text, handschriftliche Arbeiten und Diagramme) im Vergleich zum Konsens menschlicher Prüfer dienen können.

Methodik

Die Autoren führen einen neuen Benchmark-Datensatz ein, der aus 32.534 doppelt bewerteten Schülerantworten zu 328 Fragen in fünf Fächern besteht: Englisch (English Language), Mathematik, Biologie, Chemie und Physik.

Datenkomposition: Der Datensatz enthält sowohl getippten Text als auch handschriftliche Texte/Zeichnungen, die als Striche (Strokes) erfasst wurden. Ungefähr 15,3 % der Gesamtantworten enthalten handschriftliche Eingaben, wobei Mathematik den höchsten Anteil aufweist (44,1 %).
Ground Truth (Referenzwert): Jede Antwort wurde unabhängig von zwei qualifizierten Prüfern anhand veröffentlichter Bewertungsschemata bewertet. Für Mathematik und Naturwissenschaften wurde das „Höhere“ Niveau (Higher tier) verwendet.
Evaluationsprotokoll:
- Prompting: Die Modelle wurden mit einem einzelnen, generischen multimodalen Prompt evaluiert, der die Frage, das Bewertungsschema und die Schülerantwort (einschließlich Canvas-Bildern für Handschrift) enthält. Die Anweisung war strikt darauf beschränkt, ein JSON-Objekt mit einer einzigen ganzzahligen Note auszugeben.
- Denkaufwand (Reasoning Effort): Die Modelle wurden unter ihrer Einstellung für „minimalen Denkaufwand“ betrieben, um ein kosteneffizientes, latenzarmes Szenario zu simulieren.
- Metrik: Die Übereinstimmung wurde mittels des gewichteten quadratischen Kappa (QWK) gemessen, das pro Frage berechnet und dann gewichtet nach der maximal möglichen Punktzahl der Frage gemittelt wurde. Diese Metrik reicht von 0 (Zufall) bis 1 (identisch).
- Vergleich: Die Studie vergleicht die mittlere Übereinstimmung zwischen der KI und den zwei Prüfern ( $R_A$ ) mit der Übereinstimmung zwischen den beiden Prüfern selbst ( $R_H$ ). Die primäre Erfolgsmetrik ist, ob $R_A \geq R_H$ gilt.
- Bias-Analyse: Für englische Essays wurde der signierte Bewertungs-Bias (vorhergesagte Note minus Konsensmittelwert) berechnet, um die Milde oder Strenge zu bewerten.

Zentrale Beiträge

Erster öffentlicher Multi-Fach-Handschrift-Benchmark: Dies ist der erste öffentlich beschriebene Benchmark für doppelt bewertete GCSE-Antworten, der handschriftliche Schülerarbeiten neben getipptem Text über fünf verschiedene Fächer hinweg umfasst.
Realweltliche multimodale Evaluierung: Im Gegensatz zu früheren Benchmarks, die auf „geboren-digitalem“ Text basieren, testet dieser Datensatz die Modelle auf das volle Spektrum der Prüfungseingaben, einschließlich komplexer handschriftlicher Mathematik-Skripte und Diagramme.
Analyse der Kosteneffizienz: Die Studie untersucht den Kompromiss zwischen Modellkosten (Listenpreis pro 1.000 Arbeiten) und Bewertungskonsistenz und stellt die Annahme infrage, dass größere, teurere Modelle für eine hochwertige automatisierte Bewertung notwendig sind.

Ergebnisse

Die Studie zeigt, dass ab-der-Schachtel-LLMs Übereinstimmungsgrade mit Prüfern erreichen können, die mit der Übereinstimmung zwischen zwei menschlichen Prüfern vergleichbar sind oder diese sogar übertreffen.

Gesamtübereinstimmung: Über alle Fächer hinweg stimmten die führenden Modelle enger mit dem Prüferkonsens überein als die Prüfer untereinander.
- Englisch (English Language): Das Top-Modell (GPT-5.5) erreichte ein QWK von 0,75 und übertraf damit signifikant die Übereinstimmung der Prüfer untereinander ( $R_H$ ) von 0,65 ( $\Delta = +0,10$ ).
- Mathematik: Trotz einer hohen Basis-Übereinstimmung der Prüfer von 0,84 erreichte das Top-Modell (Gemini 3.5 Flash) einen Wert von 0,86 ( $\Delta = +0,02$ ).
- Naturwissenschaften: Die zusammengefassten naturwissenschaftlichen Fächer zeigten ein Top-Modell (Gemini 3.1 Pro), das ein QWK von 0,74 gegenüber einer Prüfer-Baseline von 0,69 erreichte ( $\Delta = +0,06$ ).
Modellgröße und Kosten: Die Übereinstimmung korrelierte nicht stark mit der Modellgröße oder den Kosten. Kleinere, günstigere Modelle (z. B. Claude Haiku 4.5, Gemini 3.1 Flash Lite) schnitten ähnlich gut ab wie ihre größeren Gegenstücke und erreichten oft eine bessere Leistung zu einem Bruchteil der Kosten.
Bias bei der Essay-Bewertung: Während die Übereinstimmung hoch war, zeigten die Modelle unterschiedliche Grade an Bias. Einige Modelle (z. B. GPT-5.5, Claude Opus 4.8) waren relativ neutral, während andere (z. B. Gemma 4 26B, Claude Sonnet 4.6) eine Tendenz zu strengerer Bewertung zeigten.
Fachspezifische Leistung:
- Mathematik: Googles Gemini-Modelle schienen in diesem Bereich besser mit den GCSE-Bewertungskriterien im Einklang zu stehen als die Modelle von OpenAI.
- Naturwissenschaften: Die Modelle erreichten im Allgemeinen eine Konsistenz auf Prüferniveau.

Bedeutung und Behauptungen

Das Paper behauptet, dass aktuelle LLMs, wenn sie mit einem generischen Prompt und minimalem Denkaufwand betrieben werden, bereits zuverlässig genug sind, um als „Zweitkorrektor“ in einem realen bildungstechnischen Bewertungskontext zu fungieren. Die Bedeutung liegt in der Demonstration, dass:

Zuverlässigkeit: Automatisierte Systeme die Inter-Rater-Reliabilität menschlicher Prüfer bei komplexen, multimodalen Aufgaben einschließlich handschriftlicher Arbeiten erreichen oder übertreffen können.
Kosteneffizienz: Hochwertige automatisierte Bewertung erfordert keine teureren oder größeren Modelle, was einen praktikablen Weg zur Reduzierung des Lehrerarbeitsaufwands bietet.
Generalisierbarkeit: Die Leistung hält über diverse Fächer und Eingabemodi stand, was darauf hindeutet, dass der „One-Size-Fits-All“-Ansatz eines generischen Prompts für standardisierte Tests effektiv ist.

Die Autoren bewahren eine gewisse Bescheidenheit hinsichtlich ihrer Behauptungen und merken an, dass der Datensatz aus Mock-Prüfungen und nicht aus offiziellen Prüfungen stammt und die Evaluierung auf Einstellungen mit minimalem Denkaufwand beschränkt war. Sie räumen zudem ein, dass die „Prüfer-Linie“ ( $R_H$ ) auf nur zwei Bewertern basiert, was bedeutet, dass der Benchmark die Konsistenz relativ zu einem spezifischen Paar misst und nicht zur breiteren Population von Prüfern. Dennoch legen die Ergebnisse nahe, dass die Technologie reif genug ist, um heute kosteneffiziente Lösungen für die automatisierte Bewertung bereitzustellen.