Criterion-referenceability determines LLM-as-a-judge validity across physics assessment formats

Die Studie zeigt, dass die Validität von LLMs als Bewertungsinstanz in der Physik nicht von der reinen Modellstärke abhängt, sondern maßgeblich vom Grad der Kriterienreferenzierbarkeit der Aufgaben abhängt, wobei strukturierte Fragen und Code-Plots gut bewertet werden können, während offene Essays aufgrund fehlender expliziter Bewertungsmerkmale kaum valide beurteilt werden können.

Das Wesentliche

Der große KI-Prüfer-Test: Wann können wir Maschinen trauen?

Stellen Sie sich vor, Sie haben eine riesige Bibliothek voller Physik-Aufgaben. Früher mussten menschliche Lehrer jede einzelne Aufgabe korrigieren. Das ist mühsam, teuer und manchmal auch unfair, weil jeder Lehrer ein bisschen anders denkt. Jetzt kommen die großen Sprach-KIs (wie GPT-5, Claude, Gemini) ins Spiel. Die Idee: „Lass die KI die Hausaufgaben korrigieren!"

Aber die Forscher von der Durham University haben sich gefragt: Können wir den KI-Lehrern wirklich vertrauen? Oder machen sie nur so, als wären sie klug, während sie im Dunkeln tappen?

Um das herauszufinden, haben sie die KI an drei verschiedenen Arten von Aufgaben getestet. Man kann sich das wie drei verschiedene Sportarten vorstellen:

1. Der Mathe-Test (Strukturierte Fragen)

Die Aufgabe: „Berechne die Geschwindigkeit dieses Autos." Es gibt eine klare, richtige Antwort.
Das Ergebnis: Hier sind die KIs sehr gut.

• Der Vergleich: Stellen Sie sich vor, ein Schüler löst eine Gleichung. Die KI schaut auf die Zahlen. Wenn die Lösung stimmt, gibt sie Punkte. Wenn nicht, zieht sie ab.
• Der Clou: Wenn man der KI die „richtige Lösung" (den Lösungsschlüssel) zeigt, wird sie noch besser. Aber selbst wenn man ihr keine Lösung gibt („blind"), schafft sie es trotzdem, gute von schlechten Antworten zu unterscheiden.
• Die Gefahr: Wenn man der KI aber eine falsche Lösung als Muster gibt, wird sie verrückt. Sie korrigiert dann alles nach dem falschen Muster. Sie verlässt sich blindlings auf das, was ihr gegeben wurde, statt selbst nachzudenken.

2. Der Aufsatz-Test (Essay)

Die Aufgabe: „Schreiben Sie einen Text über die Bedeutung der Quantenphysik für die Gesellschaft." Hier gibt es keine einzelne richtige Antwort. Es geht um Stil, Argumentation und Tiefe.
Das Ergebnis: Hier versagen die KIs komplett.

• Der Vergleich: Das ist wie wenn man einen KI-Modellbauer bittet, einen Roman zu bewerten. Die KI versucht, den Text zu lesen, aber sie versteht die Seele der Geschichte nicht.
• Das Problem: Die KI ist oft strenger als Menschen und gibt willkürlich Punkte. Wenn man ihr Beispiele zeigt („Schauen Sie, so sieht ein 10-Punkte-Aufsatz aus"), dann passt sie ihre Noten an, damit sie im Durchschnitt so aussieht wie die menschlichen Lehrer.
• Der Haken: Die KI sieht dann zwar „normal" aus, aber sie kann immer noch nicht sagen, welcher Aufsatz wirklich besser ist als der andere. Sie ist wie ein Schiedsrichter, der die Punkte so verteilt, dass das Endergebnis stimmt, aber im Spiel selbst nichts versteht. Die Fähigkeit, echte Qualität zu erkennen, bleibt bei Null.

3. Der Grafik-Test (Wissenschaftliche Plots)

Die Aufgabe: Der Schüler hat ein Diagramm programmiert, das eine physikalische Kurve zeigt. Ist die Achse richtig beschriftet? Ist die Skala logisch?
Das Ergebnis: Hier sind die KIs überraschend stark.

• Der Vergleich: Das ist wie ein Bauinspektor, der einen Plan prüft. Er muss nicht die ganze Geschichte dahinter verstehen, sondern nur schauen: „Sind die Zahlen an der richtigen Stelle? Ist das Bild sauber?"
• Das Ergebnis: Die KIs können hier fast so gut wie Menschen unterscheiden, ob ein Diagramm gut oder schlecht ist. Sie erkennen Fehler in der Darstellung sehr zuverlässig.

---

Die große Erkenntnis: Es kommt auf die „Regeln" an

Die Forscher haben einen neuen Begriff erfunden, um das zu erklären: „Kriterien-Referenzierbarkeit".

Das klingt kompliziert, ist aber einfach:

• Gute Aufgaben (wie Mathe oder Diagramme): Hier gibt es klare Regeln. Man kann genau sagen: „Wenn die Einheit fehlt, gibt es Minuspunkte." Die KI kann diese Regeln befolgen. Sie ist hier ein guter Assistent.
• Schlechte Aufgaben (wie Essays): Hier gibt es keine klaren Regeln. Man muss ein Gefühl für den Text haben. Die KI kann keine Gefühle haben. Wenn die menschlichen Lehrer sich hier ohnehin schon streiten (wer bekommt 80 Punkte, wer 85?), dann wird die KI nur noch verwirrt. Sie kann hier kein guter Richter sein.

Was bedeutet das für die Schule?

1. Kein blindes Vertrauen: Man darf nicht einfach sagen „Die KI macht das". Man muss zuerst fragen: „Ist diese Aufgabe so klar definiert, dass auch ein menschlicher Lehrer sie objektiv bewerten kann?"
2. Die KI als Assistent, nicht als Chef: Bei Mathe oder Diagrammen kann die KI die erste Korrektur machen. Sie spart Zeit. Aber bei Essays oder komplexen Diskussionen sollte ein Mensch das letzte Wort haben.
3. Vorsicht bei „Beispielen": Wenn man der KI Beispiele zeigt, wie man eine Aufgabe lösen soll, lernt sie nicht unbedingt besser zu bewerten. Manchmal lernt sie nur, wie man die Punkte so verteilt, dass sie wie die menschlichen Lehrer aussieht – auch wenn sie eigentlich gar nicht versteht, warum eine Antwort gut ist.

Zusammenfassend:
Die KI ist wie ein sehr fleißiger, aber etwas starrer Schüler. Bei Aufgaben mit klaren Regeln (Mathe, Diagramme) ist sie ein super Helfer. Bei Aufgaben, die viel Gefühl und Interpretation brauchen (Aufsätze), ist sie wie ein Roboter, der versucht, menschliche Gefühle zu verstehen – und dabei scheitert. Wir müssen also wissen, wann wir sie einsetzen dürfen und wann wir sie besser in Ruhe lassen.

Technische Zusammenfassung

Titel: Kriteriumsreferenzierbarkeit bestimmt die Validität von „LLM-as-a-Judge" über Physik-Bewertungsformate hinweg

Autoren: Will Yeadon, Tom Hardy, Paul Mackay, Elise Agra (Durham University, UK)

---

1. Problemstellung

Mit der zunehmenden Fähigkeit von Large Language Models (LLMs), physikalische Probleme zu lösen, rückt die Frage in den Fokus, ob diese Modelle auch zur automatisierten Bewertung und Rückmeldung von Studentenarbeiten vertrauenswürdig sind.

• Herausforderung: Während frühere Modelle (z. B. GPT-3.5) in Physik-Kursen versagten, übertreffen neuere Modelle (GPT-5.2, Claude Opus 4.5, etc.) menschliche Teilnehmer bei strukturierten Aufgaben. Dies macht den Einsatz von LLMs als „Richter" (LLM-as-a-judge) attraktiv, birgt aber das Risiko, unzuverlässige Automatisierung durch menschliches Urteil zu ersetzen.
• Regulatorischer Kontext: Behörden wie Ofqual (UK) und die EU-AI-Verordnung warnen vor dem alleinigen Einsatz von KI für Notenvergabe, da systematische Verzerrungen (Bias) die Fairness untergraben könnten.
• Forschungsfrage: Es ist unklar, ob die Zuverlässigkeit der KI-Bewertung von der spezifischen Aufgabe abhängt oder ein allgemeines Phänomen ist. Die Studie untersucht, wie sich die Bewertungsgenauigkeit und -validität über verschiedene Modalitäten (strukturierte Fragen, Essays, wissenschaftliche Diagramme) hinweg unterscheidet.

2. Methodik

Die Studie vergleicht sechs führende LLMs (GPT-5.2, Grok 4.1, Claude Opus 4.5, DeepSeek-V3.2, Gemini Pro 3) sowie Aggregationen dieser Modelle („Committees") mit menschlichen Korrektoren unter verschiedenen Bedingungen.

Datensätze (n = 2322 insgesamt):

1. Strukturierte Fragen (n = 1922):
   • Universitätsprüfungen (n = 771): Blind bewertet (keine Lösung vorhanden), um reale Einsatzszenarien zu simulieren.
   • Lehrplanfragen (n = 1151): GCSE, A-Level und Lehrbuchaufgaben. Hier wurden drei Bedingungen getestet:
     • Blind (ohne Lösung).
     • Mit offizieller Lösung (Solution).
     • Mit falscher Lösung (False Solution), um Anker-Bias zu testen.
   • Hinweis: Die Antworten in diesen Datensätzen wurden von KI generiert, um eine kontrollierte Vergleichsbasis zu schaffen.
2. Essays (n = 275): 55 Skripte mit je 5 kurzen Essays (insgesamt 275). Bewertet unter drei Bedingungen: Blind, mit Bewertungsschema (Scheme) und mit verankerten Beispielen (Anchored Exemplars).
3. Wissenschaftliche Diagramme (n = 1400): Code-basierte Plot-Elemente aus einem Labormodul, bewertet auf wissenschaftliche Korrektheit und Darstellung.

Metriken:

• Absolute Genauigkeit: Mittlerer absoluter Fehler (MAE) und fraktionierter MAE (fMAE).
• Diskriminierende Validität: Spearman-Rangkorrelation ($\rho$) und Quadratic Weighted Kappa (QWK), um zu messen, ob das Modell die Qualität der Antworten korrekt sortiert (nicht nur die Verteilung der Noten nachahmt).
• Kalibrierung: Vergleich der vorhergesagten Notenverteilung mit menschlichen Noten.

3. Wichtige Beiträge und Konzepte

• Kriteriumsreferenzierbarkeit (Criterion-referenceability): Die Studie führt diesen Begriff als zentralen Faktor ein. Er beschreibt, inwieweit die Merkmale, die eine Note rechtfertigen, explizit, überprüfbar und konsistent anwendbar sind.
  • Hohe Kriteriumsreferenzierbarkeit: Strukturierte Fragen, Diagramme (klare, beobachtbare Merkmale).
  • Niedrige Kriteriumsreferenzierbarkeit: Essays (holistische, subjektive Urteile).
• Unterscheidung zwischen Verteilungsübereinstimmung und Validität: Die Autoren zeigen, dass eine KI niedrige Fehlerwerte (MAE) und eine gute Übereinstimmung mit der menschlichen Notenverteilung erreichen kann, ohne tatsächlich zwischen guten und schlechten Arbeiten unterscheiden zu können (fehlende diskriminierende Validität).

4. Ergebnisse

A. Strukturierte Fragen:

• Blind: Modelle erreichen eine robuste diskriminierende Validität ($\rho > 0.6$) und einen fMAE von ca. 0,22.
• Mit Lösung: Die Bereitstellung der offiziellen Lösung verbessert die absolute Genauigkeit erheblich (fMAE sinkt auf ~0,085) und stärkt die Validität ($\rho \approx 0.88$).
• Mit falscher Lösung: Die absolute Genauigkeit bricht zusammen (fMAE steigt auf ~0,38), da die Modelle die falsche Lösung als Anker nutzen. Die diskriminierende Validität bleibt jedoch weitgehend erhalten ($\rho \approx 0.77$), da die Modelle immer noch in der Lage sind, bessere von schlechteren Antworten zu unterscheiden, auch wenn sie diese fälschlicherweise bestrafen.

B. Essays:

• Blind: Die KI-Bewertung ist härter und variabler als die menschliche. Die diskriminierende Validität ist extrem schlecht ($\rho \approx 0.1$), was kaum besser als Zufall ist.
• Mit Schema: Keine signifikante Verbesserung der Validität ($\rho \approx 0$).
• Mit Anker-Beispielen (Anchoring): Dies verändert die Verteilung dramatisch. Der Mittelwert der KI-Noten rückt nahe an den menschlichen Mittelwert, und die Varianz wird sogar unter die menschliche Standardabweichung komprimiert.
  • Kritischer Befund: Trotz dieser perfekten Verteilungsanpassung bleibt die diskriminierende Validität bei Null ($\rho \approx 0$). Die Modelle lernen nicht, die Qualität zu bewerten, sondern nur, die erwartete Notenverteilung nachzuahmen.

C. Wissenschaftliche Diagramme (Plots):

• Hier erzielen die Modelle die besten Ergebnisse: Exzellente diskriminierende Validität ($\rho > 0.84$) und nahezu lineare Kalibrierung.
• Die Aufgabe ist zwar visuell, aber durch den Kontext (Jupyter Notebook) und klare Kriterien (Achsen, Einheiten, Skalierung) stark strukturiert, was die Bewertung zuverlässig macht.

D. Aggregation (Committee):

• Die Mittelwertbildung mehrerer Modelle verbessert die absolute Genauigkeit leicht, kann aber keine fehlende diskriminierende Validität (wie bei Essays) wiederherstellen.

5. Signifikanz und Implikationen

• Aufgabenabhängigkeit: Die Zuverlässigkeit von „LLM-as-a-judge" hängt nicht primär von der rohen Modellkapazität ab, sondern von der Kriteriumsreferenzierbarkeit der Aufgabe und der Zuverlässigkeit des menschlichen Benchmarks.
• Gefahr der Schein-Validität: Bei Aufgaben mit geringer Kriteriumsreferenzierbarkeit (wie Essays) kann KI durch Anker-Beispiele (Exemplare) eine perfekte statistische Übereinstimmung mit menschlichen Noten erzeugen, ohne tatsächlich die Lernleistung zu bewerten. Dies ist für die Bildungspolitik gefährlich.
• Empfehlungen für die Praxis:
  • KI eignet sich gut als assistives Werkzeug für strukturierte Aufgaben und Diagramme (z. B. Vorabkorrektur, Anomalieerkennung).
  • Bei holistischen Aufgaben (Essays) sollte KI nicht als alleiniges Bewertungsinstrument eingesetzt werden, da die menschliche Bewertung selbst oft zu verrauscht ist, um eine valide KI-Validierung zu ermöglichen.
  • Der Einsatz von Beispielen (Anchoring) zur Verbesserung der KI-Leistung muss kritisch hinterfragt werden, da er die Validität verschleiern kann.
• Governance: Die Studie unterstreicht die Notwendigkeit regulatorischer Vorsicht. Ein System, das im Durchschnitt „richtig" liegt, aber keine Unterscheidung zwischen guten und schlechten Leistungen trifft, ist kein gültiges Bewertungsinstrument.

Fazit: Die Studie liefert einen klaren Rahmen, um zu bestimmen, wann KI-Bewertung vertrauenswürdig ist: Sie funktioniert dort, wo die Bewertungskriterien explizit und beobachtbar sind, scheitert aber dort, wo die Bewertung auf holistischem, subjektivem Urteil beruht, das selbst zwischen menschlichen Korrektoren inkonsistent ist.