Evidence-Based AI Marking for Secondary Assessment: Alignment, Bias, and Confidence Analysis

Stellen Sie sich eine Welt vor, in der das Bewerten von Aufsätzen nicht nur daraus besteht, dass ein Lehrer spät in der Nacht über einem Stapel Papier brütet, sondern dass ein superintelligenter Computerassistent im Spiel ist. Dieses Feld, bekannt als Automatisierte Essay-Bewertung (Automated Essay Scoring), existiert seit Jahrzehnten und versucht, die chaotische Kunst des Bewertens in eine saubere, schnelle Wissenschaft zu verwandeln. Denken Sie an einen Roboter, der versucht, die Regeln eines Spiels zu lernen, indem er tausenden Spielern zusieht. Frühe Roboter waren tollpatschig und zählten Dinge wie die Länge eines Essays oder wie viele große Wörter er verwendete. Aber die heutigen Roboter, die von Großen Sprachmodellen (LLMs) angetrieben werden, sind eher wie brillante Leser, die die Geschichte und die Logik hinter den Worten verstehen können.

Es gibt jedoch einen Haken. Nur weil ein Roboter lesen kann, bedeutet das nicht, dass er auch weiß, wie man fair bewertet. Lehrer sorgen sich um Bias (ist der Roboter zu streng oder zu milde?), Transparenz (können wir sehen, warum er eine bestimmte Note gegeben hat?) und Alignment (stimmt er mit dem überein, was ein menschlicher Lehrer sagen würde?). Wenn ein Roboter einem Schüler eine Eins gibt, obwohl er eine Drei verdient hätte, oder umgekehrt, könnte dies die Zukunft eines Schülers verändern. Die große Frage ist also nicht nur: „Kann der Roboter bewerten?“, sondern: „Kann er gut genug bewerten, um in einer echten Schule vertraut zu werden?“

---

Das Roboter-Grader-Experiment

In dieser Studie beschloss ein Forscher namens Tom Bryden, einen spezifischen KI-Roboter in der Hochdruckwelt der australischen Oberstufe auf die Probe zu stellen. Anstatt den Roboter einfach nur eine Endnote wie bei einem Magic 8-Ball geben zu lassen, zwang er ihn, strengen Regeln zu folgen: Er musste als „blinder“ Zweitkorrektor agieren (das heißt, er wusste nicht, was der Lehrer bereits bewertet hatte), und für jeden Punkt, den er vergab, musste er auf einen spezifischen Satz in der Arbeit des Schülers hinweisen und genau erklären, warum dieser Satz den Punkt verdient hat. Es war, als würde man den Roboter bitten, ein Detektiv zu sein, der Beweise vorlegen muss, bevor er eine Verhaftung vornimmt.

Der Roboter wurde mit 437 echten Schülerarbeiten aus 13 verschiedenen Fächern gefüttert, die von Mathematik und Physik bis hin zu Englisch und moderner Geschichte reichten. Das Ziel war zu sehen, ob die Noten des Roboters mit den Noten der Lehrer übereinstimmten, ob er seltsame Angewohnheiten hatte und ob seine „Zuversicht“ in seine eigenen Antworten etwas Reales bedeutete.

Die Ergebnisse: Ein hilfreicher, aber etwas großzügiger Assistent

Hier ist, was das Experiment enthüllte, unterteilt in die wichtigsten Erkenntnisse:

1. Der Roboter und der Lehrer: Gute Freunde, aber keine Zwillinge
Der Roboter und die menschlichen Lehrer waren sich über die allgemeine Stimmung des Unterrichts einig, aber sie stimmten nicht bei den exakten Zahlen überein. Die Studie fand eine moderate Verbindung zwischen den beiden, mit einem Korrelationswert von 0,51. In einfachen Worten: Wenn ein Lehrer einem Schüler eine hohe Punktzahl gab, gab der Roboter meistens auch eine hohe Punktzahl, aber die spezifischen Zahlen driften oft auseinander.

• Die exakte Übereinstimmungsrate: Der Roboter und der Lehrer gaben in nur 20,8 % der Fälle die exakt gleiche Gesamtnote ab.
• Die durchschnittliche Abweichung: Im Durchschnitt lag die Note des Roboters um 2,96 Punkte (von der Gesamtzahl der möglichen Punkte für diese Aufgabe) daneben.
• Die „Fehlermarge“: Wenn man die Größe des Fehlers im Verhältnis zur Gesamtpunktzahl betrachtet, wich der Roboter um 13,24 % ab.

2. Das Problem des „netten Roboters“
Eine der interessantesten Erkenntnisse war, dass der Roboter ein ausgeprägtes Persönlichkeitsmerkmal hatte: Er war milde. Er neigte dazu, den Schülern den Nutzen des Zweifels zuzugestehen.

• Als die Forscher den Unterschied zwischen der Note des Roboters und der des Lehrers untersuchten, war die Verteilung stark zugunsten des Roboters verschoben, der höhere Noten vergab.
• Tatsächlich gab der Roboter in 44,9 % der Fälle eine Note, die 2 oder mehr Punkte höher war als die des Lehrers.
• Nur in 14,2 % der Fälle gab er eine Note, die (2 oder mehr Punkte niedriger) strenger war als die des Lehrers.
• Dies deutet darauf hin, dass, wenn man den Roboter einfach alles bewerten ließe, die Schüler Noten erhielten, die etwas zu hoch im Vergleich zu dem sind, was ein Mensch geben würde.

3. Die Materie entscheidet: Mathe vs. Geschichte
Der Roboter war nicht überall gleich gut. Es schien, als habe er mit Fächern, die tiefe, kreative Interpretation erfordern, mehr zu kämpfen, und funktionierte besser in Fächern, die klarere, schrittweise Antworten haben.

• Die Schwierigen: In Fächern wie English & Literature Extension und General Mathematics war der durchschnittliche Unterschied zwischen dem Roboter und dem Lehrer recht groß (etwa 18,57 % bzw. 19,0 % der Gesamtpunkte).
• Die Stars: In Specialist Mathematics und Chemistry war der Roboter viel näher an den Lehrern, mit durchschnittlichen Unterschieden von nur 6,67 % bzw. 6,91 %.
• Dies zeigt uns, dass der Roboter gut darin ist, strengen Regeln zu folgen (wie in der Mathematik), aber etwas verwirrt ist, wenn die Regeln eher aus „Gefühl“ und „Argumentation“ bestehen (wie in Englisch oder Geschichte).

4. Die Zuversichts-Falle
Der Roboter teilte den Forschern auch mit, wie „zuversichtlich“ er bei seiner Bewertung war, mit Werten zwischen 0,80 und 1,00. Man könnte denken, dass, wenn der Roboter sagt: „Ich bin mir zu 100 % sicher!“, das bedeutet, dass er definitiv richtig liegt. Die Studie legt nahe, dass dies nicht der Fall ist.

• Hohe Zuversicht bedeutete keine hohe Genauigkeit. Tatsächlich war der Roboter, wenn er sehr zuversichtlich war (zwischen 0,95 und 1,00), eher dazu geneigt, milde zu sein (höhere Noten zu geben), als wenn er weniger zuversichtlich war.
• Die Forscher fanden heraus, dass die Zuversicht des Roboters eher ein Maß dafür war, wie klar die Beweise für den Roboter aussah, als ein Maß dafür, wie korrekt die Note tatsächlich war. Es ist wie ein Detektiv, der sich seiner Theorie sehr sicher ist, weil die Hinweise offensichtlich sind, selbst wenn die Theorie leicht falsch ist.

5. Die „Detektivarbeit“: Beweise und Feedback
Da der Roboter seine Arbeit offenlegen musste, konnten die Forscher prüfen, ob das, was er tat, Sinn ergab.

• Das Gute: In Fächern wie Physik, Wirtschaft oder Mathematik war der Roboter exzellent darin, die richtigen Sätze in der Arbeit des Schülers zu finden und zu erklären, warum sie Punkte einbrachten. Er agierte wie ein transparenter Detektiv.
• Das Schlechte: In Fächern wie Film, Television & New Media lieferte der Roboter manchmal Feedback, das zu oberflächlich war. Anstatt die tiefe Bedeutung einer Filmszene zu analysieren, kommentierte er vielleicht nur die Grammatik.
• Das Urteil: Die Fähigkeit des Roboters, seine Beweise aufzuzeigen, machte ihn zu einem großartigen Werkzeug für die Moderation (um zu prüfen, ob ein Lehrer fair war) oder für das Feedback zu Entwürfen, aber er war noch nicht bereit, den Lehrer vollständig zu ersetzen.

6. Geschwindigkeit und Kosten: Ein Supercomputer zum Schnäppchenpreis
Schließlich untersuchte die Studie die praktische Seite: Wie schnell und günstig war das?

• Geschwindigkeit: Der Roboter verarbeitete die gesamte Gruppe von 437 Arbeiten in etwa 5,8 Stunden (Gesamtverarbeitungszeit von 20.929,35 Sekunden), was etwa 47,89 Sekunden pro Arbeit entspricht.
• Kosten: Die Gesamtkosten für die Bewertung aller 437 Arbeiten beliefen sich auf nur 4,23 USD. Das sind etwa 0,01 USD pro Schülerarbeit.
• Dies beweist, dass der Einsatz von KI zur Unterstützung der Bewertung unglaublich günstig und schnell ist, was sie zu einem sehr praktikablen Werkzeug für Schulen macht, um als zweite Meinung zu dienen.

Das Fazle Fazit

Dieses Paper besagt nicht, dass die KI bereit ist, den Klassenraum zu übernehmen und im Alleingang Diplome auszuhändigen. Der Roboter ist immer noch etwas zu großzügig, er ist durch kreative Fächer verwirrt und seine „Zuversicht“ ist keine Garantie für die Wahrheit.

Dennoch deutet die Studie auf eine sehr vielversprechende Zukunft hin, in der die KI als super-effizienter Assistent fungiert. Stellen Sie sich einen Lehrer vor, der einen Stapel Aufsätze bewertet, und die KI geht diese sofort durch, hebt die Beweise für jeden Punkt hervor, markiert die Stellen, in denen sie mit dem Lehrer uneinig ist, und erstellt einen Entwurf für das Feedback. Sie ist nicht der endgültige Richter, aber sie ist ein fantastisches, günstiges und transparentes Werkzeug, um Lehrern zu helfen, konsistenter zu werden und Zeit zu sparen. Der Robot ist ein großartiger „Zweitkorrektor“, aber für den Moment muss der menschliche Lehrer weiterhin das Steuer in der Hand halten.