Beyond Mean Scores: Individual- and Trait-Level Agreement Between Human and Generative AI Raters in EFL Writing Assessment
Diese Studie zeigt auf, dass aktuelle generative KI-Modelle zwar eine hohe interne Stabilität aufweisen, jedoch im Vergleich zur menschlichen Doppelbewertung eine geringere Übereinstimmung mit menschlichen Wertenden, systematische Schweregrad-Biase sowie ein Versagen bei der Anwendung spezifischer Rubrik-Regeln zeigen, was darauf hindeutet, dass sie am besten für eine überwachte, durch Diskrepanzen ausgelöste Unterstützung statt für einen autonomen Ersatz in der folgenreichen EFL-Schreibbewertung geeignet sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der hochriskanten Welt des Sprachenlernens kann ein einziger Aufsatz darüber entscheiden, ob ein Student an die Universität vorrückt oder in einem Vorbereitungskurs feststeckt. Seit Jahrzehnten verlassen sich Pädagogen darauf, dass menschliche Lehrkräfte diese Aufsätze lesen und Noten basierend auf komplexen Rubriken vergeben, die alles von der Grammatik bis zum logischen Fluss eines Arguments messen. Kürzlich ist ein neuer Kontender in die Arena getreten: künstliche Intelligenz. Große Sprachmodelle – dieselben leistungsstarken Computerprogramme, die Geschichten schreiben oder Fragen beantworten können – werden zunehmend als automatisierte Korrektoren vorgeschlagen. Das Versprechen ist verführerisch: Maschinen sind schnell, unermüdlich und konsistent. Doch im Bereich der Bildung reicht Geschwindigkeit nicht aus. Ein Bewertungssystem muss mehr tun, als nur einen plausiblen Durchschnittswert zu produzieren; es muss mit menschlichen Experten über die spezifischen Details der Arbeit jedes einzelnen Schülers übereinstimmen, die Regeln fair anwenden und erkennen, wenn ein Schüler etwas geschrieben hat, das schlichtweg nicht zur Prüfung gehört. Die Frage ist nicht mehr, ob eine Maschine eine Zahl generieren kann, sondern ob dieser Zahl vertraut werden kann, um lebensverändernde Entscheidungen für Lernende zu treffen.
Ein Forscher setzte sich zum Ziel, dieses Vertrauen in einer realen Umgebung zu testen, indem er über einfache Vergleiche von Durchschnittswerten hinausging, um zu sehen, wie gut Maschinen und Menschen tatsächlich bei einzelnen Arbeiten übereinstimmen. Er sammelte zweiundsiebzig handgeschriebene Aufsätze von Studenten aus der Türkei, die eine Kompetenzprüfung ablegten, um ihre Bereitschaft für ein Studium festzustellen. Diese Studenten hatten Meinungsbeiträge zu Themen verfasst, die von der Bedeutung harter Arbeit bis hin zum Gleichgewicht zwischen Freunden und Besitz reichten. Der Forscher unterzog diese Arbeiten daraufhin einer strengen End-to-End-Evaluierung. Zuerst bewerteten sechs erfahrene Lehrer jeden Aufsatz zweimal unter Verwendung einer fünfteiligen Rubrik, die Aufgabenbewältigung, Organisation, Wortschatz, Grammatik und Kohärenz bewertete. Dann lasen drei verschiedene Modelle künstlicher Intelligenz – spezifisch Versionen von Claude, GPT und Gemini – die Scans derselben handgeschriebenen Aufsätze und bewerteten sie nach exakt denselben Anweisungen. Entscheidend war, dass die Maschinen kein spezielles Training für diese spezifischen Aufsätze erhielten; sie mussten die Regeln spontan anwenden, genau wie eine neue Lehrkraft.
Die Ergebnisse offenbarten eine Landschaft, die weitaftergehend kompliziert ist als die Hoffnung auf einen perfekten, automatisierten Ersatz für das menschliche Urteilsvermögen. Während die Modelle der künstlichen Intelligenz bemerkenswert konsistent mit sich selbst waren – das heißt, wenn man dasselbe Modell zweimal bitten würde, denselben Aufsatz zu bewerten, würde es fast immer exakt dieselbe Note geben –, hatten sie Schwierigkeiten, mit den menschlichen Lehrkräften zu korrelieren. Die Übereinstimmung zwischen den beiden menschlichen Bewertern war stark, doch als die Maschinen mit dem menschlichen Durchschnitt verglichen wurden, war die Verbindung signifikant schwächer. Jedes einzelne Modell neigte dazu, strenger zu sein als das menschliche Gremium und vergab flächendeckend niedrigere Punktzahlen. Diese Strenge war kein fester Betrag; die Maschinen bestraften stärkere Aufsätze schwerer als schwächere, was bedeutete, dass eine einfache mathematische Anpassung die Lücke nicht schließen konnte. Ein Modell in der besonderen Kategorie war nahezu perfekt darin, seine eigenen Entscheidungen zu wiederholen, war aber zugleich das strengste von allen, was zeigt, dass Konsistenz nicht automatisch Gleichberechtigung oder Genauigkeit bedeutet.
Die Studie deckte auch auf, wie diese Modelle mit den spezifischen Regeln der Prüfung umgingen, insbesondere im Hinblick auf Aufsätze, die völlig am Thema vorbeigingen. Die Rubrik besagte klar, dass, wenn ein Student über das falsche Thema schrieb, er in jeder Dimension eine Null erhalten sollte. Die menschlichen Lehrer folgten dieser Regel ohne Ausnahme. Die Maschinen jedoch taten dies nicht. Selbst wenn sie mit Aufsätzen konfrontiert wurden, die nichts mit der Aufgabenstellung zu tun hatten, vergaben die Modelle dennoch Teilpunkte und erkannten nicht, dass der Inhalt für eine Bewertung unzulässig war. Dies war ein kritischer operativer Fehler, der zeigte, dass die Maschinen ohne menschliche Aufsicht nicht zwischen einer schlechten Antwort und einer irrelevanten Antwort unterscheiden konnten. Darüber hinaus, wenn der Forscher die spezifischen Merkmale des Schreibens betrachtete, wie etwa Wortschatz oder Grammatik, versäumten es die Modelle oft, die Unterschiede zwischen diesen Kategorien zu erkennen, und behandelten sie eher als einen verschwommenen Bereich denn als distinkte Fähigkeiten.
Letztendlich legt die Forschung nahe, dass diese Werkzeuge der künstlichen Intelligenz noch nicht bereit sind, menschliche Korrektoren in hochriskanten Prüfungen zu ersetzen, bei denen die Zukunft eines Studenten auf dem Spiel steht. Die Maschinen sind nicht defekt, aber sie sind noch nicht zuverlässig genug, um allein zu stehen. Sie funktionieren am besten nicht als unabhängige Richter, sondern als Assistenten, die Unstimmigkeiten melden oder eine Zweitmeinung für eine menschliche Überprüfung anbieten. Die Studie kommt zu dem Schluss, dass KI, um im Bildungswesen nützlich zu sein, Teil eines überwachten Arbeitsablaufs sein muss, in dem Menschen die Kontrolle behalten, die Arbeit der Maschine prüfen, die Regeln durchsetzen und die endgültige Entscheidung treffen. Die Technologie bietet eine kraftvolle Möglichkeit, die Reichweite von Pädagogen zu erweitern, kann aber das nuancierte Urteilsvermögen, das erforderlich ist, um sicherzustellen, dass jeder Student fair und genau bewertet wird, noch nicht ersetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.