Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

In der Welt des Sprachenlernens ist das Schreiben eines akademischen Essays ein komplexer Akt. Es geht nicht bloß darum, Wörter korrekt zu buchstabieren oder Sätze ohne grammatikalische Fehler anzuordnen. Um erfolgreich zu sein, muss ein Student auch starke Ideen entwickeln, diese Ideen flüssig miteinander verknüpfen, damit der Text logisch fließt, und einen Tonfall annehmen, der den ernsten, objektiven Erwartungen des wissenschaftlichen Diskurses entspricht. Seit Jahrzehnten kämpfen Lehrer damit, diese Essays fair und konsistent zu bewerten. Menschliches Urteilsvermögen ist wertvoll, aber es ist auch langsam, teuer und anfällig für Ermüdung, was dazu führen kann, dass verschiedene Lehrer unterschiedliche Noten für dieselbe Arbeit vergeben. Dies hat eine Nachfrage nach Computern geschaffen, die Texte lesen und automatisch bewerten können.

Kürzlich sind leistungsstarke Systeme der künstlichen Intelligenz bekannt geworden, die als Large Language Models bezeichnet werden. Dies sind dieselben Arten von Technologien, die Gespräche führen, Geschichten schreiben oder Fragen beantworten können. Da sie die menschliche Sprache so gut verstehen können, begannen Forscher sich zu fragen, ob sie auch als faire und genaue Lehrer fungieren könnten, die Schüleraufsätze genauso bewerten wie ein Mensch. Die Hoffnung war, dass diese Maschinen tausenden von Schülern gleichzeitig sofortiges Feedback geben könnten. Eine kritische Frage blieb jedoch unbeantwortet: Verstehen diese Maschinen tatsächlich, was gute Schreibweise ausmacht, oder raten sie nur Zahlen, die zufällig richtig aussehen? Um dies herauszufinden, setzte sich die Forscherin Pegah Merrikhi zum Ziel, drei der derzeit fortschrittlichsten verfügbaren KI-Systeme gegen den Goldstandard des menschlichen Urteils zu testen.

Die Studie konzentrierte sich auf ein spezifisches Framework namens LICA, das die Qualität eines Essays in vier verschiedene Teile unterteilt. Der erste Teil ist die Sprache (Language), die Grammatik und Vokabular betrachtet. Der zweite Teil sind die Ideen (Ideas), die messen, wie tiefgründig und gut fundiert die Argumente sind. Der dritte Teil ist der Zusammenhalt (Cohesion), der prüft, wie gut die Sätze und Absätze zusammenhalten. Der vierte Teil ist die akademische Angemessenheit (Academic Appropriateness), die beurteilt, ob die Schrift wie eine ernsthafte wissenschaftliche Stimme klingt und nicht wie ein lockeres Gespräch. Die Forscherin nahm fünf Aufsätze, die von Lernenden der Zweitsprache geschrieben wurden, und bat drei verschiedene KI-Systeme – GPT-4o, Claude 3.5 Sonnet und Gemini 1.5 Pro –, jeden Aufsatz auf diesen vier Skalen zu bewerten. Gleichzeitig lieferte ein menschlicher Experte die „korrekten“ Punktzahlen. Das Ziel war zu sehen, wie eng die Maschinen mit dem menschlichen Experten übereinstimmten und wie sie untereinander im Vergleich abschnitten.

Die Ergebnisse offenbarten eine Geschichte überraschender Präzision, gemischt mit deutlichen Persönlichkeiten innerhalb dieses spezifischen, kleinen Tests. Eines der KI-Systeme, GPT-4o, arbeitete bei den fünf für diese vorläufige Kalibrierung verwendeten Aufsätzen mit perfekter Genauigkeit. Es entsprach exakt den Punktzahlen des menschlichen Experten bei jedem einzelnen Aufsatz und in jeder einzelnen Kategorie in dieser spezifischen Stichprobe und replizierte somit effektiv das Urteil des menschlichen Experten für diesen begrenzten Datensatz. Das zweite System, Claude 3.5 Sonnet, war ebenfalls sehr nah am menschlichen Experten, zeigte jedoch eine leichte Tendenz, zu großzügig zu sein. Bei der Bewertung des Ideenflusses und des akademischen Tons vergab es Punktzahlen, die ein wenig höher waren, als der menschliche Experte gegeben hätte. Es war nicht falsch, aber es war etwas nachsichtig.

Das dritte System, Gemini 1.5 Pro, zeigte ein anderes Muster. Während es sehr gut darin war, die Verbindung zwischen den Absätzen zu beurteilen, neigte es dazu, strenger als der menschliche Experte zu sein. Wenn es darum ging, die Tiefe der Ideen der Studenten und die Angemessenheit des akademischen Tons zu bewerten, vergab es Punktzahlen, die spürbar niedriger waren als die des menschlichen Experten. Dies deutet darauf hin, dass die Maschine zwar die Struktur des Schreibens erkennen konnte, es ihr jedoch schwerer fiel, die Inhalte und die Stimme des Schreibers zu bewerten.

Die vielleicht aufschlussreichste Erkenntnis war nicht, wie die Maschinen im Vergleich zu Menschen abschnitten, sondern wie sie im Vergleich zueinander abschnitten. Wenn die drei KI-Systeme die Aufsätze ohne menschliche Hilfe bewerteten, stimmten sie bei den technischen Aspekten der Sprache und dem Fluss des Textes fast perfekt überein. Sie hatten jedoch Schwierigkeiten, bei der Beurteilung des akademischen Tons und der Qualität der Ideen überebereinzustimmen. Bei der Frage, ob die Schreibweise für ein universitäres Umfeld angemessen klang, waren sich die Maschinen oft uneinig, wobei eines großzügig und ein anderes streng war. Dies deutet darauf hin, dass diese Systeme zwar exzellent darin sind, Grammatik und Struktur zu erkennen, aber noch kein einheitliches Verständnis davon teilen, was ein akademisches Argument richtig klingen lässt.

Die Studie kommt zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz zwar leistungsfähig genug sind, um nützlich zu sein, aber noch nicht bereit sind, menschliche Lehrer vollständig zu ersetzen. Sie können die mechanischen Teile der Bewertung mit großer Geschwindigkeit und Genauigkeit bewältigen, aber es fehlt ihnen noch an der konsistenten menschlichen Intuition, die nötig ist, um die subtilen sozialen und kulturellen Nuancen des akademischen Schreibens zu beurteilen. Die Forscherin schlägt vor, dass der beste Ansatz darin besteht, diese Maschinen als Assistenten einzusetzen, die einen ersten Entwurf des Feedbacks liefern, während ein menschlicher Lehrer involviert bleibt, um das endgültige Urteil zu fällen, insbesondere bei den komplexeren Aspekten des Schreibens. Dies stellt sicher, dass die Studenten die Geschwindigkeit der Automatisierung erhalten, ohne die Tiefe des menschlichen Verständnisses zu verlieren.