When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

In der Welt des Fremdsprachenlernens verlassen sich Lehrer und Forscher seit langem auf ein dreiteiliges Framework, um zu verstehen, wie gut ein Schüler schreibt. Sie betrachten die Komplexität, also wie vielschichtig und variabel die Satzstrukturen sind; die Genauigkeit, die misst, wie frei das Schreiben von grammatikalischen Fehlern ist; und die Flüssigkeit, die zählt, wie viele Wörter ein Schüler in einer einzelnen Gedanken Einheit produziert. Jahrzehntelang erforderte die Messung dieser Merkmale einen menschlichen Experten, der jeden Satz las, die Nebensätze zählte und jeden Fehler markierte – ein Prozess, der langsam, teuer und schwer konsistent zu wiederholen war. Nun bietet künstliche Intelligenz eine neue Möglichkeit. Große Sprachmodelle, dieselben leistungsstarken Computersysteme, die Aufsätze schreiben oder Fragen beantworten können, können auch dazu aufgefordert werden, diese linguistischen Merkmale sofort zu zählen. Doch eine kritische Frage bleibt: Nur weil ein Computer mit einem Menschen über die allgemeine Rangfolge von Aufsätzen übereinstimmt, liefert er tatsächlich auch dieselben Zahlen? Wenn ein Lehrer diese Zahlen verwendet, um den Fortschritt eines Schülers im Zeitverlauf zu verfolgen, könnte ein kleiner, konsequenter Fehler beim Zählen durch den Computer zu einem völlig falschen Schluss darüber führen, ob sich der Schüler verbessert oder Schwierigkeiten hat.

Ein Forschungsteam der Universität Maragheh im Iran setzte sich zum Ziel, diese Frage zu beantworten, indem es sechs verschiedene öffentliche KI-Systeme gegen menschliche Experten testete. Sie sammelten 90 argumentative Aufsätze, die von 45 Universitätsstudenten geschrieben wurden, wobei jeder Student zwei Aufsätze zum selben Thema über soziale Medien verfasste, die zwei Wochen auseinanderlagen. Die menschlichen Experten lasen zuerst jeden Aufsatz und einigten sich auf einen einzigen Satz von Zahlen für Komplexität, Genauigkeit und Flüssigkeit basierend auf strengen Regeln. Dann fütterten die Forscher exakt dieselben Aufsätze in sechs verschiedene KI-Modelle, darunter bekannte Systeme wie ChatGPT, Gemini und andere, und baten sie, dieselben strengen Regeln anzuwenden und die Zählungen zurückzugeben. Das Ziel war nicht zu sehen, ob die KI einen guten Aufsatz schreiben konnte, sondern ob sie als präzises Messwerkzeug fungieren konnte, das exakt die Werte repliziert, die ein Mensch berechnen würde.

Die Ergebnisse offenbarten eine überraschende Lücke zwischen dem, was die KI und die Menschen einander zustimmten, und dem, was sie tatsächlich maßen. Jedes einzelne KI-Modell zeigte eine starke Verbindung zu den menschlichen Bewertungen; wenn ein Mensch einen Aufsatz als hochkomplex bewertete, bewertete die KI ihn ebenfalls als hoch. Das bedeutet, dass die Computer gut darin waren, die relative Ordnung der Aufsätze zu verstehen. Doch als die Forscher die tatsächlichen Zahlen betrachteten, lagen die Computer oft in einer spezifischen Weise falsch. Für das Maß der Komplexität, bei dem es darum geht, wie viele Teilsätze in einen Satz gepackt sind, unterschätzten fünf der sechs Modelle den Wert konsequent. Sie sahen weniger komplexe Strukturen als die Menschen. Dies war kein zufälliger Fehler, sondern ein systematischer Bias, bei dem die Modelle die komplizierten Teile des Schülertextes scheinbar übersahen. Im Gegensatz dazu waren die Modelle wesentlich besser darin, die Genauigkeit zu messen. Sie konnten zuverlässig identifizieren, ob ein Satz einen grammatikalischen Fehler enthielt oder nicht, und ihre Zahlen lagen viel näher an den menschlichen Zählungen.

Die Studie untersuchte auch, wie gut die Modelle Veränderungen in der Schreibweise eines Schülern über die Zeit erkennen konnten. Da die Studenten zwei Aufsätze schrieben, konnten die Forscher sehen, ob die KI dieselben Leistungsverschiebungen bemerkte wie die Menschen. Die menschlichen Experten fanden heraus, dass die Studenten im zweiten Aufsatz mit signifikant weniger grammatikalischen Fehlern schrieben, aber kürzere, weniger komplexe Sätze produzierten. Die KI-Modelle kopierten dieses Muster für Genauigkeit und Flüssigkeit erfolgreich und identifizierten korrekt, dass die Studenten weniger Fehler machten und weniger Wörter pro Satz produzierten. Wenn es jedoch um die Komplexität ging, waren die Modelle inkonsistent. Einige bemerkten den Rückgang der Komplexität überhaupt nicht, während andere eine Veränderung sahen, die zu gering war. Dies deutet darauf hin, dass eine KI zwar nützlich sein kann, um allgemeine Trends in einer großen Gruppe von Schülern zu erkennen, aber noch nicht darauf vertraut werden kann, die exakten Zahlen für eine detaillierte Analyse der Satzstruktur ohne menschliche Aufsicht zu liefern.

Unter den sechs getesteten Systemen erbrachte ein Modell namens DeepSeek insgesamt die beste Leistung, da es die Genauigkeit über alle drei Kategorien hinweg besser als die anderen ausbalancierte. Ein anderes Modell, ChatGPT, war besonders stark bei der Messung der Genauigkeit. Dennoch betonten die Forscher, dass kein einzelnes Modell perfekt für jede Aufgabe war. Die Leistung der KI hing stark davon ab, was genau gemessen wurde. Ein Modell, das exzellent darin ist, Fehler zu zählen, könnte schlecht darin sein, Satzstrukturen zu zählen. Dieser Befund stellt die Vorstellung infrage, dass eine hohe Korrelation zwischen menschlichen und maschinellen Werten bedeutet, dass die beiden austauschbar sind. Er legt nahe, dass die Verwendung künstlicher Intelligenz für die Sprachbewertung einen sorgfältigen, spezifischen Ansatz erfordert, bei dem das Werkzeug für die spezifische Aufgabe validiert wird, die es zu erfüllen hat, anstatt davon auszugehen, dass es für alles gleichermaßen gut funktioniert.

Letztendlich kommt die Studie zu dem Schluss, dass diese leistungsstarken Computersysteme wertvolle Assistenten, aber keine Ersatz für das menschliche Urteilsvermögen in diesem speziellen Bereich sind. Sie können große Mengen an Text schnell scannen, um allgemeine Muster zu finden oder Aufsätze zu kennzeichnen, die einer näheren Untersuchung bedürfen. Für präzise Messungen, insbesondere hinsichtlich der Komplexität von Satzstrukturen, müssen die von ihnen produzierten Zahlen jedoch noch gegen menschliche Standards überprüft werden. Die Forschung hebt hervor, dass bei der Suche nach automatisierter Sprachanalyse der Unterschied zwischen dem Bewegen in dieselbe Richtung und dem Landen auf derselben Zahl eine entscheidende Unterscheidung ist, die Forscher und Lehrer im Hinterkopf behalten müssen.