Calibrating Gemini to Human Raters in Spoken Language Assessment for EFL Learners in Asia
Diese Studie zeigt, dass Gemini 2.5 Flash zwar durch 10-Shot-Prompting eine menschliche Übereinstimmung bei der Bewertung des gesprochenen Englischen von EFL-Lernenden erreichen kann, wenn menschliche Bewerter eine moderate Konsistenz aufweisen, seine Leistung jedoch abnimmt, wenn die menschliche Übereinstimmung exzellent ist, was die Notwendigkeit einer sorgfältigen Kalibrierung und menschlicher Aufsicht unterstreicht, ungeachtet seiner Fähigkeit, über die bloße Wortgenauigkeit hinaus zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine Lehrkraft, die hunderte von Aufsätzen bewertet. Es ist ein riesiger Berg an Arbeit, und während Sie die geschriebenen Worte eines Schülers problemlos lesen können, ist das Bewerten der gesprochenen Stimme eine völlig andere Herausforderung. Sprache ist „laut und flüchtig“ – sie geschieht in einem Augenblick und verschwindet dann, was es schwierig macht, sie einzufangen und fair zu beurteilen. Jahrelang waren Computer großartig darin, Text zu lesen, aber sie hatten Schwierigkeiten damit, menschlichen Gesprächen zu „zuhören“, da sie sich oft auf schriftliche Transkripte verließen, die die Nuancen von Tonfall, Pausen und Akzent vermissen ließen. Nun ist eine neue Generation von „generativer KI“ angekommen. Betrachten Sie diese KIs als superintelligente digitale Assistenten, die nicht nur lesen, sondern auch hören und den Kontext verstehen können. Die große Frage, die sich alle stellen, lautet: Können wir diese digitalen Assistenten darauf trainieren, das gesprochene Englisch so fair und genau wie eine menschliche Lehrkraft zu bewerten? Dabei geht es nicht nur darum, Lehrkräften Zeit zu sparen; es geht darum, sicherzustellen, dass Schüler das richtige Feedback erhalten, um sich zu verbessern, unabhängig davon, woher sie kommen oder wie sie klingen.
Diese Arbeit befasst sich eingehend mit dieser Frage und testet ein spezifisches KI-Modell namens Gemini 2.5 Flash. Die Forscher wollten sehen, ob sie diese KI „kalibrieren“ konnten – im Wesentlichen also lehren konnten, wie man bewertet –, indem sie ihr Beispiele dafür zeigten, wie menschliche Lehrkräfte gesprochene Dialoge bewerten. Sie fütterten die KI nicht nur mit geschriebenem Text; sie gaben ihr die eigentlichen Audiodateien der sprechenden Schüler, was ein großer Schritt nach vorne ist, da es die KI die echte Stimme hören lässt und nicht nur eine Transkription.
Die Forscher gestalteten ein kluges Experiment unter Verwendung von 129 aufgezeichneten Gesprächen zwischen asiatischen Englischlernenden und ihren Lehrkräften. Sie baten die KI, diese Reden mit drei verschiedenen Methoden zu bewerten:
- Zero-shot: Die KI erhielt lediglich die Regeln und bewertete sofort, ohne Beispiele.
- 5-shot: Die KI sah fünf Beispiele dafür, wie eine menschliche Lehrkraft bewertet hat, bevor sie begann.
- 10-shot: Die KI sah zehn Beispiele.
Sie verglichen die Scores der KI mit zwei Paaren von Lehrkräften. Ein Paar von Lehrkräften stimmte in ihren Bewertungen mäßig gut überein (ihre Ergebnisse waren ähnlich, aber nicht identisch), während ein anderes Paar fast perfekt übereinstimmte (sie waren wie Zwillinge in ihrer Bewertung).
Hier liegt die Wendung: Die KI arbeitete am besten, wenn sie von den Lehrkräften lernte, die eine mäßige Übereinstimmung aufwiesen. Wenn die KI Beispiele vom „perfekt übereinstimmenden“ Lehrerpaar sah, wurde sie tatsächlich schlechter und konnte deren Werte gar nicht erreichen. Es ist, als ob die KI ein wenig menschliche Uneinigkeit gesehen haben müsste, um das volle Spektrum dessen zu verstehen, was eine „gute“ oder „schlechte“ Bewertung ausmacht. Wenn die Beispiele zu perfekt waren, wurde die KI verwirrt darüber, wo die Grenzen verlaufen.
Die Studie untersuchte auch, ob die KI die Schüler tatsächlich richtig „hörte“. Diesen Wert ermittelten sie mithilfe der sogenannten Word Error Rate (WER), die zählt, wie viele Wörter die KI bei der Transkription falsch gemacht hat. Die KI machte Fehler, aber meistens ging es darum, wer gerade sprach (der Schüler oder die Lehrkraft), anstatt Wörter ganz zu übersehen. Die Forscher fanden heraus, dass die Fähigkeit der KI, die Wörter zu hören, die Bewertung der Schüler weder strenger noch milder ausfallen ließ. Dies deutet darauf hin, dass die KI auf mehr als nur die Wörterbuchdefinitionen der Wörter hörte; sie erfasste auch den Fluss und den Rhythmus der Sprache.
Es gab jedoch ein kleines, überraschendes Hindernis. Die KI gab Schülern aus Pakistan tendenziell etwas niedrigere Bewertungen, obwohl die KI deren Sprache sehr präzise transkribierte. Die Forscher merkten an, dass dies ein potenzieller Bias (Voreingenommenheit) ist, der weiter untersucht werden muss, insbesondere da es in der Studie nur vier Schüler aus diesem Land gab.
Am Ende legt das Paper nahe, dass Gemini 2.5 Flash ein vielversprechendes Werkzeug zur Unterstützung von Lehrkräften beim Bewerten des gesprochenen Englisch ist, aber kein Zauberstab. Es funktioniert am besten, wenn es mit menschlichen Beispielen kalibriert wird, die einen realistischen Bereich an Bewertungen zeigen, und es benötigt eine menschliche Aufsicht, um fair zu bleiben. Die KI kann die Sprache hören, den Kontext verstehen und ein Feedback geben, das einer menschlichen Lehrkraft sehr ähnlich ist, aber sie benötigt eine sorgfältige Abstimmung, um gegenüber jedem fair zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.