Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring

In der Welt der Bildung ist das Korrigieren eines Stapels von Aufsätzen eine schwere, zeitintensive Aufgabe. Seit Jahrzehnten versuchen Computer dabei zu helfen, aber sie haben oft Schwierigkeiten, die Nuancen einer menschlichen Lehrkraft zu erfassen. Vor kurzem haben eine neue Generation leistungsstarker Computerprogramme, bekannt als große Sprachmodelle, eine bemerkenswerte Fähigkeit gezeigt, menschliche Texte zu lesen und zu verstehen. Diese Systeme können angewiesen werden, als Prüfer zu agieren und Schülerarbeiten basierend auf spezifischen Regeln zu bewerten. Es bleibt jedoch ein erhebliches Problem bestehen: Diese Programme sind teuer im Betrieb. Je detaillierter die Anweisungen sind, die man dem Computer gibt, desto höher sind die Kosten, um eine Antwort zu erhalten. Zudem ist nicht immer offensichtlich, wie man den Computer am besten fragt; dies ändert sich je nach dem spezifischen Aufsatz oder der verwendeten Softwareversion. Pädagogen und Testorganisationen stehen vor einer schwierigen Wahl: Entweder zahlen sie einen hohen Preis, um jeden Aufsatz durch jeden möglichen Satz von Anweisungen laufen zu lassen, um den besten zu finden, oder sie riskieren die Verwendung einer billigeren, weniger genauen Methode, die das Ziel verfehlen könnte.

Ein Forscherteam der Carleton University hat einen neuen Weg vorgeschlagen, um dieses Dilemma zu lösen. Anstatt zu versuchen, den perfekten Satz an Anweisungen im Voraus zu erraten, bauten sie ein System, das den besten Ansatz lernt, während es arbeitet. Sie behandelten die verschiedenen Arten, den Computer anzuweisen, einen Aufsatz zu bewerten, wie einen Satz von Spielautomaten, von denen jeder eine andere Chance hat, eine gute Auszahlung zu liefern. Während das System Aufsätze bewertete, hielt es fest, welche Methode die Scores am engsten mit menschlichen Lehrkräften in Einklang brachte und welche am effizientesten war. Im Laufe der Zeit hörte das System von Natur aus auf, Energie an die schlechten Methoden zu verschwenden, und konzentrierte sich fast ausschließlich auf diejenigen, die am besten funktionierten. Dieser Ansatz ermöglichte es ihnen, die effektivste Bewertungsstrategie zu finden, während sie weit weniger Computerressourcen als traditionelle Methoden verbrauchten.

Das Team testete diese Idee anhand einer Sammlung von 787 echten Aufsätzen aus der IELTS-Schreibprüfung, einem bedeutenden internationalen Sprachtest für Englisch. Sie richteten vier verschiedene Wege ein, wie der Computer die Arbeiten bewertet. Zwei Methoden forderten den Computer auf, sofort eine einzige, Gesamtbewertung abzuge la, während die anderen zwei forderten, dass er den Aufsatz in vier spezifische Kategorien unterteilt – wie etwa, wie gut der Verfasser auf die Aufgabenstellung eingegangen ist oder wie organisiert die Ideen waren – bevor er eine endgültige Punktzahl berechnet. Für die Hälfte dieser Methoden wurde dem Computer zudem Beispiele für gute und schlechte Aufsätze gezeigt, um ihm zu helfen zu verstehen, worauf er achten soll; für die andere Hälfte musste er sich auf sein eigenes Wissen verlassen. Das System begann dann, die Aufsätze zu bewerten, wobei es einen Lernalgorithmus nutzte, um zu entscheiden, welche der vier Methoden für das jeweilige neue Papier zu verwenden sei.

Die Ergebnisse waren eindeutig und unmittelbar. Das System lernte schnell, dass die effektivste Strategie diejenige war, die den Aufsatz in spezifische Kategorien unterteilte und Beispiele dafür lieferte, was einen guten oder schlechten Aufsatz ausmacht. Diese Methode produzierte konsistent Scores, die am engsten mit den menschlichen Prüfern übereinstimmten. Im Gegensatz dazu schnitten die Methoden, die die Beispiele übersprangen oder versuchten, eine einzige Punktzahl ohne die Aufteilung in Kategorien zu liefern, signifikant schlechter ab. Der Lernalgorithmus war so effektiv, dass er nach einer kurzen Testphase aufhörte, die schwächeren Methoden fast vollständig zu wählen, und über 70 Prozent seiner Bemühungen der am besten funktionierenden Methode widmete.

Vielleicht kam die überraschendste Entdeckung, als die Forscher die Kosten dieser Anweisungen untersuchten. Die konventionelle Weisheit besagt, dass die Gabe von detaillierteren Regeln und Erklärungen an einen Computer, wie er bewerten soll, zu besseren Ergebnissen führen sollte. Die Studie fand jedoch das Gegenteil heraus. Als die Forscher die langen, detaillierten Beschreibungen der Bewertungsregeln aus den Anweisungen entfernten, arbeitete der Computer tatsächlich besser. Die einfacheren Anweisungen, die sich auf das bestehende Verständnis des Computers für das Schreiben statt auf ein Handbuch von Regeln stützten, führten zu genaueren Scores und verbrauchten weniger Computerressourcen. Dies deutet darauf hin, dass diese leistungsstarken Computerprogramme die Nuancen des akademischen Schreibens bereits während ihres Trainings gelernt haben und nicht erneut gesagt bekommen müssen, jedes einzelne Detail.

Die Effizienzgewinne durch diesen adaptiven Ansatz waren beträchtlich. Indem die Forscher das System die beste Methode während des Prozesses auswählen ließen, reduzierten sie die Anzahl der Aufrufe beim Computer um fast 79 Prozent im Vergleich zu einer traditionellen Methode, die versuchte, jede mögliche Option bei jedem Aufsatz anzuwenden. Diese massive Reduktion der Computeraufrufe übersetzte sich direkt in einen Rückgang der insgesamt vom Computer verarbeiteten Wörter um 73 Prozent und in eine Senkung der geschätzten Kosten des Experiments um 70 Prozent. Das System erreichte das gleiche Niveau an Genauigkeit wie die erschöpfende, teure Methode, tat dies jedoch mit einem Bruchteil des Aufwands.

Diese Arbeit stellt eine Verschiebung in der Art und Weise dar, wie automatisierte Bewertung gehandhabt werden kann. Anstatt die Wahl der Anweisungen als eine feste Einstellung zu behandeln, die vor Beginn der Arbeit entschieden werden muss, zeigten die Forscher, dass sie ein dynamischer Prozess sein kann, der sich verbessert, während er läuft. Obwohl die Studie auf einen spezifischen Satz von Aufsätzen und einen Typ von Computerprogramm begrenzt war, bieten die Ergebnisse einen vielversprechenden Weg für die Bildungstechnologie. Durch die Abwägung zwischen dem Bedürfnis nach Genauigkeit und der Realität der Betriebskosten bietet diese Methode einen Weg, um qualitativ hochwertige automatisierte Bewertung für groß angelegte Testprogramme zugänglich und nachhaltig zu machen. Die Studie legt nahe, dass die Zukunft der automatisierten Bewertung nicht im Bau komplexerer Anweisungen liegt, sondern im Bau smarterer Systeme, die wissen, wie man die besten Anweisungen im Moment des Bedarfs nutzt.