ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
Dieses Paper stellt ArguLens vor, ein Open-Source-, lokal bereitstellbares System, das die Einschränkungen bestehender automatisierter Essay-Scoring-Tools adressiert, indem es den Prozess in einen Diskurs-Move-Klassifikator, einen merkmalsbasierten Scorer und einen label-bewussten Feedback-Generator zerlegt und dabei eine starke Leistung auf dem PERSUADE 2.0-Datensatz erzielt, während gleichzeitig Datenschutz und Interpretierbarkeit gewährleistet werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In dem leisen Summen eines Klassenzimmers liest eine Lehrkraft den argumentativen Essay eines Schülers und wägt Sätze nach Klarheit, Logik und Stärke ab. Seit Jahrzehnten versuchen Computer, dieses menschliche Urteilsvermögen nachzuahmen, ein Feld, das als automatisierte Essay-Bewertung bekannt ist. Frühe Versuche stützten sich auf einfache Zählungen von Wörtern oder Satzlängen, während moderne Versionen komplexe neuronale Netze verwenden, die wie Black Boxes agieren – sie bieten eine Note an, erklären aber selten das Warum. Dies schafft ein Dilemma: Systeme, die präzise sind, lassen oft die Transparenz vermissen, während jene, die klar sind, oft an Genauigkeit mangeln. Zudem erfordern die leistungsfähigsten Werkzeuge von heute meist das Senden von Schülertexten an entfernte Unternehmensserver, was Bedenken hinsichtlich des Datenschutzes und der Kosten aufwirft. Das Ziel der Forscher war es lange Zeit, ein System zu bauen, das sowohl intelligent genug ist, um genau zu bewerten, als auch offen genug, um seinen Rechenweg aufzuzeigen, während es die Daten sicher auf den eigenen Computern einer Schule hält.
Ein Forschungsteam der Fudan University hat diese Herausforderung mit ArguLens adressiert, einem neuen Open-Source-System, das lokal installiert werden kann, um Schüler-Essays fernab des Internets zu halten. Anstatt zu versuchen, eine Note in einem einzigen großen Sprung zu erraten, unterteilt das System die Aufgabe in drei distinkte, handhabbare Schritte. Zuerst agiert es als rhetologischer Detektiv, der den Essay Satz für Satz liest, um die Funktion jedes Teils zu identifizieren. Es sucht nach spezifischen rhetorischen Schritten in einem Argument, wie etwa einer Behauptung, einem Beleg, einem Gegenargument oder einer Erwiderung. Hierfür nutzt es eine spezialisierte Version eines Large Language Models, das darauf trainiert wurde, diese Muster zu erkennen, ohne den gesamten Essay umschreiben zu müssen. Sob es die Struktur des Arguments verstanden hat, geht das System zum zweiten Schritt über: der Bewertung. Hierbei greift es nicht auf das schwere Sprachmodell zurück. Stattdessen zählt es einunddreißig spezifische Merkmale, wie die Vielfalt des verwendeten Vokabular-Bestands, die Komplexität der Satzstrukturen und die Häufigkeit der gerade identifizierten argumentativen Schritte. Diese Zahlen werden in eine leichte, hocheffiziente Bewertungs-Engine eingespeist, die eine Endnote berechnet. Der dritte Schritt ist die Generierung von Feedback. Unter Verwendung der Scores und der identifizierten Argumentationsschritte schreibt das System einen strukturierten Bericht für den Schüler, der Stärken aufzeigt und spezifische Verbesserungen vorschlägt, wobei stets sichergestellt wird, dass der Rat konstruktiv und im tatsächlichen Text verwurzelt ist.
Die Forscher testeten dieses System an einer großen Sammlung argumentativer Essays von Mittelschülern, einem Datensatz, der Tausende von Beispielen enthält, die von Schülern in den Vereinigten Staaten geschrieben wurden. Sie fanden heraus, dass die Fähigkeit des Systems, die verschiedenen Teile eines Arguments zu identifizieren, recht stark war, wobei es die Funktion von Sätzen in mehr als zweiundachtzig Prozent der Fälle korrekt beschriftete. Obwohl es gelegentlich eine Hauptbehauptung mit dem sie stützenden Beleg verwechselte – eine häufige Schwierigkeit selbst für Menschen –, konnte es zwischen den verschiedenen Arten von Argumenten meist erfolgreich unterscheiden. Wenn es darum ging, eine Endnote zuzuweisen, arbeitete das System mit einem Grad an Übereinstimmung mit menschlichen Lehrkräften, der in diesem Bereich als sehr hoch gilt. Die Forscher entdeckten, dass die Einbeziehung der strukturellen Informationen über die Argumentationsschritte die Genauigkeit der Endbewertung signifikant verbesserte. Wenn sie das System ohne dieses strukturelle Wissen testeten, das sich nur auf Vokabular und Satzmuster verließ, sank die Genauigkeit merklich. Dies deutet darauf an, dass das Verständnis darüber, wie ein Argument aufgebaut ist, ebenso wichtig ist wie das Wissen darüber, welche Wörter verwendet werden.
Einer der bedeutendsten Aspekte dieser Arbeit ist nicht nur die Zahlenwelt, sondern das Design. Das System ist so gebaut, dass es transparent und reproduzierbar ist. Jede Komponente, vom Code zur Merkmalsextraktion bis hin zu den spezifischen Einstellungen, die zum Trainieren der Modelle verwendet wurden, steht für jeden zur Inspektion bereit. Die Forscher waren sorgfältig darin, zwischen dem zu unterscheiden, was das System mit perfekten Informationen leisten kann, und dem, was es in der realen Welt leisten kann. Sie zeigten, dass das System mit hoher Präzision bewerten könnte, wenn es die exakte Argumentstruktur im Voraus wüsste, räumten aber auch ein, dass das System in einem echten Klassenzimmer diese Struktur selbst vorhersagen muss. Sie maßen, wie lange jeder Schritt auf Standard-Hardware dauerte, und fanden heraus, dass der Bewertungsschritt fast instantan erfolgte, während die Analyse der Argumentstruktur für einen typischen Essay etwas mehr als eine Sekunde beanspruchte. Der Schritt der Feedback-Generierung, der die schriftlichen Kommentare produziert, wurde flexibel gestaltet und ist in der Lage, auf lokalen Servern zu laufen oder sich bei Bedarf mit externen Diensten zu verbinden, obwohl die spezifische Geschwindigkeit dieses letzten Schritts in dieser Erstveröffentlichung nicht gemessen wurde.
Das Team ist sich der Grenzen seiner Schöpfung bewusst. Das System wurde ausschließlich mit Essays trainiert, die von amerikanischen Mittel- und Oberschülern geschrieben wurden, und die Forscher mahnen, dass es nicht für andere Arten des Schreibens, wie etwa kreative Geschichten oder wissenschaftliche Berichte, verwendet werden sollte, ohne weiteres Training zu erhalten. Sie merken zudem an, dass das System noch nicht an Teilentwürfen getestet wurde, sondern nur an fertigen Essays, was relevant ist, falls eine Lehrkraft es für eine laufende Begleitung während des Schreibprozesses nutzen möchte. Vielleicht am wichtigsten ist jedoch, dass die Forscher betonen, dass das System zwar präzise ist, aber kein Ersatz für menschliches Urteilsvermögen in Situationen mit hoher Tragweite (High-Stakes) darstellt. Es ist als Werkzeug gedacht, um Lehrkräfte zu unterstützen, indem es eine Zweitmeinung und detaillierte Aufschlüsselungen bietet, die Schülern helfen können, ihr eigenes Schreiben zu verstehen. Durch die Bereitstellung des gesamten Systems als Open Source und kostenlos hoffen die Forscher, andere Pädagogen und Wissenschaftler dazu zu ermutigen, auf ihrer Arbeit aufzubauen, sie in verschiedenen Kontexten und Sprachen zu testen und schließlich das Feedback zu verfeinern, um sicherzustellen, dass es jedem Lernenden hilft, sich zu verbessern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.