ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
Das Paper stellt ICLE++ vor, ein neues Korpus persuasiver Schüleraufsätze, das sowohl mit ganzheitlichen als auch mit merkmalsspezifischen Scores annotiert ist und darauf ausgelegt ist, die Generalisierungsbeschränkungen bestehender Modelle zu adressieren, die auf dem ASAP-Datensatz trainiert wurden, sowie die Forschung im Bereich des Multi-Trait- und Cross-Prompt-Automated-Essay-Scoring zu erleichtern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer lernen, Lehrer zu werden, indem sie speziell das Korrigieren von Aufsätzen von Schülern übernehmen. Dieses Feld, bekannt als Automated Essay Scoring (AES), ist wie ein digitaler Notengeber, der die Arbeit eines Schülers liest und eine Zahl vergibt, um zu sagen, wie gut sie ist. Jahrelang wurden diese Computer-Lehrer fast ausschließlich auf einem riesigen Haufen von Aufsätzen trainiert, der namens „ASAP“ bezeichnet wird. Man kann sich ASAP wie eine massive Bibliothek vorstellen, die voller Aufsätze ist, die von amerikanischen Mittel- und Oberstufenschülern geschrieben wurden, deren Muttersprache Englisch ist. Der Computer lernt die Regeln eines guten Aufsatzes, indem er diese spezifische Bibliothek studiert. Aber hier liegt der Hake: Nur weil ein Computer amerikanische Aufsätze perfekt bewerten kann, bedeutet das nicht, dass er weiß, wie er Aufsätze von Schülern aus anderen Ländern oder Aufsätze für unterschiedliche Arten von Aufgaben bewertet. Es ist so, als würde man einem Koch beibringen, den perfekten amerikanischen Burger zuzubereiten, und dann erwarten, dass er sofort weiß, wie man eine perfekte Sushi-Rolle kocht, ohne neues Training zu erhalten.
Um dies zu beheben, benötigten Forscher eine neue, vielfältigere Bibliothek von Aufsätzen, um ihre Computer-Lehrer zu testen. Sie brauchten einen Ort, an dem sie sehen konnten, ob der Computer mit verschiedenen Schreibern, verschiedenen Themen und verschiedenen Arten der Qualitätsbewertung umgehen kann. Hier kommt die Geschichte einer neuen Datensatz-Sammlung namens „ICLE++“ ins Spiel. Dabei geht es nicht nur darum, eine einzige Note zu vergeben; es geht darum, das Warum hinter der Note zu verstehen. Anstatt nur zu sagen: „Dieser Aufsatz hat eine 3 von 4“, ist das Ziel zu sagen: „Dieser Aufsatz hat eine 3, weil die Ideen etwas ungeordnet waren, aber der Wortschatz großartig war.“ Dieses Paper stellt diese neue Bibliothek vor und testet, ob die alten Computer-Lehrer mit ihr zurechtkommen.
Die Forscher Shengjie Li und Vincent Ng entschieden sich, eine neue, spezialisierte Sammlung von Aufsätzen namens ICLE++ zu erstellen. Sie sammelten 1.006 überzeugende Aufsätze, die von Universitätsstudierenden aus 16 verschiedenen Ländern geschrieben wurden, die Englisch als Fremdsprache lernen. Im Gegensatz zur alten Bibliothek (ASAP), die Aufsätze unterschiedlicher Längen enthielt, waren diese Aufsätze alle in etwa gleich groß (zwischen 500 und 600 Wörtern), was eine knifflige Variable entfernt, die die Computer zuvor verwirrt haben könnte.
Aber die wahre Magie von ICLE++ liegt nicht nur in den Aufsätzen selbst; es ist die Art und Weise, wie sie bewertet wurden. Die Forscher haben die Bewertung nicht einfach in eine einzige Gesamtnote pro Aufsatz unterteilt. Stattdessen haben sie die Bewertung in 10 spezifische Merkmale zerlegt, ähnlich wie ein Mechaniker, der einen Automotor Teil für Teil überprüft. Zu diesen Merkmalen gehören Dinge wie Prompt Adherence (Beantwortung der Aufgabenstellung), Thesis Clarity (Klarheit der These), Argument Persuasiveness (Überzeugungskraft des Arguments), Development (Ausarbeitung der Ideen) und Technical Quality (technische Qualität, also Grammatik- und Rechtschreibfehler).
Das Team fand heraus, dass diese 10 Merkmale wie die Zutaten in einem Rezept sind. Einige Zutaten, wie Argument Persuasiveness und Development, erwiesen sich als am wichtigsten für den finalen „Geschmack“ (die Gesamtnote). Tatsächlich fanden sie heraus, dass, wenn ein Student ein starkes Argument und gut ausgearbeitete Ideen hatte, der Aufsatz normalerweise eine hohe Gesamtnote erhielt, selbst wenn andere Teile nur okay waren. Sie entdeckten jedoch auch, dass einige Merkmale, wie Thesis Clarity, überraschenderweise weniger mit der Gesamtnote verbunden waren, als man erwarten könnte. Dies deutet darauf hin, dass menschliche Bewerter eher bereit sind, eine vage Hauptthese zu verzeihen, wenn der Rest des Aufsatzes stark ist – eine Nuance, die einfache Computermodelle vielleicht übersehen könnten.
Als die Forscher die besten Computermodelle aus der alten Bibliothek (ASAP) auf die neue ICLE++ Bibliothek testeten, waren die Ergebnisse ein Schock. Die Computer, die in der alten Bibliothek Champions waren, hatten mit der neuen erheblich zu kämpfen. Ihre Punktzahlen sanken, was darauf hindeutete, dass die Modelle die spezifischen Muster der amerikanischen Aufsätze auswendig gelernt hatten, anstatt die universellen Regeln des guten Schreibens zu erlernen. Es ist wie ein Schüler, der die Antworten auf eine bestimmte Übungsprüfung auswendig gelernt hat, aber durchfällt, wenn die Fragen anders formuliert sind.
Das Paper untersuchte auch ein „Was-wäre-wenn“-Szenario: Was wäre, wenn der Computer die Noten für alle 10 Merkmale sehen könnte, bevor er versucht, die Gesamtnote zu erraten? Als sie dem Computer diesen „Spickzettel“ der perfekten Merkmalsnoten gaben, schoss seine Leistung in die Höhe, was bewies, dass diese 10 Merkmale in der Tat sehr nützlich sind, um die Qualität eines Aufsatzes zu verstehen. Wenn der Computer jedoch zuerst die Merkmalsnoten selbst erraten musste, half das nicht immer; manchmal machte das zusätzliche „Rauschen“ durch das Raten der Merkmale die Gesamtnote sogar schlechter. Dies deutet darauf hin, dass es zwar kraftvoll ist, die Details zu kennen, der Computer aber dennoch lernen muss, diese Details selbstständig präzise zu finden.
Kurz gesagt argumentiert das Paper, dass die alte Methode, Essay-Bewertungs-Computer nur an einem Typ von Aufsatz zu testen, nicht mehr ausreicht. Die neue ICLE++ Bibliothek zeigt, dass Computer zwar besser werden, aber noch viel zu lernen haben über die subtilen, multidimensionalen Arten, wie Menschen das Schreiben bewerten. Die Forscher glauben, dass dieser neue Datensatz ein entscheidender Schritt nach vorn ist, der einen realistischeren und anspruchsvolleren Spielplatz für zukünftige KI-Lehrer bietet, um zu lernen, wie man fair, detailliert und wirklich hilfreich für Studenten überall ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.