Automated item evaluation: Predicting item acceptance and rejection using LLM-generated critiques

Stellen Sie sich vor, Sie sind eine Lehrkraft, die jede Woche tausende von Hausaufgaben bewerten muss. Einige sind brillant, manche verwirrend und einige sind einfach nur falsch. Normalerweise müssen Sie jede einzelne lesen, um zu entscheiden, welche Sie behalten und welche Sie wegwerfen. Das ist langsam, teuer und ermüdend. Stellen Sie sich nun einen superintelligenten Roboter-Assistenten vor, der diese Aufgaben lesen und Ihnen sagen kann: „Hey, diese hier sieht riskant aus, vielleicht solltest du sie nicht verwenden“, noch bevor Sie Ihre Zeit mit dem Korrigieren verschwenden. Dies ist die Welt der Automatisierten Item-Evaluierung (AIE). Es ist ein Zweig der Bildungstechnologie, der versucht, Computer einzusetzen, um die Qualität von Testfragen (genannt „Items“) zu beurteilen, ohne dass dafür ein menschlicher Experte jede einzelne lesen oder sie zuerst an echten Schülern testen muss. Die große Frage, die Forscher stellen, lautet: Können wir einen Computer lehren, eine „schlechte“ Testfrage allein durch das Lesen des Textes zu erkennen und uns so vor dem Kopfzerbrechen zu bewahren, falls sie sich später als fehlerhaft herausstellt?

In dieser Arbeit geht es darum, diesen superintelligenten Roboter-Assistenten zu bauen. Die Forscher Hotaka Maeda und Yikai Lu wollten ein System entwickeln, das eine Testfrage betrachten und vorhersagen kann, ob sie „akzeptiert“ (bereit zur Verwendung) oder „abgelehnt“ (wegwerfen) wird, basierend auf einer riesigen Datenbank von 52.759 echten Fragen aus einem großen standardisierten Testprogramm. Sie haben dem Computer nicht einfach nur die Rohdaten der Fragen gefüttert; sie haben einen cleveren Trick angewandt. Sie baten ein Large Language Model (eine Art KI, die schreiben und denken kann), zuerst eine kurze „Kritik“ oder Rezension der Frage zu schreiben, und fütterten dann sowohl die ursprüngliche Frage als auch diese KI-Rezension in ihr Vorhersagemodell ein. Denken Sie daran wie beim Einstellen eines Schülers, der eine kurze Zusammenfassung eines Buches schreibt, bevor Sie entscheiden, ob Sie das ganze Buch selbst lesen wollen.

Die Ergebnisse waren ziemlich aufregend, aber mit einigen wichtigen Einschränkungen. Das „Fusionsmodell“ (das sowohl die Frage als das KI-Kritik-Review betrachtete) war der beste Performer. Es lieferte etwa 75 % der Zeit die richtige Antwort. Es war jedoch ein kleiner Superheld für Mathematikfragen (mit einer Genauigkeit von 73 %), hatte aber etwas mehr Mühe mit Fragen des Englischen Sprach- und Literaturunterrichts (nur 51 % Genauigkeit). Die Forscher fanden heraus, dass, wenn sie den Roboter etwas paranoider machten – indem sie ihm sagten, alles zu markieren, was vielleicht schlecht sein könnte, anstatt darauf zu warten, dass es definitiv schlecht ist –, er 90 % der schlechten Fragen erfassen konnte, obwohl er auch versehentlich einige gute Fragen markierte.

Hier ist der wichtigste Teil: Der Roboter war gut darin, Fragen zu erkennen, die zu schwer waren, eine verwirrende Formulierung hatten oder nicht zum Lehrplan passten. Er war jedoch schlecht darin, Fragen zu erkennen, die voreingenommen, unfair oder sensibel gegenüber bestimmten Gruppen waren. Die Arbeit legt nahe, dass Computer zwar sehr gut darin werden können, die „Mechanik“ einer Testfrage zu prüfen, sie aber immer noch menschliche Lehrer brauchen, um das „Herz“ und die Fairness der Fragen zu prüfen. Die Zukunft besteht also nicht darin, Menschen zu ersetzen, sondern ihnen ein mächtiges Werkzeug zu geben, um den offensichtlichen Müll herauszufiltern, damit sie sich auf die schwierigen, wichtigen Dinge konzentrieren können.

Die Geschichte des „Schlechte-Fragen-Detektors“

Das Problem: Der Berg an Hausaufgaben
Das Erstellen eines standardisierten Tests ist wie der Bau einer riesigen Lego-Burg. Sie benötigen tausende einzelne Steine (Fragen), um sie stabil zu machen. Aber nicht jeder Stein ist gut. Einige sind rissig, manche haben die falsche Farbe und manche passen einfach nicht. Traditionell müssen Experten jeden einzelnen Stein aufheben, inspizieren und manchmal sogar mit einer Gruppe von Kindern testen, ob er funktioniert. Das dauert ewig und kostet ein Vermögen. Mit dem Aufkommen von KI, die Fragen automatisch generieren kann, wird der Berg an Steinen jeden Tag größer. Wir brauchen einen Weg, um die guten Steine schnell von den schlechten zu sortieren, ohne jeden einzelnen von Hand zu prüfen.

Das Experiment: Der Zwei-Gehirne-Ansatz
Die Forscher entschieden sich, ein Computergehirn (speziell ein Modell namens DeBERTaV3-large) darauf zu trainieren, diese Sortierung vorzunehmen. Sie hatten einen riesigen Datensatz von 52.759 Fragen. Etwa 34 % davon wurden „abgelehnt“ (dauerhaft entfernt, weil sie schlecht waren), der Rest wurde „akzeptiert“.

Sie probierten drei verschiedene Wege aus, um den Computer zu lehren:

1. Der Roh-Leser: Sie fütterten den Computer nur mit dem Text der Frage.
2. Der Kritiker: Sie baten eine andere KI (Qwen3), zuerst eine zweisätzige Rezension der Frage zu schreiben, und fütterten dann diese Rezension in den Computer ein.
3. Das Fusionsmodell: Sie kombinierten beides! Sie fütterten den Computer mit der ursprünglichen Frage und der KI-Rezension.

Die Ergebnisse: Ein smarter, aber fehlerhafter Assistent
Das „Fusionsmodell“ war der klare Gewinner. Es erreichte eine Genauigkeit von 0,75 (das heißt, es lag in 75 % der Fälle richtig) und einen F1-Score von 0,64.

• Mathe vs. Englisch: Das Modell war ein Mathe-Genie, mit einem F1-Score von 0,73 für Mathematikfragen. Aber im Englischen Sprach- und Literaturunterricht (ELA) stolperte es mit einem F1-Score von nur 0,51. Die Autoren vermuten, dass dies daran liegen könnte, dass Englischfragen oft auf langen Lesetexten basieren, die die Forscher jedoch ausschließen mussten, da sie zu lang waren.
• Die „paranoide“ Einstellung: Die Forscher bemerkten, dass, wenn sie den „Alarm-Schwellenwert“ von 0,5 auf 0,25 senkten, das Modell viel besser darin wurde, schlechte Fragen zu erfassen. Es fing 90 % der abgelehnten Artikel ab (Sensitivität von 0,90 für Mathe und 0,88 für ELA). Der Nachteil? Es begann, zu viele gute Fragen als schlecht zu markieren (die Spezifität sank). Die Autoren schlagen vor, dass diese „paranoide“ Einstellung perfekt für die automatisierte Item-Generierung sein könnte, bei der es günstig ist, eine Frage zu erstellen, aber teuer, sie zu überprüfen. Wenn man 90 % der schlechten Fragen frühzeitig erwischt, spart man viel Zeit.

Was das Modell übersehen hat: Die menschliche Note
Trotz seines Erfolges hatte das Modell eine Schwachstelle. Es war sehr gut darin, Fragen zu erkennen, die zu schwierig waren oder „psychometrische“ Probleme (statistische Probleme) aufwiesen. Es hatte jedoch große Schwierigkeiten, Fragen zu erkennen, die mit Bias, Sensibilität, Fairness oder Barrierefreiheit zusammenhingen. Bei Englischfragen erkannte das Modell nur 27 % dieser Probleme. Die Autoren erklären, dass dies tiefgreifende menschliche Probleme sind. Ein Computer kann sehen, ob ein Wort schwer ist, aber er erkennt vielleicht nicht, dass eine bestimmte Geschichte für eine bestimmte Kultur oder Gruppe beleidigend sein könnte. Dies deutet daraufst hin, dass während KI die schwere Arbeit des Filterns übernehmen kann, menschliche Experten immer noch absolut notwendig sind, um die Fairness zu prüfen.

Das Fazit
Diese Arbeit legt nahe, dass wir ein nahezu umfassendes Werkzeug zur automatisierten Bewertung von Testfragen bauen können. Indem wir den Rohtext einer Frage mit einer KI-generierten Kritik kombinieren, können wir eine viel bessere Vorhersage darüber treffen, ob eine Frage bestehen oder scheitern wird. Es ist kein Zauberstab, der alles löst – besonders wenn es um Fairness und Voreingenommenheit geht – aber es ist ein mächtiges neues Werkzeug, das Pädagogen und Testunternehmen eine enorme Menge an Zeit und Geld sparen kann. Die Zukunft des Testens könnte darin bestehen, dass ein Roboter die erste Sortierung übernimmt und die menschlichen Experten sich auf die Fragen konzentrieren, die wirklich ein menschliches Herz zur Beurteilung benötigen.