AiDER: Auditing and Document Evaluation via Rule Compilation and Small Language Models - An Education Case Study

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie er die Hausaufgaben eines Schülers bewertet. In der Welt der Künstlichen Intelligenz gibt es zwei Hauptwege, dies zu tun. Der erste Weg besteht darin, ein riesiges, superintelligentes „Gehirn“ (einen sogenannten Large Language Model) die Aufgabe lesen zu lassen und einfach die Note basierend auf seinem Bauchgefühl schätzen zu lassen. Das ist schnell, aber es ist eine „Black Box“; wenn es falsch liegt, haben Sie keine Ahnung warum, und Sie können die Arbeit nicht überprüfen. Der zweite Weg ist die Verwendung eines strengen Regelbuchs. Sie schreiben exakte Anweisungen wie: „Wenn der Schüler ‚Gravitation‘ erwähnt, gib 5 Punkte.“ Dies ist transparent und leicht überprüfbar, aber es ist schwierig, Regeln für alles zu schreiben, besonders wenn die Anweisungen in unordentlicher, menschlicher Sprache verfasst sind.

Dieses Paper bewegt sich genau an der Schnittstelle dieser beiden Welten. Es stellt die Frage: Können wir die Flexibilität einer intelligenten KI mit der Ehrlichkeit eines strengen Regelbuchs kombinieren? Die Forscher arbeiten im Bereich der „auditierbaren KI“, bei der es darum geht, sicherzustellen, dass KI-Entscheidungen erklärbar und überprüfbar sind, anstatt sie einfach als Magie zu akzeptieren. Sie sind besonders an der Verwendung von „Small Language Models“ (SLMs) interessiert – KI-Gehirnen, die kleiner und kostengünstiger sind und auf einem einzelnen Computer laufen können, ohne einen massiven Cloud-Server zu benötigen. Die große Frage lautet: Kann eine kleinere, einfachere KI klug genug sein, die vagen Anweisungen eines Menschen in ein striktes Regelbuch zu verwandeln, dem ein Computer perfekt folgen kann?

Die Autoren stellen ein neues System namens AiDER (Auditing and Document Evaluation via Rule Compilation and Small Language Models) vor. Betrachten Sie AiDER als einen cleveren Übersetzer und einen strengen Schiedsrichter, die zusammenarbeiten. Anstatt die KI die Note schätzen zu lassen, zwingt AiDER die KI dazu, zwei getrennte Aufgaben zu erledigen. Zuerst agiert die KI als Übersetzer: Sie nimmt eine natürliche Sprachanforderung (wie „Studierende müssen wissen, wie sie bewertet werden“) und versucht, diese in eine strikte, ausführbare Code-Regel zu kompilieren. Zweitens fungiert ein separates, deterministisches Computerprogramm als Schiedsrichter: Es betrachtet das Dokument, findet die spezifischen Belege, nach denen die Regel gefragt hat, und prüft, ob die Regel erfüllt ist. Die KI entscheidet nie über die Note; sie erstellt nur die Regeln und findet die Hinweise.

Um dies zu testen, verwendeten die Forscher vier verschiedene kleine KI-Modelle (mit Größen von 2 bis 4 Milliarden Parametern) und einen Satz von 200 realen Unterrichtsdokumenten, wie etwa Lehrpläne und Bewertungsraster. Sie probierten drei verschiedene Wege aus, um die KI die Regeln schreiben zu lassen:

1. Vom Menschen geschriebene Regeln: Der „Goldstandard“, bei dem ein Mensch den strengen Code geschrieben hat.
2. Direkte Kompilierung: Die KI versuchte, den Code in einem Rutsch zu schreiben.
3. Validierungsschleifen-Reparatur: Wenn die KI eine fehlerhafte Regel schrieb, sagte das System „Fehler!“ und ließ die KI bis zu fünf Mal versuchen, den Fehler zu beheben.

Die Ergebnisse waren eine Mischung aus „großen Neuigkeiten“ und „vorsichtigem Optimismus“. Die Studie ergab, dass die Modelle, selbst die kleinsten, überraschend gut darin waren, die richtigen Belege zu finden, um eine Entscheidung zu treffen, sofern die KI erfolgreich eine gültige Regel geschrieben hatte. Die KI hatte jedoch oft Schwierigkeiten, beim ersten Versuch die perfekte Regel zu schreiben. Hier glänzte die „Reparaturschleife“. Indem man der KI erlaubte, ihre eigenen Fehler zu korrigieren, verbesserte das System die Häufigkeit, mit der die Regeln korrekt funktionierten, erheblich.

Interessanterweise legt das Paper nahe, dass die KI nicht viel zusätzliche Hilfe benötigt, um die Beweise zu finden, sobald die strikte Regel (das „Gerüst“) steht. Tatsächlich machte es die Sache manchmal sogar schlechter, wenn zu viele zusätzliche Anweisungen von der KI hinzugefügt wurden, insbesondere bei den kleineren Modellen. Die Studie kommt zu dem Schluss, dass der wichtigste Teil des Prozesses darin besteht, die Regel richtig zu formulieren. Wenn die Regel klar ist, kann selbst eine kleine, einfache KI die schwere Arbeit leisten, den Beweis zu finden.

Letztendlich legt das Paper nahe, dass wir bei Aufgaben wie der Überprüfung von Lehrmaterialien die KI nicht einfach nur bitten sollten, ein Dokument zu „beurteilen“. Stattdessen sollten wir die KI nutzen, um menschliche Anforderungen in strikte, überprüfbare Regeln zu übersetzen, und dann einen Computer die Fakten verifizieren zu lassen. Dieser Ansatz macht den gesamten Prozess transparent: Wenn eine Entscheidung falsch ist, kann man sie zurückverfolgen, um zu sehen, ob die Regel schlecht geschrieben wurde oder ob die KI einen Beweis übersehen hat, anstatt ein mysteriöses „Black-Box“-Urteil zu beklagen. Obwohl die Studie auf einen spezifischen Kurs und einen kleinen Satz von Dokumenten beschränkt war, bietet sie eine vielversprechende Blaupause dafür, KI in der Bildung zuverlässiger, fairer und leichter verständlich zu machen.