💬 NLP

KASER: Knowledge-Aligned Student Error Simulator for Open-Ended Coding Tasks

Dieser Beitrag stellt KASER vor, einen neuartigen, auf Reinforcement Learning basierenden Ansatz, der die Generierung von Fehlern mit dem Wissen der Lernenden abstimmt, um vielfältige und präzise Programmierfehler von Studierenden effektiv zu simulieren, und der sowohl bei der Fehlervorhersage als auch bei der Codevielfalt auf realen Datensätzen bestehende Basismodelle übertrifft.

Ursprüngliche Autoren: Zhangqi Duan, Nigel Fernandez, Andrew Lan

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhangqi Duan, Nigel Fernandez, Andrew Lan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die versucht, einen Stapel Hausaufgaben zu korrigieren. Sie wissen, dass jeder Schüler Fehler macht, doch diese Fehler sind nicht zufällig. Ein Schüler, der nicht versteht, wie man „if"-Anweisungen verwendet, macht andere Fehler als ein Schüler, der einfach vergessen hat, am Ende einer Zeile ein Semikolon zu setzen.

Lange Zeit waren Computer (speziell Large Language Models oder LLMs) hervorragend darin, perfekten Code zu schreiben, wie ein genialer Tutor. Doch sie sind schlecht darin, sich als ein kämpfender Schüler zu verhalten. Wenn man sie auffordert, „wie ein verwirrter Schüler zu handeln", schreiben diese Computer meist wieder perfekten Code oder begehen denselben langweiligen Fehler immer wieder. Sie leiden unter dem, was die Autoren als „Mode Collapse" bezeichnen – stellen Sie sich einen Komiker vor, der nur einen Witz erzählt, weil er glaubt, dies sei der einzige Weg, lustig zu sein.

Die Arbeit stellt KASER (Knowledge-Aligned Student Error Simulator) vor, eine neue Methode, die darauf ausgelegt ist, dieses Problem zu beheben. Betrachten Sie KASER als einen Methoden-Schauspieler für Computercode. Anstatt nur zu raten, was ein Schüler schreiben könnte, studiert KASER zuerst den „Zeugnisbericht" des Schülers.

So funktioniert es, aufgeteilt in einfache Schritte:

1. Der „Zeugnisbericht" (Knowledge Estimator)

Bevor der Computer Code schreibt, betrachtet er die Historie des Schülers. Er berechnet einen „Meisterungs-Score" für verschiedene Konzepte, ähnlich einem Zeugnis.

Analogie: Stellen Sie sich einen Trainer vor, der die Statistiken eines Spielers betrachtet. Wenn der Spieler schlecht im „Passen", aber gut im „Laufen" ist, weiß der Trainer genau, welche Art von Fehlern er während eines Spiels erwarten kann. KASER macht dies für Programmierkonzepte (wie Logik oder Mathematik).

2. Das „Methodische Schauspiel" (Der Simulator)

Sobald KASER die Schwachstellen des Schülers kennt, verwendet es eine spezielle Trainingstechnik namens Reinforcement Learning (denken Sie daran wie das Trainieren eines Hundes mit Leckerlis). Es versucht, Code zu generieren, der so aussieht, als käme er von diesem spezifischen Schüler.

Um sicherzustellen, dass der Computer tatsächlich eine gute Arbeit leistet, gaben die Autoren ihm ein dreiteiliges Belohnungssystem (ein „hybrider Belohnung"):

Belohnung 1: Der Doppelgänger (Ähnlichkeit): Der Code sollte dem Code des echten Schülers in gewisser Weise ähneln (gleicher Stil, gleiche Struktur).
Belohnung 2: Die Fehler-Übereinstimmung (Error Matching): Dies ist der wichtigste Teil. Wenn der echte Schüler vergessen hat, eine Klammer zu schließen, muss der Simulator dies ebenfalls vergessen. Wenn der echte Schüler die Logik falsch verstanden hat, muss der Simulator die Logik falsch verstehen. Es reicht nicht aus, einfach schlechten Code zu schreiben; er muss die richtige Art von schlechtem Code für diesen spezifischen Schüler schreiben.
Belohnung 3: Das Vielfaltspaket (Diversity): Um zu verhindern, dass der Computer gelangweilt wird und denselben Fehler 100-mal schreibt, belohnt das System ihn dafür, verschiedene Wege zu finden, denselben Fehler zu machen. Dies stellt sicher, dass die Simulation sich wie ein echtes Klassenzimmer mit vielen verschiedenen Schülern anfühlt und nicht wie ein Roboter, der eine Schleife wiederholt.

3. Die Ergebnisse

Die Autoren testeten KASER an echten Daten aus Tausenden tatsächlicher Code-Einreichungen von Schülern.

Das Urteil: KASER war bei der Vorhersage, welche Fehler ein bestimmter Schüler machen würde, deutlich besser als frühere Methoden.
Die „Mode Collapse"-Lösung: Im Gegensatz zu anderen Modellen, die weiterhin perfekten Code oder exakt denselben Fehler generierten, produzierte KASER eine breite Vielfalt an realistisch fehlerhaftem Code, der dem Wissensniveau des Schülers entsprach.

Was die Arbeit nicht behauptet

Es ist wichtig, bei dem zu bleiben, was die Arbeit tatsächlich sagt:

Sie ist kein Ersatz für Lehrkräfte. Die Arbeit schlägt vor, dass dieses Werkzeug Lehrkräften hilft, Schülerfehler besser zu verstehen, behauptet aber nicht, menschlichen Unterricht zu ersetzen.
Sie behebt die Fehler noch nicht. Die Arbeit konzentriert sich auf das Vorhersagen und Simulieren der Fehler, nicht auf das automatische Beheben oder das Unterrichten des Schülers, wie man sie behebt (obwohl die Autoren dies als zukünftige Möglichkeit erwähnen).
Sie ist nicht perfekt in der Syntax. Die Autoren geben zu, dass KASER zwar hervorragend darin ist, logische Fehler zu simulieren (wie falsche Mathematik oder falsche Schritte), aber immer noch Schwierigkeiten hat, grundlegende „Syntax"-Fehler zu simulieren (wie fehlende Kommas oder Tippfehler), da das zugrunde liegende Computerhirn darauf trainiert ist, perfekten Code zu schreiben und es schwer findet, zu „vergessen", wie man perfekt ist.

Zusammenfassend: KASER ist ein Werkzeug, das einem Computer beibringt, sich wie ein spezifischer Schüler zu „verhalten", indem es seinen Zeugnisbericht studiert. Es verwendet ein spezielles Belohnungssystem, um sicherzustellen, dass der Computer die richtige Art von Fehlern macht, und hilft Pädagogen so genau zu erkennen, wo ein Schüler wahrscheinlich straucheln wird, noch bevor er seine Hausaufgaben einreicht.

Technische Zusammenfassung: KASER (Knowledge-Aligned Student Error Simulator)

Problemstellung

Offene Programmieraufgaben sind im Informatikunterricht allgegenwärtig und liefern reichhaltige Daten über das Wissen von Studierenden. Das Training von Large Language Models (LLMs), um Antworten von Studierenden zu simulieren – insbesondere um vorherzusagen, welche Fehler Studierende machen werden – stellt jedoch erhebliche Herausforderungen dar. Bestehende Ansätze leiden häufig unter Mode Collapse, wobei Modelle übermäßig uniforme oder korrekte Codezeilen generieren und die hohe Vielfalt an Syntax, Stil und Lösungsansätzen, die in echten Einreichungen von Studierenden zu finden ist, nicht erfassen. Darüber hinaus fehlt vielen bestehenden Methoden ein expliziter Bezug zum Wissen der Studierenden, was sie für die Diagnose spezifischer Misskonzepte pädagogisch weniger nützlich macht. Aktuelle State-of-the-Art-Methoden verlassen sich entweder auf Supervised Fine-Tuning (SFT), was tendenziell korrekten Code generiert, oder nutzen In-Context-Learning und persona-basiertes Prompting, die Schwierigkeiten haben, Fehlermuster auf einzelne Studierende zu verallgemeinern.

Methodik: KASER

Die Autoren schlagen KASER (Knowledge-Aligned Student Error Simulator) vor, ein Framework, das entwickelt wurde, um simulierte Studierendenfehler mit ihren zugrunde liegenden Wissensprofilen in Einklang zu bringen. Die Methodik besteht aus drei Hauptkomponenten:

1. Student Knowledge Estimator (KE)

KASER setzt zunächst ein Knowledge-Tracing (KT)-Modell ein, um die Beherrschung eines Satzes von Wissenskomponenten (Knowledge Components, KCs) durch einen Studierenden zu schätzen.

Eingabe: Eine Historie der vorherigen Code-Einreichungen des Studierenden.
Prozess: Das Modell komprimiert den Wissenszustand des Studierenden in einen Beherrschungsvektor $m_t \in [0, 1]^k$ , wobei jede Dimension das Beherrschungsniveau einer spezifischen KC darstellt.
Ausgabe: Ein interpretierbares Wissensprofil, das zur Steuerung der Code-Generierung verwendet wird.

2. Student Code Predictor

Ein Large Language Model (speziell Qwen2.5-Coder 7B Instruct) wird trainiert, um die nächste Code-Einreichung ( $c_{t+1}$ ) basierend auf der Aufgabenstellung ( $p$ ) und dem Beherrschungsvektor des Studierenden ( $m_t$ ) vorherzusagen.

Prompting: Der Prompt enthält den Aufgabentext und die spezifischen Beherrschungsniveaus für die KCs, die mit dieser Aufgabe verbunden sind.
Initiales Training: Das Modell durchläuft ein Supervised Fine-Tuning (SFT), um die Basisaufgabe der Code-Generierung konditioniert auf Wissen zu erlernen.

3. Reinforcement Learning mit hybrider Belohnung (GRPO)

Um Mode Collapse zu überwinden und Fehler mit dem Wissen in Einklang zu bringen, nutzt KASER Group Relative Policy Optimization (GRPO). Anstelle von Standard-SFT wird das Modell zusätzlich mit einer hybriden Belohnungsfunktion $R$ trainiert, die aus drei unterschiedlichen Komponenten besteht:

Code Similarity Reward ( $R_{Sim}$ ): Misst die syntaktische und semantische Ähnlichkeit zwischen dem generierten Code und dem Ground-Truth-Code der Studierenden mittels CodeBLEU.
Error Match Reward ( $R_{Error}$ ): Ermutigt das Modell explizit, Fehler vorherzusagen, die mit denen im Ground-Truth-Code übereinstimmen. Dies wird unter Verwendung der Intersection over Union (IoU) der Fehlermengen (Syntax-, Laufzeit- und logische Fehler) berechnet, die von einem LLM-as-a-judge identifiziert wurden. Diese Komponente priorisiert die Übereinstimmung des Fehlertyps gegenüber einer bloßen oberflächlichen Ähnlichkeit.
Code Diversity Reward ( $R_{Div}$ ): Eine gruppenweite Belohnung, die das Modell bestraft, wenn generierte Codes innerhalb eines Batches zu ähnlich zueinander sind. Dies wird als $1 - \max(\text{CodeBLEU})$ gegenüber anderen Stichproben in der Gruppe berechnet, verhindert Mode Collapse und fördert diverse Lösungsansätze.

Fehler-Annotation Pipeline

Um die Fähigkeit zur Fehlerabstimmung zu trainieren und zu evaluieren, entwickelten die Autoren eine automatisierte Fehler-Annotation-Pipeline:

Generierung: Ein LLM (o4-mini) generiert Fehlerannotationen für Studentencode, die Syntax-, Laufzeit- und logische Fehler abdecken.
Clustering: Fehlerbeschreibungen werden mittels Sentence-BERT-Embeddings und Hierarchical Agglomerative Clustering geclustert, um ähnliche Fehler zu gruppieren.
Zusammenfassung: Für jedes Cluster wird eine repräsentative, generalisierte Fehlerbeschriftung generiert.
Eine menschliche Evaluation bestätigte eine erhebliche Übereinstimmung (F1 $\approx$ 0,75–0,92) zwischen dem LLM-Richter und menschlichen Annotatoren.

Hauptbeiträge

Wissensausgerichtete Simulation: Die Entwicklung einer GRPO-basierten Methode, die vorhergesagte Studierendenfehler explizit mit Eingabe-Wissensprofilen von Studierenden in Einklang bringt und über die Code-Vorhersage auf oberflächlicher Ebene hinausgeht.
Hybrides Reward-Design: Die Einführung einer dreiteiligen Belohnungsfunktion, die Code-Ähnlichkeit, Fehlerüberlappung (IoU) und Generierungsdiversität ausbalanciert, um Mode Collapse zu verhindern.
Umfassende Evaluation: Ausführliche quantitative Evaluation auf zwei Ebenen:
- Pro Studierenden-Aufgaben-Paar: Bewertung der Vorhersagegenauigkeit und Fehlerabstimmung für spezifische Studierendeninstanzen.
- Pro Aufgabe: Bewertung der Fähigkeit des Modells, eine breite Palette von Fehlern abzudecken und diverse Code-Lösungen über eine Population hinweg zu generieren.

Ergebnisse

Experimente wurden auf zwei realen Datensätzen durchgeführt: CodeWorkout (Java) und FalconCode (Python).

Auf Ebene des Studierenden-Aufgaben-Paars: KASER übertraf alle Baselines (einschließlich PersonaPrompt, In-Context Learning, ParaStudent und Student SFT) bei allen Metriken. Bemerkenswert ist eine statistisch signifikante Verbesserung bei Error Match (IoU) und Code Similarity (CodeBLEU). Beispielsweise erreichte KASER auf CodeWorkout einen IoU@1 von 0,157 im Vergleich zu 0,115 für die stärkste Baseline (Student SFT).
Auf Ebene der Aufgabe: KASER zeigte eine überlegene Error Coverage und Code Diversity. Es sagte erfolgreich eine breitere Palette einzigartiger Fehler voraus und generierte diversere Code-Lösungen im Vergleich zu Baselines, die häufig zu korrekten Lösungen oder repetitiven Fehlermustern konvergierten.
Qualitative Analyse: Fallstudien zeigten, dass KASER spezifische Fehlertypen (z. B. falsche Vergleichsoperatoren, fehlende return-Anweisungen) simulieren konnte, die niedrigen Beherrschungsniveaus in bestimmten KCs entsprachen, wohingegen Baselines wie Student SFT dazu neigten, unabhängig vom simulierten Wissensprofil korrekten Code zu generieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass KASER einen bedeutenden Schritt vorwärts im Bereich der pädagogischen KI darstellt, indem es die Simulation von Studierendenfehlern ermöglicht, die interpretierbar und mit spezifischen Wissensdefiziten in Einklang stehen.

Pädagogischer Nutzen: Durch die Ausrichtung von Fehlern auf Wissenskomponenten kann das System Dozierenden helfen, Misskonzepte von Studierenden genauer zu diagnostizieren und personalisiertes Feedback zu geben.
Überwindung von Mode Collapse: Der hybride Reward-Ansatz mildert effektiv die Tendenz von LLMs, nur korrekten oder uniformen Code zu generieren, eine kritische Einschränkung bei der Simulation des „Kampfes", der dem Lernen inhärent ist.
Limitationen: Die Autoren vermerken bescheiden, dass das Modell, obwohl es bei logischen und Laufzeitfehlern glänzt, immer noch Schwierigkeiten hat, bestimmte Syntaxfehler (z. B. unausgeglichene Klammern) zu generieren, wahrscheinlich aufgrund des Pre-Training-Bias von LLMs hin zu syntaktisch gültigem Code. Sie erkennen zudem an, dass ihre Fehlerannotation auf LLMs ohne Zugriff auf Testfälle beruht, was die Granularität der Fehlerkategorisierung einschränken kann.

Zusammenfassend zeigt KASER, dass die Integration expliziten Knowledge Tracings mit Reinforcement Learning und Diversitäts-fördernden Belohnungen es LLMs ermöglicht, die nuancierten und diversen Fehlermuster menschlicher Studierenden bei offenen Programmieraufgaben besser zu simulieren.