💬 NLP

Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

Dieser Beitrag stellt KCGen-KT vor, eine automatisierte, auf LLMs basierende Pipeline, die für offene Programmieraufgaben Wissenskomponenten generiert und annotiert, und zeigt durch eine umfassende Evaluation, dass diese von KI generierten Komponenten traditionelle, von Menschen verfasste Komponenten bei der Vorhersage von Schülerleistungen und der Modellierung von Lernkurven übertreffen.

Ursprüngliche Autoren: Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die herausfinden muss, womit genau ein Schüler in einem Programmierkurs Schwierigkeiten hat. In früheren Zeiten müssten Sie manuell eine Liste spezifischer Fähigkeiten aufschreiben (wie „die Verwendung einer Schleife beherrschen" oder „das Verständnis des Addierens von Zahlen") und dann jedes einzelne Hausaufgabenproblem durchgehen, um zu markieren, welche Fähigkeiten es prüfte. Das ist vergleichbar mit einem Bibliothekar, der für jedes Buch in einer riesigen Bibliothek manuell einen Kartenkatalog erstellt; es dauert ewig, ist anfällig für menschliche Fehler und unglaublich langweilig.

Dieser Artikel stellt eine neue, automatisierte Methode vor, dies mit Künstlicher Intelligenz (speziell Large Language Models oder LLMs) zu tun, jedoch mit einem Twist: Sie funktioniert für offene Programmieraufgaben, bei denen Schüler ihren eigenen Code von Grund auf schreiben, anstatt nur Antworten aus einer Multiple-Choice-Liste auszuwählen.

Hier ist eine Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Das „offene" Chaos

Bei Multiple-Choice-Fragen gibt es nur eine richtige Antwort, sodass es einfach ist zu erraten, welche Fähigkeit geprüft wurde. Aber beim Programmieren können Schüler dasselbe Problem auf zehn verschiedene Arten lösen. Ein Schüler könnte eine „for-Schleife" verwenden, während ein anderer „reguläre Ausdrücke" nutzt. Beide erhalten die richtige Antwort, aber sie haben unterschiedliche Fähigkeiten eingesetzt.

Die Analogie: Stellen Sie sich vor, Sie bitten Menschen, ein Vogelhaus zu bauen. Wenn Sie ihnen einen Multiple-Choice-Test geben, wissen Sie genau, was sie gelernt haben. Aber wenn Sie sie bitten, es zu bauen, verwendet eine Person vielleicht einen Hammer und Nägel, während eine andere Leim und Holz nutzt. Herauszufinden, welche Fähigkeiten jede Person genau verwendet hat, indem man sich nur das fertige Vogelhaus ansieht, ist sehr schwierig.

2. Die Lösung: Der KI-Fähigkeitsdetektiv

Die Autoren bauten eine dreistufige automatisierte Pipeline, die als „Fähigkeitsdetektiv" fungiert:

Schritt 1: Die Untersuchung (Generierung): Sie füttern die KI mit einer Programmieraufgabe und einer Reihe verschiedener Schülerlösungen (sowohl korrekte als auch falsche). Die KI agiert wie ein Detektiv, liest den Code und sagt: „Aha, um dies zu lösen, musste man wissen, wie man eine 'If-Anweisung' verwendet und wie man 'Mathematik mit Absolutwerten' durchführt." Sie erstellt eine Liste dieser Fähigkeiten (genannt Knowledge Components oder KCs).
Schritt 2: Der Sortierhut (Clustering): Die KI könnte 100 leicht unterschiedliche Namen für dieselbe Fähigkeit generieren (z. B. „If-Else", „Bedingte Logik", „Entscheidungsfindung"). Das System gruppiert diese ähnlichen Ideen zusammen, wie das Sortieren eines Haufens gemischter Socken in Paare.
Schritt 3: Der Etikettendrucker (Zusammenfassung): Schließlich betrachtet die KI jede Gruppe ähnlicher Fähigkeiten und gibt ihnen einen klaren, für Menschen lesbaren Namen (wie „Bedingte Logik"). Anschließend markiert sie jedes Problem mit diesen neuen, sauberen Etiketten.

3. Das Ergebnis: Ein intelligenterer Tutor (KCGen-KT)

Sobald die KI diese Fähigkeitslabels hat, bauten sie ein neues „Knowledge Tracing"-System (eine Methode, um das Lernen von Schülern über die Zeit zu verfolgen) namens KCGen-KT.

Wie es funktioniert: Anstatt nur zu raten, ob ein Schüler die nächste Frage richtig oder falsch beantworten wird, betrachtet dieses System die Historie des Schülers mit spezifischen Fähigkeiten. Es fragt: „Hat dieser Schüler Schwierigkeiten mit 'Schleifen', meistert aber 'Variablen'?"
Die Magie: Das System übersetzt das Fähigkeitsniveau des Schülers in einen „weichen Token" (ein digitales Signal), das die KI lesen kann. Dies ermöglicht es der KI, nicht nur vorherzusagen, ob der Schüler scheitern wird, sondern auch, wie ihr nächster Code aussehen wird.

4. Der Beweis: Hat es funktioniert?

Die Forscher testeten dies an zwei realen Datensätzen, die Tausende von Schüler-Programmierungseinreichungen enthielten (einen in Java, einen in Python).

Besser als Menschen: Überraschenderweise halfen die KI-generierten Fähigkeitslabels tatsächlich dabei, die Schülerleistung besser vorherzusagen als die von menschlichen Experten verfassten Labels.
Besser als alte KI: Das neue System schlug frühere State-of-the-Art-KI-Modelle, die diese spezifischen Fähigkeitslabels nicht verwendeten.
Der „Lernkurven"-Check: Sie überprüften, ob das System dem „Gesetz der Übung" folgte (der Idee, dass Menschen mit mehr Übung besser werden). Die KI-generierten Fähigkeiten zeigten ein klares Muster: Je mehr Schüler eine bestimmte Fähigkeit übten, desto niedriger wurde ihre Fehlerrate. Dies bewies, dass die KI echte, bedeutungsvolle Fähigkeiten identifizierte.
Menschliche Zustimmung: Als sie die Arbeit der KI echten Informatiklehrern zeigten, stimmten diese zu, dass die Fähigkeitsbeschreibungen der KI klar, verständlich und genau waren.

Zusammenfassung

Kurz gesagt sagt dieser Artikel: „Wir haben einer KI beigebracht, automatisch herauszufinden, welche Fähigkeiten Schüler genau in ihren Programmier-Hausaufgaben verwenden. Wir haben diese KI-generierten Fähigkeitslabels dann verwendet, um ein intelligenteres System zu bauen, das vorhersagt, wie Schüler in der Zukunft abschneiden werden. Es funktioniert besser als menschliche Experten und besser als frühere KI-Methoden, und es hilft uns, das Lernen von Schülern auf eine Weise zu verstehen, die klar und interpretierbar ist."

Was sie NICHT behauptet haben:

Sie behaupteten nicht, dass dies Lehrer ersetzt; sie stellen ausdrücklich fest, dass es dazu dient, sie zu unterstützen.
Sie haben dies noch nicht an Mathematik- oder Naturwissenschaftsaufgaben getestet (nur beim Programmieren).
Sie behaupteten nicht, dass es perfekt ist; sie stellten fest, dass die KI manchmal Fähigkeiten verpasst, die über mehrere Aufgaben hinweg geteilt werden, da sie diese einzeln analysiert.

Technischer Zusammenfassung: Automatisierte Generierung von Wissenskomponenten und interpretierbare Wissensverfolgung bei Programmieraufgaben

Problemstellung
Im Bereich des Schülermodells sind Wissenskomponenten (Knowledge Components, KCs) entscheidend für die Bewertung feinabgestufter Kompetenzbeherrschung, die Bereitstellung personalisierten Feedbacks und den Betrieb adaptiver Lernsysteme. Traditionell werden KCs von menschlichen Fachexperten für Aufgaben erstellt und gekennzeichnet, ein Prozess, der arbeitsintensiv, anfällig für Verzerrungen und schwer skalierbar ist. Während frühere Arbeiten die automatische KC-Generierung für Multiple-Choice-Fragen untersucht haben, bleiben offene Aufgaben – insbesondere im Bereich der Programmierung – unteruntersucht. Offene Programmieraufgaben stellen einzigartige Herausforderungen dar: Schülerantworten weisen eine erhebliche Vielfalt auf, Fehler können auf mannigfache Weise auftreten, und es können mehrere gültige Lösungsansätze existieren, die jeweils unterschiedliche Mengen von KCs abdecken. Bestehende automatische Methoden erfassen diese Komplexität oft nicht oder verlassen sich auf starre syntaktische Strukturen, die für diverse Schülerlösungen ungeeignet sind.

Methodik
Die Autoren schlagen ein zweigeteiltes Framework vor: eine automatische Pipeline zur Generierung und Kennzeichnung von KCs mittels Large Language Models (LLMs) sowie eine neuartige Methode zur Wissensverfolgung (Knowledge Tracing, KT), KCGen-KT, die diese generierten KCs nutzt.

Automatische KC-Generierungs-Pipeline:
- Initiale Generierung: Für jede Programmieraufgabe wählt das System eine diverse Menge repräsentativer korrekter Schülercode-Einreichungen aus (gruppiert via CodeBERT-Embeddings, um Vielfalt sicherzustellen). Es promptet GPT-4o mit Few-Shot-Beispielen und Chain-of-Thought-Reasoning, um feinabgestufte KCs zu identifizieren, die zur Lösung der Aufgabe erforderlich sind, und wandelt bestehende Themen-Tags in natürliche Sprachbeschreibungen um.
- Clustering und Abstraktionskontrolle: Um die Granularität zu steuern, werden die textuellen Beschreibungen der generierten KCs mittels Sentence-BERT eingebettet. Hierarchisches Agglomeratives Clustering (HAC) wird angewendet, um semantisch ähnliche KCs zu mergen. Durch Anpassung der Anzahl der Cluster steuert das System das Abstraktionsniveau und bewegt sich von spezifischen Funktionsfähigkeiten zu breiteren konzeptionellen Gruppierungen.
- Kennzeichnung: GPT-4o wird promptet, jeden Cluster in ein einzelnes, informatives Label zusammenzufassen (entweder durch Auswahl eines bestehenden KCs oder Synthese einer neuen Beschreibung). Abschließend wird eine Q-Matrix konstruiert, indem jede Aufgabe ihren entsprechenden zusammengefassten KCs zugeordnet wird.
KCGen-KT (Wissensverfolgungs-Framework):
- Architektur: Das Modell verwendet Llama 3 (8 Milliarden Parameter) als Rückgrat für Multi-Task-Learning, wobei es sowohl die binäre Korrektheit der nächsten Schüler-Einreichung als auch den tatsächlichen Code Token-für-Token vorhersagt.
- Schülerzustandsmodellierung: Ein standardmäßiges LSTM aktualisiert den latenten Wissenszustand ( $h_t$ ) eines Schülers basierend auf dem Text vergangener Aufgaben, dem Code und der Korrektheit. Dieser Zustand wird in einen Beherrschungsvektor ( $m_t$ ) projiziert, der die Kompetenz auf jeder einzelnen KC darstellt.
- Soft-Token-Konvertierung: Um Beherrschungslevel in den Eingaberaum des LLM zu integrieren, konvertiert das Modell diskrete Beherrschungswerte in „Soft-Tokens". Ein Beherrschungslevel $m^j_t$ für KC $j$ wird in eine gewichtete Kombination der Embeddings für „wahr" und „falsch" transformiert: $s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + (1 - m^j_t) \cdot \text{emb}_{\text{false}}$ . Dies ermöglicht, dass Gradienten während des Trainings durch die Beherrschungsparameter fließen.
- Interpretierbarkeit: Das Modell verwendet ein kompensatorisches Modell, um individuelle KC-Beherrschungslevel zu einem Gesamtbeherrschungswert zu aggregieren, wodurch sichergestellt wird, dass ein höheres Wissen über spezifische KCs mit einer höheren Wahrscheinlichkeit einer korrekten Antwort korreliert.
- Trainingsziel: Das System minimiert eine kombinierte Verlustfunktion, die Code-Generierungsverlust (Cross-Entropy), Korrektheitsvorhersageverlust (binäre Cross-Entropy) und einen Regularisierungsverlust umfasst, um Monotonie zwischen KC-Beherrschung und Korrektheit durchzusetzen.

Hauptbeiträge

Erste automatische Pipeline für offene Programmieraufgaben: Die Arbeit stellt die erste LLM-basierte Pipeline vor, die KCs speziell für offene Programmieraufgaben generieren und kennzeichnen kann, wobei sie der Vielfalt und Komplexität von Schülercode-Einreichungen gerecht wird.
Interpretierbare KT mit Soft-Tokens: Die Autoren führen KCGen-KT ein, das die Schülerbeherrschung von textuellen KC-Beschreibungen explizit modelliert. Der neuartige Soft-Token-Konvertierungsmechanismus ermöglicht es dem LLM, kontinuierliche Beherrschungslevel als Eingaben zu nutzen und schließt die Lücke zwischen latenten Schülerzuständen und textueller Generierung.
Empirische Validierung: Das Framework wird an zwei realen Datensätzen (CodeWorkout und FalconCode) evaluiert, die Tausende von Schüler-Einreichungen enthalten.

Ergebnisse

Leistung: KCGen-KT übertrifft bestehende State-of-the-Art-KT-Methoden (einschließlich TIKTOC und Code-DKT) sowie Baselines mit menschlich verfassten KCs. Insbesondere die Version mit LLM-generierten KCs erzielt statistisch signifikante Verbesserungen in AUC, F1-Score, Genauigkeit und CodeBLEU (für Code-Generierung) über beide Datensätze hinweg.
Granularitätsanalyse: Experimente, die das Abstraktionsniveau der KCs variieren, zeigen, dass zu abstrakte KCs (hochlevelige Cluster) die Leistung verschlechtern, während mittlere bis niedrige Abstraktionslevel (feinere Granularität) die besten Ergebnisse liefern. Dies deutet darauf hin, dass ausreichende Details für eine genaue Schülermodellierung entscheidend sind.
Lernkurven: Die generierten KCs stimmen besser mit dem Potenzgesetz der Übung (abnehmende Fehlerraten mit zunehmender Übung) überein als menschlich verfasste KCs und erzielen einen höheren gewichteten $R^2$ (0,21 vs. 0,18) beim Anpassen an Lernkurvenmodelle.
Menschliche Evaluation: Dozenten bewerteten LLM-generierte KCs als hochgradig interpretierbar (98,6 % vs. 94,6 % für menschliche Baselines) und stellten eine hohe Präzision (93,2 %) bei den Aufgaben-KC-Zuordnungen fest (96 % der Fälle wiesen eine gleiche oder höhere Abdeckung als menschliche Baselines auf).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass hochwertige, automatisch generierte KCs und eine genaue Kennzeichnung entscheidend für die Verbesserung der nachgelagerten Schülermodellierungsleistung sind. Die Autoren zeigen, dass LLMs feinabgestufte Fähigkeiten in offenen Programmieraufgaben effektiv identifizieren können und dabei menschlich verfasste Tags oft in Bezug auf Vorhersagekraft und Ausrichtung auf kognitive Lernprinzipien übertreffen.

Der Umfang der Arbeit ist aufgrund von Datenverfügbarkeitsbeschränkungen (der Bedarf an großflächigen, longitudinalen Daten zu offenen Schülerantworten) bescheiden auf die Informatik-Ausbildung begrenzt. Die Autoren räumen ein, dass ihre Pipeline derzeit auf Kontextbeispielen beruht, und schlagen vor, dass zukünftige Arbeiten menschliche Eingriffe im Loop zur Verfeinerung, direkte Optimierung für die Anpassung von Lernkurven sowie die Anwendung auf andere Domänen wie Mathematik und Naturwissenschaften untersuchen sollten. Sie betonen, dass ihr Ansatz darauf abzielt, Lehrende durch Reduzierung manueller Arbeit zu unterstützen, nicht menschliches Urteil zu ersetzen, und empfehlen eine Expertenprüfung vor dem Einsatz in realen Bildungsumgebungen.