🤖 AI

KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing

Dieser Artikel stellt KT4EQG vor, ein personalisiertes Framework zur Generierung von Bildungsfragen, das Knowledge Tracing integriert, um optimale Wissenskonzepte für einzelne Lernende auszuwählen, und ein LLM nutzt, um maßgeschneiderte Übungsaufgaben zu erstellen, wodurch die Lernverbesserung maximiert wird, wie an den Datensätzen XES3G5M und MOOCRadar demonstriert.

Ursprüngliche Autoren: Xinyi Gao, Qiucheng Wu, Lu Ding, Q. Vera Liao, Kaizhi Qian, Ying Xu, Shiyu Chang, Yang Zhang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyi Gao, Qiucheng Wu, Lu Ding, Q. Vera Liao, Kaizhi Qian, Ying Xu, Shiyu Chang, Yang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein persönlicher Tutor für einen Schüler namens Alex. Sie möchten Alex die perfekte Hausaufgabenfrage stellen, um ihm beim Lernen zu helfen.

Wenn Sie Alex eine Frage stellen, die zu einfach ist, langweilt er sich. Ist sie zu schwer, wird er frustriert. Wenn Sie ihm eine Frage zu einem Thema stellen, das er bereits perfekt beherrscht, verschwenden sie Zeit. Das Ziel dieses Papers ist es, ein Computersystem zu entwickeln, das wie ein überaus intelligenter Tutor agiert und automatisch genau die richtige Frage für jeden Schüler zum genau richtigen Zeitpunkt erstellt.

Hier ist, wie die Autoren, Xinyi Gao und ihr Team, dieses System namens KT4EQG mit einfachen Analogien entwickelt haben:

1. Das Problem: Die Falle des „Einheitsgrößen"-Ansatzes

Die meisten Computersysteme, die Fragen generieren, sind wie ein Getränkeautomat, der nur immer dieselben drei Snacks an alle verkauft. Sie lassen den Snack vielleicht edel aussehen (gute Grammatik) oder passen die Schwierigkeit leicht an, aber sie wissen nicht wirklich, was dem Schüler fehlt. Sie wissen nicht, ob der Schüler mit „Bruchrechnen" kämpft oder einfach nur „Multiplikation" üben muss.

2. Die Lösung: Zwei-Stufen-Tutoring

Die Autoren erkannten, dass man, um ein großartiger Tutor zu sein, zwei Dinge in dieser Reihenfolge tun muss:

Diagnose: Herausfinden, was der Schüler als Nächstes genau lernen muss.
Verschreibung: Eine spezifische Hausaufgabenfrage erstellen, die genau dieses Bedürfnis adressiert.

Sie kombinierten zwei bestehende Technologien, um dies zu tun: Knowledge Tracing (KT) und Large Language Models (LLMs).

Schritt A: Der „Gesundheits-Tracker" (Knowledge Tracing)

Stellen Sie sich Knowledge Tracing als einen hochentwickelten Gesundheits-Tracker für das Gehirn eines Schülers vor. Anstatt die Herzfrequenz zu verfolgen, verfolgt er „Wissenskonzepte" (wie „Brüche addieren" oder „Verben verstehen").

Funktionsweise: Während der Schüler Fragen beantwortet, aktualisiert der Tracker eine Karte dessen, was er weiß und was nicht.
Der magische Zug: Das System betrachtet diese Karte und fragt: „Wenn der Schüler dieses spezifische Konzept gerade jetzt übt, wie sehr wird dann sein gesamtes Wissen wachsen?"
Das Ergebnis: Es wählt das einzelne beste Konzept aus, an dem gearbeitet werden soll. Nehmen wir an, es entscheidet, dass der Schüler „das Finden der fehlenden Zahl in einer Gleichung" üben muss.

Schritt B: Der „kreative Schriftsteller" (Der Fragen-Generator)

Sobald das System weiß, was gelehrt werden soll, muss es eine Frage dazu schreiben. Hier kommt das Large Language Model (LLM) ins Spiel. Stellen Sie sich das LLM als einen kreativen Schriftsteller vor, der unendlich viele Geschichten und Matheprobleme erfinden kann.

Die Herausforderung: Wenn Sie einem Schriftsteller einfach sagen: „Schreibe ein Matheproblem", könnte er etwas über Äpfel schreiben, obwohl Sie eigentlich ein Problem über Fahrräder benötigten. Der Schriftsteller könnte das Thema falsch verstehen.
Die Lösung: Die Autoren trainierten den Schriftsteller mit einem speziellen „Lektor" (einem Verifier).
- Der Schriftsteller erstellt eine Frage basierend auf dem vom Gesundheits-Tracker gewählten Konzept.
- Der Lektor prüft: „Prüft diese Frage tatsächlich das Konzept der ‚fehlenden Zahlen', oder ist es nur ein zufälliges Matheproblem?"
- Wenn die Frage nicht zum Konzept passt, gibt der Lektor dem Schriftsteller einen „Daumen runter" (eine niedrige Bewertung), und der Schriftsteller versucht es erneut, bis er es richtig macht.

3. Der Trainingsprozess: Lernen durch Tun

Das System begann nicht einfach perfekt. Es durchlief zwei Phasen des Trainings, wie ein Schülerathlet:

Übungseinheiten (Supervised Fine-Tuning): Dem Schriftsteller wurden Tausende von Beispielen guter Fragen und ihrer korrekten Konzepte gezeigt, um die Grundlagen zu erlernen.
Das Feedback des Trainers (Reinforcement Learning): Der Schriftsteller begann, neue Fragen zu generieren. Der „Lektor" (Verifier) bewertete sie. Wenn der Schriftsteller eine Frage erstellte, die perfekt zum Konzept passte, erhielt er eine Belohnung. Wenn er vom Thema abwich, erhielt er eine Strafe. Im Laufe der Zeit lernte der Schriftsteller, Fragen zu generieren, die nicht nur kreativ waren, sondern auch perfekt zielgerichtet.

4. Die Ergebnisse: Funktioniert es?

Das Team testete dieses System an zwei großen Datensätzen mit Schülerdaten (wie eine riesige Bibliothek vergangener Hausaufgaben und Testergebnisse).

Der Wettbewerb: Sie verglichen ihr System mit anderen KI-Modellen, die einfach Fragen schreiben, ohne die spezifischen Bedürfnisse des Schülers zu prüfen, oder mit Modellen, die ein Thema zufällig auswählen.
Der Gewinner: KT4EQG produzierte konsistent Fragen, die den Schülern halfen, ihre Noten am meisten zu verbessern.
Der „Orakel"-Test: Sie testeten sogar, was passiert, wenn sie den anderen Systemen das perfekte Konzept zum Schreiben gaben (wie einem Schriftsteller eine spezifische Aufforderung zu geben). Selbst dann war der Schriftsteller von KT4EQG besser darin, sicherzustellen, dass die Frage tatsächlich dieser Aufforderung entsprach. Dies beweist, dass KT4EQG sowohl gut darin ist, das richtige Thema auszuwählen, als auch die richtige Frage zu schreiben.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie fertigen einen Maßanzug an.

Alte Methoden waren wie ein Schneider, der Stoff einfach nach einem generischen Größenplan (klein, mittel, groß) zuschneidet, ohne die Person zu vermessen.
KT4EQG ist wie ein Schneider, der zuerst einen 3D-Scanner verwendet, um genau zu sehen, wo die Schultern der Person eng sind und wo die Taille locker ist (Knowledge Tracing). Dann schneidet der Schneider den Stoff speziell für diese Maße zu (Fragengenerierung). Schließlich überprüft ein Qualitätsinspektor die Nähte, um sicherzustellen, dass der Anzug tatsächlich zu dem Körper passt, für den er angefertigt wurde (Alignment Verifier).

Das Paper kommt zu dem Schluss, dass wir durch die Kombination des „Scanners" (Knowledge Tracing) mit dem „Schneider" (dem KI-Schriftsteller) personalisierte Lernerfahrungen schaffen können, die weitaus effektiver sind als aktuelle Methoden.

Technische Zusammenfassung: KT4EQG

Problemstellung

Die Generierung von Bildungsfragen (Educational Question Generation, EQG) zielt darauf ab, maßgeschneiderte Übungsfragen zu synthetisieren, um das Lernen der Schüler zu verbessern. Obwohl bestehende EQG-Ansätze Fortschritte bei der Textqualität, dem Format und der Steuerung des Schwierigkeitsgrades erzielt haben, fehlt es ihnen weitgehend an einer feingranularen Personalisierung. Die meisten aktuellen Systeme modellieren den spezifischen Wissenszustand eines Schülers nicht effektiv, um zu bestimmen, welche Fragen den größten Lerneffekt bieten. Folglich können generierte Fragen zu trivial, zu schwierig sein oder sich auf Material konzentrieren, das der Schüler bereits beherrscht.

Die zentrale Herausforderung, die in diesem Papier adressiert wird, besteht darin, wie Wissensverfolgung (Knowledge Tracing, KT) – eine Methode, die den sich entwickelnden Wissenszustand eines Schülers basierend auf historischen Leistungen modelliert – in den EQG-Prozess integriert werden kann. Das Ziel ist es, über die Auswahl von Fragen aus einem festen Pool (wie in Empfehlungssystemen) hinauszugehen und neue, vielfältige Fragen zu generieren, die speziell auf den aktuellen Lernbedarf und die Wissenslücken eines Schülers zugeschnitten sind.

Methodik: KT4EQG-Rahmenwerk

Die Autoren schlagen KT4EQG vor, ein personalisiertes EQG-Rahmenwerk, das die Generierungsaufgabe in zwei distincte Optimierungsschritte zerlegt: die Auswahl des optimalen Wissenskonzepts (KC) und die Generierung einer Frage, die mit diesem Konzept übereinstimmt.

1. Aufgabenformulierung und Zielsetzung

Das Ziel ist es, eine Frage $x_{t^*}$ zu generieren, die den Gesamtkenntnisstand des Schülers nach der Übung maximiert. Die Autoren definieren den Lernfortschritt als die Summe der Beherrschungswahrscheinlichkeiten über alle Wissenskonzepte $C$ .
$\max_{x_{t^*}} \sum_{c \in C} p(K_c = 1 | H, X_{t^*} = x_{t^*}, A_{t^*} = 1)$
wobei $H$ die historischen Übungsdaten sind und $A_{t^*}=1$ davon ausgeht, dass der Schüler die neue Frage erfolgreich beantwortet (wobei Übungen als Lerngelegenheiten und nicht als einmalige Bewertungen behandelt werden).

2. Zwei-Schritt-Optimierung

Die Autoren zerlegen die Zielfunktion in zwei Terme: Bildungswert und Übereinstimmung.
$\max_{x_{t^*}, c_{t^*}} \left[ \underbrace{\sum_{c \in C} p(K_c = 1 | H, \psi(X_{t^*}) = c_{t^*}, A_{t^*} = 1)}_{\text{Bildungswert}} \cdot \underbrace{\mathbb{1}[\psi(x_{t^*}) = c_{t^*}]}_{\text{Übereinstimmung}} \right]$

Schritt 1: Maximierung des Bildungswerts (Konzeptauswahl)

Mechanismus: Das Rahmenwerk verwendet einen Wissensverfolger (KT2), um den „Bildungswert" des Übens jedes Kandidaten-KC zu schätzen. Dieser Wert repräsentiert die potenzielle Verbesserung des Gesamtkenntnisstands des Schülers, wenn er dieses spezifische Konzept üben würde.
Prozess: Eine erschöpfende Suche wird über alle Kandidaten-KCs durchgeführt. Das KT2-Modell, das auf einer Hidden-Markov-Baumstruktur basiert, berechnet die Posterior-Verteilung der Wissenszustände. Der KC, der die höchste Summe aktualisierter Beherrschungswahrscheinlichkeiten über alle Konzepte liefert, wird als Zielkonzept $c_{t^*}$ ausgewählt.

Schritt 2: Maximierung der Übereinstimmung (Fragengenerierung)

Sobald der optimale KC $c_{t^*}$ ausgewählt ist, wird ein Large Language Model (LLM)-Generator damit beauftragt, eine Frage $x_{t^*}$ zu produzieren, die dieses Konzept zuverlässig testet. Dies wird durch einen zweiphasigen Trainingsprozess erreicht:

Supervised Fine-Tuning (SFT): Ein Text-LLM (QWEN3-8B) wird auf einem Datensatz von Frage-Konzept-Paaren feinabgestimmt, um die grundlegende Abbildung von einem KC auf eine Frage zu erlernen.
Reinforcement Learning (RL) mit Übereinstimmungs-Belohnung: Das Modell wird weiter mit RL optimiert. Das Belohnungssignal wird durch einen Frage-Konzept-Verifizierer ( $g_\phi$ $g_{ϕ}$ ) bereitgestellt.
- Verifizierer-Training: Der Verifizierer wird unter Verwendung eines InfoNCE-artigen kontrastiven Ziels trainiert, um Fragen und Konzepte in einen gemeinsamen Einbettungsraum abzubilden, wobei sichergestellt wird, dass übereinstimmende Paare näher beieinander liegen als nicht-übereinstimmende Paare.
- Belohnungsberechnung: Die Übereinstimmungs-Belohnung $R_{align}$ wird basierend auf der Ähnlichkeit zwischen der generierten Frage und dem Ziel-KC im Einbettungsraum berechnet und für numerische Stabilität standardisiert.

Hauptbeiträge

Integration von KT und EQG: Das Papier schlägt das erste Rahmenwerk vor, das die Wissensverfolgung explizit in die Generierungsschleife von EQG integriert und über einfache Empfehlungen oder grobe Schwierigkeitsanpassungen hinausgeht.
Zerlegte Optimierung: Die Autoren führen eine neuartige Zerlegung des EQG-Ziels in „Bildungswert" (bestimmt durch das KT-Modell) und „Frage-Konzept-Übereinstimmung" (bestimmt durch einen erlernten Verifizierer) ein.
Trainingspipeline: Die Entwicklung einer zweistufigen Trainingspipeline (SFT + RL mit einem kontrastiven Übereinstimmungs-Verifizierer), um sicherzustellen, dass generierte Fragen nicht nur flüssig sind, sondern semantisch im ausgewählten Wissenskonzept verankert sind.
Adaptive Policy: Das Rahmenwerk erzeugt natürlich eine adaptive Policy, bei der sich die ausgewählten KCs basierend auf dem aktuellen Beherrschungslevel des Schülers verschieben (z. B. Auswahl einfacherer Konzepte für schwächere Schüler und anspruchsvollerer für fortgeschrittene Schüler).

Experimentelle Ergebnisse

Das Rahmenwerk wurde auf zwei Datensätzen evaluiert: XES3G5M (von Experten annotierte KC-Bäume) und MOOCRADAR (von LLMs konstruierte KC-Bäume).

Leistung: KT4EQG erzielte konsistent die höchsten Prüfungsergebnisse (durchschnittliche vorhergesagte Richtigkeit auf einem zurückgehaltenen Testdatensatz) über alle Wissensmodule in beiden Datensätze und übertraf Baselines, einschließlich Standard-LLMs (QWEN3-8B), spezialisierter Mathematik-Generatoren (ScaleQuest) und konzept-basierter Prompt-Synthesemethoden (PromptCoT-2.0).
Vergleich mit dem Orakel: Obwohl die Bereitstellung von Baselines mit „Orakel"-Konzeptauswahl (der beste mögliche KC, gewählt durch KT2) ihre Leistung signifikant verbesserte, übertraf KT4EQG sie dennoch. Dies zeigt, dass der übereinstimmungsgetrainierte Generator des Rahmenwerks Fragen höherer Qualität für das Zielkonzept produziert als Standard-Generatoren, selbst wenn die Konzeptauswahl perfekt ist.
Beantwortbarkeit: Die generierten Fragen behielten hohe Beantwortbarkeitsraten bei (vergleichbar mit dem Basis-LLM), was zeigt, dass die Optimierung für den Bildungswert die Lösbarkeit oder Qualität der Fragen nicht beeinträchtigte.
Ablationsstudien:
- Das Entfernen der RL-Übereinstimmungsphase führte zu niedrigeren Übereinstimmungswerten ( $R_{align}$ ), was die Notwendigkeit des Reinforcement-Learning-Schritts bestätigt.
- Die Analyse der Übungsrunden zeigte, dass Methoden mit effektiver Konzeptauswahl (wie KT4EQG) mit zunehmender Anzahl der Übungsrunden größere kumulative Lerngewinne aufwiesen, während Methoden mit zufälliger oder schlechter Konzeptauswahl abnehmende Grenzerträge zeigten.

Bedeutung und Behauptungen

Das Papier behauptet, dass KT4EQG das Potenzial der Integration von Wissensverfolgung mit Fragengenerierung zur Unterstützung der Personalisierung in Bildungssystemen demonstriert.

Pädagogischer Nutzen: Das System generiert Fragen, die sowohl konzeptuell ausgerichtet als auch förderlich für das Lernen der Schüler sind und die Lücke schließen, in der bestehende EQG-Systeme versagen, individuelle Wissenszustände zu modellieren.
Skalierbarkeit: Es wird gezeigt, dass das Rahmenwerk auch auf Datensätzen ohne von Menschen annotierte Baumstrukturen (unter Verwendung von von LLMs konstruierten Bäumen) effektiv funktioniert, was auf eine breite Anwendbarkeit hindeutet.
Bescheidener Umfang: Die Autoren positionieren diese Arbeit als einen Schritt hin zu feingranularer Personalisierung. Sie erkennen an, dass das Rahmenwerk zwar die Frageauswahl und -generierung verbessert, das ultimative Maß für den Erfolg jedoch der Lernfortschritt des Schülers ist, der hier durch Wissensverfolgungsmodelle simuliert wird. Die Arbeit beansprucht nicht, menschliche Lehrkräfte zu ersetzen, sondern vielmehr ein Werkzeug zur Generierung hochgradig zielgerichteter Übungsmaterialien bereitzustellen.