🤖 AI

Tracing Mathematical Proficiency Through Problem-Solving Processes

Dieses Paper schlägt StatusKT vor, ein neuartiges Knowledge-Tracing-Framework, das eine dreistufige LLM-Pipeline nutzt, um interpretierbare Indikatoren der mathematischen Kompetenz aus den Problemlösungsprozessen von Studierenden zu extrahieren und dadurch die Vorhersagegenauigkeit sowie die Erklärbarkeit gegenüber traditionellen Methoden auf dem neu eingeführten KT-PSP-25-Datensatz zu verbessern.

Ursprüngliche Autoren: Jungyang Park, Suho Kang, Jaewoo Park, Jaehong Kim, Jaewoo Shin, Seonjoon Park, Youngjae Yu

Veröffentlicht 2026-01-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jungyang Park, Suho Kang, Jaewoo Park, Jaehong Kim, Jaewoo Shin, Seonjoon Park, Youngjae Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Black Box“-Problem

Stellen Sie sich vor, ein Lehrer versucht zu erraten, wie gut ein Schüler Mathematik versteht. Traditionell fungieren Knowledge-Tracing-Systeme (KT) wie ein Punktezähler in einer Bowlingbahn. Sie schauen nur auf das Endergebnis: Hat die Kugel die Pins umgeworfen (richtige Antwort) oder hat sie daneben gegriffen (falsche Antwort)?

Das Problem ist, dass dieser „Punktezähler“ nicht weiß, wie der Schüler die Kugel geworfen hat. Hat er perfekt gezielt, ist aber ausgerutscht? Hat er geraten und Glück gehabt? Verstand er die Physik der Bahn, machte aber einen winzigen Rechenfehler? Da das System nur die Endpunktzahl sieht, trifft es oft schlechte Vorhersagen darüber, was der Schüler als Nächstes wissen wird.

Die neue Idee: Den Schwung beobachten

Die Autoren dieser Arbeit argumentieren, dass man, um einen Schüler wirklich zu verstehen, seinen Problemlösungsprozess (Problem-Solving Process, PSP) beobachten muss. Es ist wie ein Trainer, der den Golfschwung eines Spielers beobachtet, anstatt nur darauf zu schauen, wo der Ball landet.

Sie schlagen ein neues System namens KT-PSP (Knowledge Tracing mit Problemlösungsprozess) vor. Anstatt nur „Richtig“ oder „Falsch“ zu protokollieren, zeichnet dieses System die handschriftlichen Schritte, Berechnungen und das logische Denken des Schülers auf.

Die Lösung: Die „Lehrer-Schüler-Lehrer“-Pipeline

Um aus diesen unordentlichen handschriftlichen Notizen Sinn zu machen, haben die Autoren ein Framework namens STATUSKT entwickelt. Sie nutzen Künstliche Intelligenz (speziell Large Language Models), um wie ein dreiköpfiges Team die Kritzeleien eines Schülers in einen klaren Bericht zu übersetzen.

Stellen Sie sich dieses Team wie eine Live-Kommentatoren-Crew vor:

Der Cheftrainer (Lehrer-LLM – Schritt 1):
Noch bevor der Schüler antwortet, betrachtet der Cheftrainer die Mathematikaufgabe und erstellt eine Checkliste der benötigten Fähigkeiten, um diese zu lösen.
- Analogie: Wenn es bei der Aufgabe um das Backen eines Kuchens geht, listet der Trainer auf: „Hat er das Mehl korrekt abgemessen?“ „Hat er die Eier vermischt?“ „Wusste er die Ofentemperatur?“ Dies sind die sogenannten Indikatoren für mathematische Kompetenz (Mathematical Proficiency Indicators).
Der Praktikant (Schüler-LLM – Schritt 2):
Der Praktikant liest die tatsächlichen handschriftlichen Notizen des Schülers und versucht, die Fragen der Checkliste des Cheftrainers basierend nur auf dem zu beantworten, was der Schüler geschrieben hat.
- Analogie: Der Praktikant sieht in die unordentlichen Notizen des Schülers und sagt: „Der Schüler hat das Mehl abgemessen, aber er hat die Ofentemperatur nicht erwähnt.“
Der Cheftrainer erneut (Lehrer-LLM – Schritt 3):
Der Cheftrainer überprüft die Antworten des Praktikanten und vergibt eine endgültige Bewertung für jede Fähigkeit auf der Checkliste.
- Analogie: Der Trainer sagt: „Okay, der Schüler besitzt konzeptionelles Verständnis (er wusste, was zu tun ist), aber es mangelt ihm an prozeduraler Kompetenz (er hat die Schritte beim Mischen vermasselt).“

Das Ergebnis: Eine „Heat Map“ des Wissens

Anstatt nur zu sagen: „Der Schüler hat 70 % erreicht“, erstellt das STATUSKT-System eine detaillierte Heat Map. Es sagt uns genau, welche Teile der Mathematik der Schüler beherrscht und welche Teile noch wackelig sind.

Bessere Vorhersagen: Da das System weiß, warum ein Schüler eine Frage falsch beantwortet hat (z. B. er verstand das Konzept, machte aber einen Rechenfehler), kann es seine zukünftige Leistung viel genauer vorhersagen als Systeme, die nur auf das Endergebnis schauen.
Lösung des „Cold Start“-Problems: Stellen Sie sich vor, ein neuer Schüler kommt in die Klasse. Ein normales System ist verwirrt, weil es keine Historie hat. Aber mit STATUSKT kann das System bereits nach nur ein oder zwei Aufgaben den Prozess analysieren und sofort erkennen, worin der Schüler gut ist und womit er kämpft. Es ist wie ein Trainer, der allein durch das Beobachten der ersten Schwünge beurteilen kann, ob ein neuer Spieler ein „Naturtalent“ ist.

Der Datensatz: KT-PSP-25

Um dieses System zu trainieren, haben die Autoren einen neuen Datensatz namens KT-PSP-25 erstellt.

Was es ist: Eine Sammlung von über 22.000 Mathematikaufgaben, die echte Schüler auf Tablets gelöst haben.
Die Geheimzutat: Im Gegensatz zu alten Datensätzen, die nur aus „Frage + Antwort“ bestanden, enthält dieser die handschriftlichen Schritte (die mithilfe spezieller KI in Text umgewandelt wurden).
Datenschutz: Die Namen der Schüler wurden anonymisiert und KI wurde genutzt, um die Handschrift zu lesen, um sicherzustellen, dass keine persönlichen Informationen durchsickern.

Was sie herausgefunden haben

Als sie STATUSKT gegen die alten „Punktezähler“-Systeme testeten, stellten sie fest:

Es war genauer: Es sagte zukünftige Testergebnisse besser voraus.
Es war hilfreicher für neue Schüler: Es funktionierte viel besser, wenn nur sehr wenige Daten zur Verfügung standen.
Es war erklärbar: Anstatt einer Black Box konnte das System sagen: „Ich glaube, der Schüler wird die nächste Frage richtig beantworten, weil er in der letzten Aufgabe starke Argumentationsfähigkeiten gezeigt hat, auch wenn er einen kleinen Rechenfehler gemacht hat.“

Zusammenfassung

Dieses Paper führt einen smarteren Weg zur Verfolgung des Lernfortschritts ein. Indem es vom „Hat er es richtig gemacht?“ zum „Wie hat er es gelöst?“ übergeht und KI nutzt, um unordentliche Handschrift in klare Kompetenzberichte zu übersetzen, haben sie ein System geschaffen, das Schüler so versteht, wie es ein menschlicher Lehrer tut.

Technische Zusammenfassung: Verfolgung der mathematischen Kompetenz durch Problemlösungsprozesse

Problemstellung

Traditionelle Methoden des Knowledge Tracing (KT) zielen darauf ab, den Wissenszustand eines Schülers zu modellieren, um zukünftige Leistungen in intelligenten Tutoriumssystemen vorherzusagen. Bestehende Ansätze stehen jedoch vor grundlegenden Einschränkungen hinsichtlich Erklärbarkeit und Tiefe. Sie stützen sich primär auf eine ergebniszentrierte Überwachung (binäre Korrektheit: richtig/falsch) und begrenzte Metadaten (z. B. Schwierigkeitsgrad eines Problems, Antwortzeit oder Wissenskonzepte). Diese Abhängigkeit vom Endergebnis versäumt es, die Nuancen des tatsächlichen Verständnisses eines Schülers zu erfassen, da sie den Problemlösungsprozess (Problem-Solving Process, PSP) als „Black Box“ behandelt.

Im Gegensatz dazu bewerten Pädagogen im realen Kontext das Verständnis durch den Problemlösungsprozess, indem sie Denk-Schritte, Zwischenberechnungen und strategische Entscheidungen beobachten. Aktuelle KT-Datensätze und -Modelle vernachlässigen diese reichhaltigen Informationen weitgehend, insbesondere in mathematischen Domänen, in denen die Erfassung von PSP in großem Maßstab eine Herausforderung darstellt. Folglich haben bestehende Modelle Schwierigkeiten, interpretierbare Einblicke darin zu geben, warum ein Schüler Erfolg hat oder scheitert, und sie schneiden oft schlecht in Cold-Start-Szenarien ab, in denen nur wenig historische Interaktionsdaten vorliegen.

Methodik: KT-PSP und STATUSKT

Um diese Lücken zu schließen, schlagen die Autoren eine neue Aufgabenformulierung und ein entsprechendes Framework vor.

1. Knowledge Tracing mit Problemlösungsprozess (KT-PSP)

Die Autoren definieren die KT-Aufgabe neu, indem sie den Problemlösungsprozess eines Schülers explizit in die Interaktionssequenz integrieren.

Traditionelles KT: Eingangssequenz $S_{conv} = \{(q_t, c_t, r_t)\}$ , wobei $r_t$ die binäre Korrektheit ist.
KT-PSP: Eingangssequenz $S_{new} = \{(q_t, c_t, r_t, p_t)\}$ , wobei $p_t$ den detaillierten PSP (schrittweise Argumentation, Zwischenberechnungen usw.) darstellt.
Das Ziel bleibt die Vorhersage der zukünftigen Korrektheit $P(r_{t+1}=1 | \dots)$ , nutzt nun aber sowohl die historische Leistung als auch die zugrunde liegenden Lösungsstrategien.

2. Der KT-PSP-25 Datensatz

Um die Forschung in diesem neuen Bereich zu erleichachten, haben die Autoren KT-PSP-25 veröffentlicht, einen neuartigen Datensatz, der Folgendes enthält:

22.289 Interaktionen zwischen Schülern und Problemen von einer Tablet-basierten Mathematikplattform.
1.343 Schüler, die 2.696 Probleme über 490 Wissenskomponenten lösen.
Handschriftlicher PSP: Im Gegensatz zu bisherigen Datensätzen enthält dieser die tatsächlichen handschriftlichen Lösungspfade, die über eine OCR-Pipeline (unter Verwendung von GPT-5) verarbeitet wurden, um Bilder in strukturierten Text umzuwandeln und dabei die mathematische Logik zu bewahren.
Datenschutz: Schüler- und Fragen-IDs wurden anonymisiert, und die OCR-Ausgaben wurden verfeinert, um die Datenqualität und den Datenschutz zu gewährleisten.

3. Das STATUSKT Framework

Der Kernbeitrag ist STATUSKT, ein prozessbewusstes KT-Framework, das mathematische Kompetenzsignale (Mathematical Proficiency, MP) aus dem rohen PSP mithilfe einer Teacher-Student-Teacher LLM-Pipeline extrahiert. Diese Pipeline konvertiert unstrukturierten Text in strukturierte, interpretierbare Zwischensignale.

Die Pipeline operiert in drei Stufen:

Indikatorextraktion (Teacher LLM): Gegeben einen Problemtext und dessen Wissenskomponenten, generiert das Teacher LLM einen Satz von MP-Indikatoren. Dies sind spezifische Fragen, die auf vier beobachtbaren Dimensionen der mathematischen Kompetenz abzielen (basierend auf Findell et al., 2001):
- Konzeptuelles Verständnis (Conceptual Understanding, CU)
- Strategische Kompetenz (Strategic Competence, SC)
- Verfahrensflüssigkeit (Procedural Fluency, PF)
- Adaptives Denken (Adaptive Reasoning, AR)
  (Hinweis: Die produktive Einstellung/Productive Disposition wird ausgeschlossen, da sie über Text schwer zu bewerten ist.)
Antwortgenerierung (Student LLM): Das Student LLM fungt als Stellvertreter für den tatsächlichen Schüler. Es analysiert den handschriftlichen PSP des Schülers und generiert Antworten auf die MP-Indikatoren. Entscheidend ist, dass es die ursprüngliche Argumentation des Schülers (einschließlich Fehler) bewahrt, anstatt sie zu korrigieren.
Kompetenzbewertung (Teacher LLM): Das Teacher LLM bewertet die Antworten des Student LLM gegenüber den ursprünglichen Indikatoren, um festzustellen, ob der Schüler die jeweilige Dimension gemeistert hat.

Integration:
Das Ergebnis dieser Pipeline ist ein MP-Verhältnis (MP Ratio) für jede Dimension (der Anteil der erfüllten Indikatoren). Diese Verhältnisse dienen als Hilfs-Inputs für das KT-Backbone-Modell. Das Modell wird mit einer zusammengesetzten Verlustfunktion trainiert:
$L = BCE(r_{gt}, r_{pred}) + \alpha \sum_{i \in P} MSE(m_{gt}^i, m_{pred}^i)$
Dieser duale Zielansatz zwingt das Modell, sowohl die endgültige Korrektheit als auch die zugrunde liegenden Kompetenzmuster zu erlernen, was sowohl die Vorhersagegenauigkeit als auch die Interpretierbarkeit verbessert.

Wesentliche Beiträge

Neue Aufgabenformulierung (KT-PSP): Eine formale Definition von KT, die den Problemlösungsprozess in die Interaktionssequenz integriert und so ein prozessbewusstes Modell ermöglicht.
KT-PSP-25 Datensatz: Der erste groß angelegte mathematische KT-Datensatz, der reale, per OCR transkribierte handschriftliche Problemlösungsprozesse für jede Interaktion enthält.
STATUSKT Framework: Eine neuartige Architektur, die eine dreistufige LLM-Pipeline nutzt, um den rohen PSP in interpretierbare MP-Signale zu destillieren, die dann in Standard-KT-Modelle integriert werden.
Empirische Validierung: Umfassende Experimente, die zeigen, dass STATUSKT bestehende Deep Learning KT (DLKT) Baselines übertrifft und feingliedrige, interpretierbare Einblicke in das Lernen von Schülern bietet.

Experimentelle Ergebnisse

Experimente wurden auf KT-PSP-25 mit verschiedenen Baseline-Architekturen (DKT, DKVMN, SAKT, SAINT, AKT usw.) durchgeführt.

Gesamtleistung (RQ1): STATUSKT verbesserte die Vorhersageleistung (AUC und Genauigkeit) konsistent über die meisten Architekturen hinweg im Vergleich zu sowohl Standard-Baselines als auch einer „Baseline+PSP“-Variante (die lediglich rohe Text-Embeddings konkateniert). Die Autoren stellen fest, dass rohe Text-Embeddings allein oft Rauschen einführen oder die Leistung nicht verbessern, während die strukturierte MP-Destillation in STATUSKT die Prozessinformationen effektiv nutzt.
Robustheit beim Cold-Start (RQ2): In Szenarien mit begrenzten Daten (nur die ersten 5 Interaktionen pro Schüler) übertraf STATUSKT die Baselines signifikant. Die MP-Signale lieferten informative Priors, die die Schätzung des Wissenszustands stabilisierten, wenn historische Korrektheitsdaten knapp waren.
Analyse der MP-Effekte (RQ3): Fallstudien zeigten, dass MP-Signale helfen, Vorhersagen in „MP-help“-Fällen zu korrigieren, indem sie die Korrektheit mit spezifischen zugrunde liegenden Fähigkeiten in Einklang bringen. Die Autoren identifizierten jedoch auch „MP-hurt“-Fälle, in denen übermäßig angereicherte oder falsch ausgerichtete Indikatoren die Leistung verschlechtern konnten, was die Bedeutung der Umfangskontrolle bei der Indikatorengenerierung unterstreicht.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Integration der im Problemlösungsprozess der Schüler reflektierten Argumentation essenziell ist, um KT hin zu einer genaueren, interpretierbareren und pädagogisch bedeutsameren Modellierung voranzubringen.

Interpretierbarkeit: Im Gegensatz zu „Black-Box“-Vorhersagen liefert STATUSKT explizite Kompetenzsignale (z. B. „Schüler hat eine hohe Verfahrensflüssigkeit, aber ein geringes adaptives Denken“) und bietet somit feingliedrige Einblicke in den Lernfortschritt.
Pädagogische Ausrichtung: Das Framework ahmt die Art und Weise nach, wie menschliche Lehrer Schüler bewerten – indem sie den Prozess betrachten, nicht nur die Antwort – und schließt damit die Lücke zwischen automatisierten Systemen und Bildungstheorie.
Einschränkungen: Die Autoren räumen bescheiden Einschränkungen ein, darunter die relativ geringe Skalierung des Datensatzes, die Beschränkung auf die Domäne Mathematik und die Abhängigkeit von OCR, was Erkennungsfehler einführen oder visuelle Argumentationselemente (Diagramme) verlieren kann. Sie behaupten nicht, dass das Framework ohne weitere Anpassung universell auf alle Fächer anwendbar ist.