Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices

Stellen Sie sich vor, Sie versuchen, den Fortschritt eines Schülers beim Erlernen eines komplexen Fachs, wie zum Beispiel Mathematik, zu verfolgen. In der Welt des „Knowledge Tracing“ agieren Wissenschaftler wie Detektive, die versuchen herauszufinden, was ein Schüler genau weiß und nicht weiß, und zwar zu jedem gegebenen Zeitpunkt. Sie tun dies, indem sie beobachten, wie Schüler über die Zeit hinweg Fragen beantworten. Traditionell gingen viele Computermodelle davon aus, dass das Wissen eines Schülers wie ein wackeliger Seiltänzer ist: ständig schwankend, sich verändernd und mit jeder einzelnen Frage wild auszuschwanken. Wenn ein Schüler eine Frage richtig beantwortet, springt sein „Wissensstand“ nach oben; wenn er eine falsch beantwortet, stürzt er ab.

Doch das echte Leben ist nicht ganz so chaotisch. Stellen Sie sich das Lernen wie das Bauen eines Hauses vor. Sie verbringen vielleicht eine Woche damit, Ziegel zu legen (Lernen), und machen dann ein Wochenende Pause (Vergessen), aber wenn Sie am Montag zurückkommen, ist das Fundament, das Sie letzte Woche gebaut haben, immer noch größtenteils vorhanden. Es verschwindet nicht einfach, nur weil Sie eine Pause gemacht haben. Die meisten existierenden Computermodelle übersehen diese „intermittierende“ Natur des Lernens – die Tatsache, dass Wissen während eines Tests stabil bleibt, sich aber zwischen verschiedenen Testzeiträumen signifikant verändern kann. Dieses Paper mit dem Titel „Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices“ zielt darauf ab, einen klügeren Detektiv zu bauen, der diesen Rhythmus versteht. Es führt ein neues Modell namens INKT ein, das nicht nur den Schüler beobachtet, sondern auch die Landkarte des Wissens selbst sowie die Art und Weise, wie Schüler über die Zeit lernen und vergessen, versteht.

Die Landkarte und die fehlenden Teile

Um die Lösung des Papers zu verstehen, müssen wir zuerst auf die Werkzeuge schauen, die die Forscher verwendet haben. Stellen Sie sich eine riesige Stadtkarte vor, in der jede Straße ein „Wissenskonzept“ (wie Algebra oder Geometie) darstellt und jedes Gebäude eine „Testfrage“ ist. In dieser Stadt führen einige Straßen direkt zu anderen; man kann nicht auf die Autobahn fahren, ohne vorher die Auffahrt benutzt zu haben. Diese Karte wird als Q-Matrix bezeichnet. Sie ist eine Liste, die dem Computer sagt, welche Konzepte benötigt werden, um bestimmte Fragen zu beantworten.

Das Problem ist, dass die von menschlichen Experten bereitgestellten Karten oft unvollständig sind. Sie zeigen nur die offensichtlichen Verbindungen. Zum Beispiel könnte eine Karte sagen: „Um diese Analysis-Aufgabe zu lösen, benötigen Sie Ableitungen.“ Aber sie vergisst zu erwähnen, dass man, um Ableitungen zu beherrschen, auch Grenzwerte wissen muss, und um Grenzwerte zu verstehen, muss man Funktionen beherrschen. Der Computer, der mit der unvollständigen Karte arbeitet, denkt, der Schüler müsse lediglich Ableitungen beherrschen. Wenn der Schüler die Analysis-Aufgabe falsch beantwortet, gibt der Computer dem Skill „Ableitungen die Schuld und übersieht dabei, dass der Schüler eigentlich vergessen hat, wie man mit Grenzwerten umgeht.

Die Autoren dieses Papers erkannten, dass sie die Karte korrigieren mussten, indem sie die „Topologie“ der Stadt – die Form der Verbindungen – betrachteten. Sie schlugen einen Weg vor, die Q-Matrix zu „augmentieren“ (oder aufzuwerten). Anstatt nur die direkten Links zu betrachten, verfolgt ihr Algorithmus die vollständigen Pfade durch den Wissensgraphen. Wenn Konzept A zu Konzept B führt und Konzept B zu Konzept C führt, lernt der Computer, dass das Bearbeiten einer Aufgabe für C auch A und B beinhaltet. Sie verwendeten eine mathematische Methode namens „topologisches Sortieren“, um diese Konzepte in einer logischen Reihenfolge zu organisieren, ähnlich wie man Bücher im Regal von den einfachsten zu den schwierigsten sortiert. Durch dies konnten sie die „verborgenen“ Verbindungen ergänzen und so eine spärliche, unvollständige Karte in einen reichhaltigen, detaillierten Leitfaden verwandeln, der zeigt, wie alle Konzepte im Geheimen miteinander verwandt sind.

Der „intermittierende“ Detektiv

Sob�est sie eine bessere Karte hatten, bauten die Forscher ihr neues Detektivmodell: INKT. Der Kern der Idee ist hier, dass Wissenszustände „intermittierend“ sind. Das bedeutet, dass das Wissen eines Schülers während eines kurzen Tests (wie eines 30-minütigen Quiz) relativ stabil ist. Er lernt nicht mitten im Quiz plötzlich etwas Neues oder vergisst alles. Zwischen den Tests – sagen wir, eine Woche später – können Schüler jedoch einige Dinge vergessen (die „Vergessensrate“) oder neue Dinge lernen (die „Lernrate“).

Die meisten alten Modelle behandelten jede Frage als ein völlig neues Ereignis, bei dem das Wissen eines Schülers wild ausschlagen konnte. INKT hingegen respektiert die Zeitfenster. Es geht davon aus, dass Ihr Wissen bei einem Test heute eine leicht weiterentwickelte Version dessen ist, was es gestern war, angepasst durch das, was Sie in der Zwischenzeit gelernt oder vergessen haben. Es nutzt einen mathematischen Rahmen namens Item Response Theory (IRT), was eine schicke Art zu sagen ist, dass es nicht nur berücksichtigt, ob man die Antwort richtig hatte, sondern auch, wie schwer die Frage war und wie gut die Frage darin ist, zwischen einem klugen Schüler und einem Ratenden zu unterscheiden.

Das Modell berücksichtigt auch die „Vergessenskurve“, ein Konzept aus der Psychologie, das besagt, dass wir Informationen im Laufe der Zeit verlieren, wenn wir sie nicht nutzen. INKT berechnet eine spezifische „Vergessensrate“ für jeden Schüler und jedes Konzept sowie eine „Lernrate“ dafür, wie schnell sie Dinge aufnehmen. Es nutzt diese Raten dann, um vorherzusagen, wie der Wissenszustand beim nächsten Test aussehen sollte, anstatt nur basierend auf der letzten Antwort zu raten.

Was die Experimente zeigten

Um zu sehen, ob ihr neuer Detektiv gut ist, testeten die Forscher ihn auf mehreren Datensätzen. Sie erstellten einen benutzerdefinierten Datensatz namens MTest aus einer echten High School in Shenzhen, China, der 69 Schüler, 7 Tests und 88 Wissenskonzepte umfasste. Sie verwendeten auch drei öffentliche Datensätze (Math1, Math2 und FrcSub) und generierten sogar einen massiven simulierten Datensatz namens FMTest mittels der Methode der „Formal Concept Analysis“, um zu sehen, wie das Modell mit großen Gruppen von Schülern umgeht.

Die Ergebnisse waren sehr vielversprechend. Als sie INKT mit anderen Modellen verglichen (einige davon waren einfacher, andere komplexer, aber sie berücksichtigten nicht die „intermittierende“ Natur des Lernens), schnitt INKT konsistent besser ab.

• Auf dem MTest-Datensatz erreichte INKT eine Genauigkeit (ACC) von etwa 0,77 im besten Testszenario, während das nächstbeste Modell nur etwa 0,57 erreichte.
• Auf dem großen simulierten FMTest-Datensatz erreichte INKT eine Genauigkeit von 0,94, was die anderen Modelle, die um die 0,81 pendelten, deutlich übertraf.
• Das Modell zeigte auch eine hohe Stabilität. Selbst wenn sie die Anzahl der Schüler oder die Mischung der Tests änderten, blieb INKT stabil und lieferte weiterhin genaue Vorhersagen.

Die Forscher führten auch „Ablationsstudien“ durch, die vergleichbar damit sind, einen Motor auseinanderzunehmen, um zu sehen, welches Teil was bewirkt. Sie fanden heraus, dass die Leistung signifikant sank, wenn sie die „Vergessensrate“ oder die „Lernrate“ aus dem Modell entfernten. Dies bewies, dass das Verfolgen der Art und Weise, wie Schüler lernen und vergessen, essenziell ist. Sie fanden auch heraus, dass die Verwendung der „augmentierten“ Q-Matrix (der verbesserten Karte mit den verborgenen Verbindungen) entscheidend war. Wenn sie die alte, unvollständige Karte verwendeten, war das Modell nicht so gut darin, vorherzusagen, wer was richtig beantworten würde.

Das Urteil

Das Paper kommt zu dem Schluss, dass wir durch die Kombination einer klügeren Wissenslandkarte (der augmentierten Q-Matrix) mit einem Modell, das den Rhythmus von Lernen und Vergessen respektiert (das intermittierende Zustands-Tracing), ein viel klareres Bild davon erhalten können, was Schüler tatsächlich wissen. Die Autoren schlagen vor, dass dieser Ansatz rationaler ist als Modelle, die davon ausgehen, dass Wissen ständig und wild fluktuiert.

Die Autoren sind jedoch vorsichtig damit, dies als gelöstes Problem darzustellen. Sie geben zu, dass ihre „Landkarte“ der Wissensverbindungen immer noch von menschlichen Experten erstellt wurde, was subjektiv sein kann. Sie merken auch an, dass ihr Modell davon ausgeht, dass der aktuelle Wissensstand eines Schülers nur von seinem unmittelbar vorangegangenen Zustand abhängt, wodurch komplexere „Attention“-Mechanismen ignoriert werden. Sie schlagen vor, dass zukünftige Arbeiten darin bestehen könnten, diese Wissenslandkarten automatisch aus Daten zu generieren und fortgeschrittenere Attention-Mechanismen zu verwenden, um das Modell noch genauer zu machen.

Kurz gesagt bietet dieses Paper eine spielerische, aber dennoch rigorose Methode, um aufzuhören, Schüler wie zittrige Seiltänzer zu behanduchen, und statarn, sie wie Baumeister zu betrachten, die Ziegel legen, eine Pause machen und dann feststellen, dass ihr Fundament weitgehend intakt geblieben ist. Durch das Verständnis der verborgenen Verbindungen im Lehrplan und des natürlichen Auf und Abs des Gedächtnisses bietet das INKT-Modell eine ehrlichere und genauere Sicht auf die Reise des Lernens.