Incorporating Feedback into Elo-Based Knowledge Tracing for Iterative Problem Solving
Dieses Paper schlägt zwei Feedback-bewusste Erweiterungen des Elo-Rating-Systems vor und validiert diese – das New-Item- und das Probability-Modifier-Modell –, welche die Genauigkeit der Wissensschätzung gegenüber Standardansätzen durch die explizite Unterscheidung zwischen assistierten und unassistierten Erfolgen in iterativen Problemlösungsumgebungen signifikant verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine komplexe Fertigkeit zu erlernen, wie zum Beispiel ein neues Videospiel-Level zu meistern oder ein kniffliges Chemie-Rätsel zu lösen. In der realen Welt könnten Sie sich bei einer Blockade um einen Hinweis von einem Lehrer bitten, oder er gibt Ihnen vielleicht einfach die Lösung. Aber in der digitalen Welt versuchen Computer oft zu erraten, wie klug Sie sind, basierend auf Ihren Antworten. Um dies zu tun, verwenden sie ein System namens „Knowledge Tracing“ (Wissensverfolgung), was im Grunde eine Art Methode ist, wie ein Computer eine laufende Wertung dessen führt, was Sie wissen und was nicht. Eine populäre Art, diesen Punktestand zu führen, ist das „Elo-Rating-System“, eine Methode, die ursprünglich zur Einstufung von Schachspielern erfunden wurde. Es funktioniert wie eine Leiter: Wenn Sie einen schwierigen Gegner besiegen, klettern Sie nach oben; wenn Sie gegen einen leichten verlieren, rutschen Sie nach unten. Die große Frage, die Forscher gestellt haben, lautet: Was passiert, wenn der Computer Ihnen hilft? Wenn Sie ein Problem nachdem der Computer Ihnen einen Hinweis gegeben hat, lösen, zählt das dasselbe wie das Lösen ganz ohne Hilfe? Wenn der Computer keinen Unterschied macht, könnte er denken, Sie seien ein Genie, obwohl Sie eigentlich nur einen kleinen Anstoß brauchten, oder er könnte denken, Sie hätten Schwierigkeiten, obwohl Sie eigentlich nur auf Hilfe gewartet haben. Diese Bewertung falsch einzuschätzen, ist ein Problem, denn es bedeutet, dass der Computer Ihnen beim nächsten Mal die falsche Art von Lektionen geben könnte.
Dieses Paper befasst sich genau mit diesem Problem, indem es untersucht, wie man das Elo-Rating-System hinsichtlich des „Feedbacks“ intelligenter gestalten kann. Die Forscher untersuchten 296 Universitätsstudierende, die an einer komplexen Chemie-Aufgabe arbeiteten: dem Entwerfen eines Titrationsprotokolls (eines schrittweisen Plans zum Mischen von Chemikalien). Diese Studierenden konnten es so oft versuchen, wie sie wollten, und nach jeder falschen Antwort gab das System spezifisches Feedback, das von einem winzigen Hinweis bis hin zur vollständigen korrekten Antwort reichte. Das Team testete zwei neue Wege, die Punktzahlen der Studierenden zu aktualisieren, die tatsächlich auf diese Hilfe reagieren.
Die erste Idee, das „New Item“-Modell, behandelt jede Version eines Problems als ein völlig anderes Spiel. Es besagt: „Ein Puzzle ohne Hilfe zu lösen ist eine Sache, aber es mit einem Hinweis zu lösen, ist eine völlig andere Herausforderung.“ Daher erstellt der Computer eine separate Wertung für die „mit Hinweisen versehene“ Version des Problems. Die zweite Idee, das „Probability Modifier“-Modell, ist eher wie ein magischer Boost. Es besagt: „Das Problem ist dasselbe, aber die Hilfe macht es viel einfacher, es richtig zu machen.“ Es passt die Erfolgswahrscheinlichkeit basierend darauf an, wie groß der Hinweis war.
Als die Forscher diese Ideen gegen die alte, Standard-Methode testeten (die ignoriert, ob Hilfe gegeben wurde), waren die Ergebnisse eindeutig. Beide neuen Modelle waren signifikant besser darin, vorherzusagen, ob ein Studierender den nächsten Schritt richtig machen würde. Sie raten nicht nur besser, sondern sie waren auch konsistenter über verschiedene Gruppen von Studierenden hinweg und konnten sogar vorhersagen, wie neue, bisher unbekannte Studierende abschneiden würden. Die Studie nutzte einen Datensatz von 47.224 Interaktionen, um zu beweisen, dass das Ignorieren von Feedback zu einem verschwommenen, ungenauen Bild des Wissens eines Lernenden führt. Durch die explizite Modellierung der Hilfe erhält der Computer ein schärferes, faireres Bild dessen, was der Studierende tatsächlich weiß, wodurch sichergestellt wird, dass die „Punktzahl“ die tatsächliche Fähigkeit widerspiegelt und nicht nur, wie viel Unterstützung verfügbar war.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.