Atom Learning Model (ALM): how a real classroom got tokenised
Dieses Paper beschreibt das Atom Learning Model (ALM), ein System, das zwei Mathematik-Lehrbücher in einen Voraussetzungengraphen aus 1.934 Lernschritten tokenisierte, um zu geringen Kosten personalisierte Fragen für 373 Studenten zu generieren, während es unerwartete Erkenntnisse offenbarte, wie etwa die hohen Kosten für den Aufbau von Verknüpfungen, die Unfähigkeit von Sprachmodellen, die Schwierigkeit von Fragen vorherzusagen, und die Tatsache, dass der Einsatz des Systems kurz vor der Überprüfung seiner Kernannahme stoppte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In einem typischen Klassenzimmer steht ein Lehrer vor dreißig Schülern, die alle etwa im gleichen Alter sind, und versucht, eine einzige Lektion zu unterrichten. Die Herausforderung besteht darin, dass kein zweites Kind in diesem Raum sich exakt an der gleichen Stelle seines Lernprozesses befindet. Eines könnte bereit sein, ein komplexes Rätsel zu lösen, während ein anderes noch mit den grundlegenden Teilen kämpft. Da der Lehrer nicht augenblicklich das präzise Leistungsniveau jedes einzelnen Schülers kennen kann, wird die Lektion auf einem Mittelwert angesetzt, was dazu führt, dass einige unterfordert und andere überfordert sind. Jahrzehntelang haben Pädagogen versucht, dies zu lösen, indem sie Schüler basierend auf ihrer allgemeinen Fähigkeit in Gruppen sortierten, aber dies verengt die Lücke nur geringfügig; es behandelt dreißig Kinder immer noch als eine Einheit statt als dreißig Individuen. Das Kernproblem ist ein Mangel an Auflösung: Schulen verfügen über eine Karte dessen, was gelernt werden muss, aber ihnen fehlt ein Weg, um genau zu bestimmen, wo sich jedes Kind zu jedem gegebenen Zeitpunkt auf dieser Karte befindet.
Dies ist die Lücke, die ein neues System namens „Atom Learning Model“ zu füllen versucht. Die Idee besteht darin, ein Schulfach, wie zum Beispiel Mathematik, in seine kleinstmöglichen Schritte, sogenannte „Atome“, zu zerlegen. Stellen Sie sich eine Fertigkeit wie das Lösen einer Gleichung nicht als eine einzige, monolithische Aufgabe vor, sondern als eine Kette aus winzigen, distinkten Handlungen: zu wissen, wie man multipliziert, zu wissen, wie man subtrahiert, zu wissen, wie man eine Zeile umstellt. Wenn ein Schüler die ersten drei Schritte beherrscht, aber beim vierten scheitert, weiß das System genau, wo der Bruch in der Kette liegt. Durch die Kartierung dieser winzigen Schritte und der Reihenfolge, in der sie erlernt werden müssen, kann das System theoretisch jedem Kind ein Arbeitsblatt zur Verfügung stellen, das perfekt auf das Niveau knapp oberhalb dessen abgestimmt ist, was es bereits weiß. Dieser Ansatz verspricht, die Bildung weg von starren Jahrgangsstufen hin zu einem Modell zu führen, bei dem Schüler in ihrem eigenen Tempo Fortschritte machen und jeden kleinen Schritt meistern, bevor sie zum nächsten übergehen.
Ein Forscher am Imperial College London, unter der Leitung von Philipp Bogdan, testete diese Idee in einem realen Umfeld über sieben Wochen in zwei britischen Sekundarschulen. Sie schrieben weder das Curriculum noch die Fragen von Hand. Stattdessen fütterten sie ein Computersystem mit zwei Standard-Mathematiklehrbüchern und baten es, die Seiten zu lesen, die Fertigkeiten zu extrahieren und eine massive, miteinander verbundene Wissenslandkarte aufzubauen. Das System verarbeitete 757 Textseiten und wandelte sie in 1.934 distinkte „Atome“ um, von denen jedes eine einzige Sache repräsentiert, die ein Lernender tun kann. Es widmete den Großteil seiner Bemühungen der Frage, wie diese Atome miteinander verknüpft sind, und erstellte über 4.600 Verbindungen, die zeigen, welche Fertigkeiten erlernt werden müssen, bevor andere folgen können. Diese Struktur ermöglichte es dem Computer, Tausende von einzigartigen Fragen zu generieren, die auf spezifische Kombinationen dieser winzigen Fertigkeiten zugeschnitten waren, und sie 373 Schülern zur Verfügung zu stellen.
Die Ergebnisse dieses Experiments waren überraschend und stellten einige gängige Annahmen darüber, wie Lernen funktioniert, infrage. Erstens stellten die Forscher fest, dass ein Computermodell, das eine Frage betrachtet, nicht vorhersagen konnte, wie schwierig sie für einen Schüler sein würde. Das System hatte den Fragen Schwierigkeitsgrade zugewiesen, doch als die Forscher diese Labels mit der tatsächlichen Leistung der Schüler verglichen, waren die Labels völlig nutzlos. Die Schwierigkeit einer Frage ist, wie sie entdeckten, keine feste Eigenschaft der Frage selbst. Stattdessen ist Schwierigkeit eine Beziehung zwischen der Frage und dem spezifischen Schüler, der sie beantwortet. Eine Frage ist nur dann schwer, wenn dem Schüler die spezifischen winzigen Schritte fehlen, die zur Lösung erforderlich sind. Dies bedeutet, dass ein Lehrer oder ein Computer nicht einfach eine Aufgabe betrachten und sagen kann, sie sei „schwer“; sie können nur wissen, dass sie für ein bestimmtes Kind schwer ist, dem die notwendigen Hintergrundschritte fehlen.
Eine weitere unerwartete Erkenntnis betraf die Geschwindigkeit des Feedbacks. Die Forscher maßen, wie lange Schüler darauf warteten, dass ihre Antworten bewertet wurden, und wie diese Wartezeit ihre Bereitschaft beeinflusste, weiterzuarbeiten. Sie fanden heraus, dass, wenn ein Schüler nur sieben Sekunden auf eine Bewertung warten musste, die Wahrscheinlichkeit, die nächste Frage zu beginnen, signifikant geringer war, als wenn er nur drei Sekunden warten musste. Diese winzige Verzögerung, die die meisten Pädagogen als vernachlässigbar ansehen würden, reichte aus, um die Dynamik des Schülers zu unterbrechen. Dies deutet darauf hin, dass in einer digitalen Lernumgebung die Geschwindigkeit des Systems für das Engagement ebenso entscheidend ist wie die Qualität der Fragen.
Die vielleicht bedeutendste Einschränkung der Studie war, dass das System niemals seine eigene tiefste Theorie testete. Die zentrale Prämisse des Atom Learning Models ist, dass Schwierigkeit aus der Tiefe der Kette der fehlenden Fertigkeiten resultiert. Um dies zu beweisen, müsste das System Fragen stellen, die erfordern, dass ein Schüler eine Lücke von drei oder vier fehlenden Schritten überbrückt. In dem siebenwöchigen Testlauf servierte das System jedoch fast nie eine Frage, die tiefer als zwei Schritte ging. Der Forscher gab zu, dass der wichtigste Teil ihrer Theorie – die Idee, dass Schwierigkeit rein daraus resultiert, was fehlt – ungetestet blieb, weil das System nie die schwierigen Fragen gestellt hatte, die es hätte beweisen können. Das System funktionierte gut bei oberflächlichen Fragen, aber der ultimative Test, ob es einen Schüler durch eine tiefe Wissenslücke führen kann, wurde der Zukunft überlassen.
Trotz dieser Einschränkungen bot das Experiment einen konkreten Einblick darin, was eine vollständig tokenisierte Lehrplanstruktur kosten könnte und wie sie funktionieren könnte. Der gesamte Prozess des Lesens der Lehrbücher und des Aufbaus der Skill-Map kostete zwischen 615 £ und 1.230 £ als einmalige Investition. Einmal aufgebaut, generierte das System über 6.000 Fragen für die Schüler zu einem Preis von etwa 26 Pence pro Frage. Die Studie zeigte, dass es möglich ist, die Erstellung eines personalisierten Lernpfads zu automatisieren, ohne dass menschliche Lehrer jedes einzelne Problem schreiben müssen. Der Forscher stellte jedoch vorsichtig fest, dass das System den Lehrer noch nicht ersetzt. Die Skill-Map existierte, und die Fragen wurden generiert, aber das System nutzte noch nicht die Live-Leistungsdaten der Schüler, um im laufenden Betrieb zu entscheiden, was als Nächstes gezeigt werden soll. Die Ergebnisse wurden im Nachhinein berechnet, was bedeutete, dass die Schüler während der Testphase nicht tatsächlich durch das volle Potenzial des Systems geleitet wurden.
Die Vision, die aus dieser Arbeit hervorgeht, ist eine, in der das Konzept einer „Jahrgangsstufe“ obsolet wird. Wenn ein System genau weiß, welchen winzigen Schritt ein Kind gemeistert hat und welchen Schritt es ihm fehlt, gibt es keinen Grund mehr, dreißig Kinder zusammen in einem Raum zu halten, während sie auf den Rest der Klasse warten. Ein Kind könnte sich durch das Material in seinem eigenen Tempo bewegen, neun Monate für ein Niveau benötigen, wenn es nötig ist, oder es in sechs Monaten durchlaufen, wenn es bereit ist. Die Prüfung, die derzeit ein logistisches Ereignis ist, bei dem alle gleichzeitig vor Sitzen, könnte zu einem persönlichen Meilenstein werden, den ein Schüler jederzeit ablegt, wenn er bereit ist. Das Atom Learning Model hat diese Zukunft in dem siebenwöchigen Testlauf nicht erreicht, aber es hat die erste echte Brücke dorthin gebaut und gezeigt, dass die Infrastruktur für ein solches System konstruiert werden kann, auch wenn das Wasser noch nicht hindurchgeflossen ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.