Stochasticity Is Not the Hard Part: Reduction and Complexity in Instructional Sequencing over Prerequisite DAGs

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das versucht, durch ein komplexes Asteroidenlabyrinth zu navigieren, um einen fernen Planeten zu erreichen. In der Welt der Informatik ähnelt dies der „instruktionalen Sequenzierung“, bei der eine KI oder ein Lehrer versucht herauszufinden, in welcher Reihenfolge neue Konzepte am besten gelehrt werden sollten. Das Labyrinth hat Regeln: Man kann nicht über „Raketentriebwerke“ lernen, bevor man die „Grundlagen der Physik“ gemeistert hat. Dies wird als „Prerequisite Dependency“ (Voraussetzungsabhängigkeit) bezeichnet.

Normalerweise denken wir, dass der schwierigste Teil dieser Navigation die Unsicherheit ist. Wird der Schüler die Lektion verstehen? Wird er scheitern und müssen wir es erneut versuchen? Wir nehmen oft an, dass wir, weil Lernen unvorhersehbar (stochastisch) ist, komplexe Hochleistungsrechner benötigen, um die Zukunft zu erraten und für jedes mögliche „Was-wäre-wenn“ zu planen. Aber was, wenn die eigentliche Schwierigkeit gar nicht das Ratespiel ist? Was, wenn die wahre Schwierigkeit einfach nur die schiere Anzahl der möglichen Pfade durch das Labyrinth ist, selbst wenn wir genau wüssten, wie ein Schüler reagieren würde? Diese Arbeit taucht in diese Frage ein und fragt: Ist die Zufälligkeit des Lernens der wahre Bösewicht, oder ist es die schiere Komplexität der Karte selbst?

Die Autoren dieser Arbeit, ein Team von Informatikern, beschlossen, dies anzugehen, indem sie ein mathematisches Modell eines lernenden Schülers für eine Menge von Konzepten aufbauten. Sie behandelten den Lernprozess wie ein Spiel, bei dem man versucht, von einem Startpunkt (Nichts wissen) zu einer Ziellinie (alles wissen) mit dem geringsten Aufwand zu gelangen. In ihrem Modell gibt es jedes Mal, wenn ein Schüler versucht, ein neues Konzept zu lernen, eine Chance, dass er Erfolg hat, und eine Chance, dass er scheitert. Wenn er scheitert, bleibt er genau dort, wo er ist; er verliert nicht das, was er bereits weiß, er muss es nur noch einmal versuchen.

Hier ist die große Überrasch Überraschung, die das Team entdeckte: Die Zufälligkeit ist nicht der schwierige Teil. Sie haben mathematisch bewiesen, dass man die gesamte Unsicherheit entfernen kann. Man kann dieses unvorhersehbare „Wird-er-oder-wird-sie-Lernspiel“ in eine völlig vorhersehbare, deterministische Karte verwandeln. Es ist, als würde man erkennen, dass ein Münzwurf zwar zufällig ist, man aber, wenn man die Quoten kennt, die durchschnittliche Anzahl der Münzwürfe berechnen kann, bis man Kopf erhält, und diesen durchschnittlichen Aufwand als einen festen Preis behandeln kann. Sobön man dies getan hat, geht es bei dem Problem nicht mehr um das „Raten“, sondern darum, den kürzesten Pfad auf einem riesigen, starren Gitter zu finden.

Doch nur weil die Zufälligkeit verschwunden ist, bedeutet das nicht, dass das Problem einfach ist. Tatsächlich fanden die Autoren heraus, dass selbst mit der Entfernung der Zufälligkeit das Finden der perfekten Reihenfolge, um diese Konzepte zu lehren, selbst in den Worst-Case-Szenarien für einen Computer unglaublich schwierig ist. Sie zeigten, dass diese Schwierigkeit daraus resultiert, wie Konzepte aufeinander „übertragen“ – das Lernen einer Sache kann eine andere Sache erleichtern, aber wenn diese hilfreichen Verbindungen ein verworrenes Netz bilden, bleibt der Computer stecken, während er versucht, die beste Route zu finden. Dies nennen sie „kombinatorische Komplexität“. Es liegt nicht daran, dass der Computer über die Stimmung des Schülers verwirrt ist; es ist einfach, dass die Karte der möglichen Lernpfade viel zu groß ist, um jeden einzelnen zu prüfen.

Aber keine Sorge, das sind nicht nur schlechte Nachrichten. Die Arbeit fand auch heraus, dass die Karte in vielen realen Situationen gar nicht so verworren ist. Sie entwickelten ein einfaches „Diagnosewerkzeug“ (eine Art mathematischer Test), das sich einen Kurs ansehen kann und Ihnen sagt, noch bevor Sie mit der Planung beginnen, ob die Reihenfolge der Lektionen tatsächlich viel ausmacht. Wenn das Werkzeug sagt, dass die Karte „azyklisch“ ist (keine verwirrenden Abhängigkeitsschleifen), dann wird jede logische Reihenfolge, die Sie wählen, gut funktionieren, und Sie benötigen keinen Supercomputer, um die perfekte zu finden.

Um dies zu testen, untersuchten die Forscher echte Daten aus einem Einführungskurs in Informatik mit über 70.000 Interaktionen von Studenten. Ihr Diagnosewerkzeug bestätigte, dass für diesen spezifischen Kurs die „perfekte Reihenfolge“ nicht viel ausmachte; der Kurs befand sich in dem, was sie ein „doppelt einfaches Regime“ nennen. Die Studenten konnten in fast jeder Reihenfolge lernen, und die Kosten, wenn man die Reihenfolge etwas falsch wählte, waren minimal. Sie bauten jedoch auch künstliche, knifflige Beispiele, in denen die Abhängigkeiten unordentlich waren. In diesen Fällen verursachte die Wahl der falschen Reihenfolge enorme Reue (verschwendete Zeit und Mühe), was bewies, dass zwar viele reale Kurse leicht zu navigieren sind, die schwierigen aber existieren.

Das Team zeigte auch, dass man bei einem schwierigen „Landkarten“-Szenario nicht jeden einzelnen Pfad prüfen muss. Sie verwendeten eine intelligente Suchmethode namens A* (denken Sie an ein GPS, das das Ziel kennt und nur die vielversprechendsten Straßen prüft), um die beste Sequenz zu finden. Selbst in ihren schwierigsten, komplexesten Beispielen musste das intelligente GPS nur einen winzigen Bruchteil der möglichen Pfade prüfen, um den Gewinner zu finden.

Was ist also die Lehre daraus? Wenn Sie eine App bauen, um Kindern etwas beizubringen, müssen Sie nicht in Panik geraten, weil Studenten unvorhersehbar sind. Sie können das Problem mathematisch vereinfachen, um den Teil des „Ratens“ zu entfernen. Die eigentliche Herausforderung besteht darin, zu prüfen, ob Ihr Lehrplan eine unordentliche, verworrene Struktur hat. Wenn er das hat, verwenden Sie ein intelligentes Suchwerkzeug, um den besten Pfad zu finden. Wenn er das nicht hat (wie in vielen realen Kursen), können Sie sich entspannen, denn die Reihenfolge der Lektionen wird wahrscheinlich keinen großen Unterschied machen. Die Arbeit beweist, dass die „Magie“ des Lernens nicht darin liegt, die Zukunft vorherzusagen, sondern darin, die Form der Karte zu verstehen.