From Partial Correctness to Completion: Predicting Learners’ Early Success in Programming Practice

Stellen Sie sich vor, Sie beobachten einen Freund dabei, wie er versucht, ein kniffliges Rätsel zu lösen. In den alten Zeiten hätte sich ein Lehrer vielleicht nur für den finalen Moment interessiert: Hat er das Rätsel gelöst oder hat er aufgegeben? Das ist eine einfache „Ja oder Nein“-Antwort. Aber in der Welt der Computerprogrammierung ist Lernen eher wie eine lange, chaotische Reise aus Versuch und Irrtum. Studenten schreiben Code, der Computer sagt „falsch“, sie korrigieren einen winzigen Fehler, der Computer sagt „wieder falsch, aber näher dran“, und sie versuchen es weiter, bis sie es schließlich richtig machen. Dieser Prozess findet auf speziellen Websites namens „Online Judges“ statt, die wie riesige, automatisierte Bewertungsmaschinen fungieren und jeden einzelnen Versuch eines Studenten aufzeichnen.

Die große Frage, die Forscher beschäftigen, lautet: Können wir auf die chaotischen Zwischenversuche eines Studenten schauen und erraten, ob er kurz davor steht, erfolgreich zu sein, oder ob er in einer Schleife des Scheiterns feststeckt? Das ist ein bisschen so, als würde ein Trainer einem Basketballspieler beim Werfen zusehen, der gerade einige Körbe verpasst hat. Wenn der Spieler nur knapp am Korb vorbeiläuft und seine Form sich verbessert, weiß der Trainer, dass bald ein Korb kommt. Aber wenn der Spieler wild daneben wirft und frustriert ist, braucht er vielleicht Hilfe. Diese Arbeit befasst sich genau mit dieser Idee und versucht herauszufinden, was der beste Weg ist, um den zukünftigen Erfolg eines Studenten basierend auf seinem aktuellen Kampf vorherzusagen, indem Mathematik und Computermodelle genutzt werden, um den Unterschied zwischen „fast geschafft“ und „feststeckend“ zu erkennen.

---

Die Arbeit: Von „Falsch“ zu „Richtig“ im Handumdrehen

Diese Studie ist wie eine Detektivgeschichte, die in der digitalen Spielwiese des Aizu Online Judge (AOJ) spielt, einer riesigen Website, auf der Studenten durch das Lösen von Hunderten von Problemen das Programmieren üben. Die Forscher, ein Team von der University of Aizu und der University of Notre Dame, wollten ein spezifisches Rätsel lösen: Können wir vorhersagen, ob ein Student ein Programmierproblem in seinen nächsten Versuchen lösen wird, indem wir uns nur darauf konzentrieren, wie er gerade scheitert?

Um dies zu erreichen, betrachteten sie nicht nur das Endergebnis (gelöst vs. nicht gelöst). Stattdessen testeten sie drei verschiedene Wege, den Fortschritt eines Studenten zu beschreiben, ähnlich wie man ein Rennen eines Läufers auf drei verschiedene Arten beschreiben könnte:

1. Die „Binäre“ Sichtweise (Der alte Weg): Dies ist die einfachste Sichtweise. Sie sieht nur zwei Dinge: Hat der Student es richtig gemacht? Ja oder Nein. Sie ignoriert alles dazwischen. Es ist wie ein Trainer, dem es nur wichtig ist, ob man die Ziellinie überquert hat, während er ignoriert, ob man gerannt oder gekrochen ist.
2. Die „Ordinale“ Sichtweise (Der Ranking-Weg): Dies ist etwas besser. Sie ordnet die Versuche eines Studenten von „völlig falsch“ bis „fast richtig“. Es ist so, als würde man sagen: „Du hast den Korb verpasst, aber du warst näher dran als beim letzten Mal.“ Es liefert etwas mehr Details, behandelt die Schritte aber immer noch nur als Stufen auf einer Leiter.
3. Die „Teilkorrektheit & Fortschritt“-Sichtweise (Der neue, super-detaillierte Weg): Dies ist der Star der Show. Sie betrachtet, wie viel des Problems der Student in jedem Versuch gelöst hat (wie zum Beispiel 40 % der Testfälle richtig gelöst zu haben) und entscheidend, ob er mit jedem Versuch besser wird. Sie verfolgt den „Gewinn“ – hat er sich gegenüber dem letzten Versuch verbessert? Es ist, als würde ein Trainer nicht nur bemerken, dass man näher am Korb ist, sondern auch, dass die Sprunghöhe zunimmt und die Zielgenauigkeit stabiler wird.

Das große Experiment

Die Forscher nahmen einen riesigen Datensatz von über 295.000 Programmierversuchen aus einem Kurs namens „Algorithm and Data Structures I“ (ALDS1) und einen kleineren Satz aus einem „Computational Geometry“ (CGL) Kurs. Sie speisten diese Daten in sechs verschiedene Computer-Gehirn-Modelle (Maschinelles Lernen-Algorithmen) ein, darunter ein populärer Algorithmus namens Random Forest, um zu sehen, welche der drei „Sichtweisen“ auf den Fortschritt eines Studenten am besten geeignet war, um die Zukunft vorherzusagen.

Was sie fanden

Die Ergebnisse waren klar und konsistent. Die neue, detaillierte „Teilkorrektheit & Fortschritt“-Sichtweise (M3) war der Gewinner und schlug die anderen beiden Methoden jedes Mal.

• Der Wert: Bei Verwendung des besten Modells (Random Forest) erreichte die neue Methode einen PR-AUC von 75,39 %. Dies ist ein ausgeklügelter Wert, der misst, wie gut das Modell die „Erfolgsfälle“ findet.
• Der Vergleich: Dies war ein signifikanter Sprung. Die alte „Binäre“ Methode erreichte nur 70,99 %, und die „Ordinale“ Methode erreichte 71,21 %.
• Die Verbesserung: Die neue Methode verbesserte die Genauigkeit um etwa 6,63 % gegenüber der binären Methode und um 6,78 % gegenüber der ordinalen Methode.

Einfacher ausgedrückt: Durch die Beachtung dessen, wie Studenten scheiterten und wie sie sich verbesserten, konnte der Computer ihren Erfolg viel genauer vorhersagen, als wenn er nur darauf gewartet hätte, ob sie es schließlich richtig machen.

Warum es wichtig ist: Die „Risikogruppen“

Die Forscher hörten nicht nur bei den Werten auf; sie nutzten ihr Gewinner-Modell, um Studenten in drei „Risikogruppen“ einzuteilen, um zu sehen, ob dies in der realen Welt Sinn ergibt:

• Niedriges Risiko: Diese Studenten werden das Problem mit an Sicherheit grenzender Wahrscheinlichkeit bald lösen.
• Moderates Risiko: Sie befinden sich in der Mitte, kämpfen aber mit Fortschritt.
• Hohes Risiko: Sie werden wahrscheinlich weiterhin scheitern.

Das Coole daran? Die neue Methode erzeugte die klarste Trennung zwischen diesen Gruppen. Der Unterschied in den Erfolgsraten zwischen der „Niedriges Risiko“-Gruppe (die es 71,20 % der Zeit lösten) und der „Hohes Risiko“-Gruppe (die es nur 24,06 % der Zeit lösten) war gewaltig. Die alten Methoden konnten die Gruppen nicht so deutlich voneinander abgrenzen.

Dies deutet darauf hin, dass die neue Methode als intelligentes Frühwarnsystem dienen kann. Wenn ein Lehrer sieht, dass ein Student in der „Hohes Risiko“-Zone ist, weiß er, dass er mit einem Hinweis oder einem einfacheren Problem eingreifen muss, bevor der Student frustriert ist. Wenn ein Student „Niedriges Risiko“ hat, weiß der Lehrer, dass er ihn weitermachen lassen oder ihm vielleicht eine schwierigere Herausforderung geben sollte.

Das Fazit

Die Arbeit legt nahe, dass in der Programmierausbildung das Wie des Scheiterns genauso wichtig ist wie der Erfolg selbst. Indem wir die winzigen Verbesserungen und die spezifischen Arten von Fehlern verfolgen, die Studenten machen, können wir bessere Werkzeuge bauen, um ihnen beim Lernen zu helfen. Die Studie bestätigt, dass die Betrachtung der „Teilkorrektheit“ und des „Fortschritts“ der Versuche eines Studenten uns eine viel klarere Kristallkugel für ihren zukünftigen Erfolg liefert, als wenn wir nur auf den finalen „Bestanden“ oder „Nicht bestanden“-Button schauen. Sie verwandelt den chaotischen Prozess des Debuggens in eine Roadmap für das Lernen.