Simulating Students' Java Programming Errors with Large Language Models
Diese Arbeit zeigt, dass große Sprachmodelle, insbesondere Claude Sonnet 4, effektiv vielfältige und realistische Java-Programmierfehler von Studierenden simulieren können, was eine skalierbare Alternative zur Erhebung authentischer Abgaben für die Bildungsforschung und intelligente Tutorensysteme darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Lehrer, der sich auf einen großen Programmierkurs vorbereitet. Sie wissen, dass Ihre Studenten Fehler machen werden, aber Sie können nicht genau vorhersagen, welche Fehler das sein werden, bis Sie den Kurs tatsächlich unterrichten und die Hausaufgaben einsammeln. Dies ist ein langsamer, kostspieliger Prozess.
Dieses Paper stellt eine einfache Frage: Können wir eine superintelligente KI (ein Large Language Model, oder LLM) nutzen, um sich als verwirrter Student auszugeben und diese Fehler bereits im Voraus für uns zu generieren?
Hier ist die Aufschlüsselung ihres Experiments, erklärt mit alltäglichen Analogien.
Das Ziel: Der „Fake-Student“-Test
Die Forscher wollten sehen, ob eine KI Java-Code schreiben kann, der exakt so aussieht, als hätte ihn ein Anfänger-Student geschrieben – insbesondere Code, der logische Fehler enthält.
- Logische Fehler sind wie das Schreiben eines Rezepts, in dem steht: „Salz nach Geschmack hinzufügen“, aber man vergisst dabei, tatsächlich Salz hinzuzufügen. Der Computer führt den Code aus, aber das Ergebnis ist falsch, weil das Denken fehlerhaft war.
- Die Herausforderung: Wenn man eine KI einfach nur bittet, „Code zu schreiben“, schreibt sie meistens perfekten Code. Wenn man sie bittet, „den Code kaputt zu machen“, macht sie oft zufällige, alberne Fehler (wie ein Komma an eine Stelle zu setzen, wo ein Punkt hingehört), die echte Studenten gar nicht machen würden. Das Ziel war es, die KI dazu zu bringen, realistische Fehler zu machen.
Das Experiment: Der „Geschmackstest“
Die Forscher nahmen 37 verschiedene Programmieraufgaben aus einem echten Klassenzimmer (CodeWorkout). Sie ließen fünf verschiedene KI-Modelle versuchen, diese Probleme zu lösen, wobei sie drei verschiedene „Instruktionsstile“ (Prompts) verwendeten, um die KI dazu zu zwingen, Fehler zu machen:
- Direkter Befehl (IO): „Hier ist das Problem, gib mir eine falsche Antwort.“
- Lautes Denken (CoT): „Denke die Schritte durch, entscheide, wo du vielleicht patzen könntest, und schreibe dann den falschen Code.“
- Selbstkorrektur-Schleife (Self-Refine): „Schreibe eine falsche Antwort, kritisiere sie dann und korrigiere sie leicht, um eine andere Art von falscher Antwort zu erhalten.“
Sie verglichen dann die „Fake-Fehler“ der KI mit 74.000 echten Fehlern, die von tatsächlichen Studenten gemacht wurden.
Die zwei Hauptregeln für einen guten Fake
Um nützlich zu sein, mussten die KI-Fehler zwei Tests bestehen:
- Diversität (Der Vielfaltstest): Machte die KI viele verschiedene Arten von Fehlern oder wiederholte sie denselben Fehler immer und immer wieder? (Stellen Sie sich einen Koch vor, der versucht, 10 verschiedene Arten von verbrannten Keksen zu backen. Wenn alle exakt gleich aussehen, ist das nicht sehr divers).
- Alignment (Der „Realitätscheck“): Sahen die Fehler der KI so aus, wie ein Mensch sie tatsächlich machen würde? (Wenn die KI Code schreibt, der auf eine Weise falsch ist, wie sie ein Mensch niemals denken würde, ist es kein guter Simulator).
Was sie herausfanden
1. Die KI kann Fehler machen, aber nicht alle KIs sind gleich gut
Alle KI-Modelle konnten eine Vielzahl von Fehlern generieren. Einige waren jedoch besser darin als andere.
- Gemini 2.5 Pro war wie ein chaatischer Künstler: Es erzeugte eine riesige Vielfalt an Fehlern (hohe Diversität), aber viele davon waren seltsam und sahen nicht wie echte Studentenfehler aus.
- GPT-4o war wie ein vorsichtiger Student: Es machte immer und immer wieder sehr ähnliche Fehler (niedrige Diversität).
- Claude Sonnet 4 war das Goldlöckchen der Gruppe. Es fand die beste Balance. Es machte genug verschiedene Arten von Fehlern, aber diese waren auch sehr nah an dem, was echte Studenten tatsächlich schreiben.
2. Der „Lautes Denken“-Trick half
Als die Forscher der KI sagten, sie solle „Schritt für Schritt denken“ (Chain-of-Thought), bevor sie den Code schreibt, wurden die Fehler realistischer. Es war, als ob die KI den Prozess simulierte, bei dem ein Student verwirrt wird, anstatt einfach nur den Code zufällig zu beschädigen.
3. Der „Schwierigkeits“-Faktor
Die Forscher untersuchten, wie „schwierig“ ein Problem war (basierend darauf, wie oft Studenten versuchten, es zu lösen).
- Einfache Probleme: Die KI bildete Studenten sehr gut nach.
- Schwierige Probleme: Je schwieriger die Probleme wurden, desto diverser wurden die Fehler der KI (sie versuchte viele verschiedene falsche Wege), aber sie ähnelten echten Studenten immer weniger. Es ist wie ein Anfänger-Schauspieler, der versucht, eine komplexe Szene zu spielen; er mag zwar viele verschiedene Interpretationen versuchen, aber keine von ihnen fängt ganz die Nuance eines echten menschlichen Auftritts ein.
4. Der „Blinde Geschmackstest“ (Menschliche Experten)
Die Forscher engagierten menschliche Experten, die sich eine Mischung aus echtem Studenten-Code und KI-generiertem Code ansahnen. Die Experten wussten nicht, was was war.
- Das Ergebnis: Die Experten wurden in 83,7 % der Fälle getäuscht. Sie dachten, der Code der KI sei von einem Menschen geschrieben worden.
- Die Wendung: Die Experten bewerteten die Fehler der KI sogar als plausibler (realistischer) als die Fehler der echten Studenten. Warum? Weil die KI „saubere“ Fehler machte (wie ein klassischer Lehrbuchfehler), während echte Studenten oft unordentliche, komplizierte Fehler mit mehreren Fehlern gleichzeitig machen. Die KI war wie ein „idealisierter“ verwirrter Student, während echte Studenten unordentlicher sind.
Das Fazit
Dieses Paper beweist, dass KI als „Stellvertreter“ für Studenten fungieren kann, um realistische Programmierfehler zu generieren.
- Claude Sonnet 4 ist derzeit der beste „Studenten-Simulator“.
- Schwierigere Probleme machen die KI kreativer, aber weniger akkurat in Bezug auf das reale menschliche Verhalten.
- Der Kompromiss: Man kann eine KI haben, die eine riesige Vielfalt an Fehlern macht, oder eine, die sehr realistische Fehler macht, aber es ist schwer, beides perfekt gleichzeitig zu erreichen.
Die Forscher schlagen vor, dass dies ein mächtiges Werkzeug für Lehrer und Entwickler von Lernsoftware ist. Anstatt Jahre zu warten, um Tausende von echten Studentenfehlern zu sammeln, um ihre Systeme zu trainieren, können sie diese „Fake“-Fehler nutzen, um bessere Tutorien-Tools zu bauen und Lehrern zu helfen, vorherzusehen, wo sich Studenten festfahren könnten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.