Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes
Dieses Paper schlägt ein Bewertungsmodell für Informatikkurse in höheren Semestern vor und validiert es vorläufig, welches die Nutzung generativer KI für Hausaufgaben in der Programmierung erlaubt, während durch stark gewichtete, auf Aufgaben basierende schriftliche Quizfragen die Beherrschung der Inhalte durch die Studierenden sichergestellt wird, wobei keine signifikante Korrelation zwischen der KI-Nutzung und der akademischen Leistung unter diesem Rahmenwerk festgestellt wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Informatik-Klassenzimmer vor, in dem Studenten lernen, komplexe Maschinen zu bauen. Traditionell würde der Lehrer sagen: „Gehen Sie nach Hause, bauen Sie diese Maschine von Grund auf neu und bringen Sie sie zurück.“ Die Angst bei den neuen KI-Tools ist, dass die Studenten die KI einfach fragen könnten, die Maschine für sie bauen zu lassen, sie dann abgeben und eine „A“ bekommen, ohne jemals gelernt zu haben, wie die Zahnräder tatsächlich ineinandergreifen. Dies nennt man „kognitive Auslagerung“ (cognitive offloading) – einen Roboter die Denkarbeit erledigen zu lassen, damit das eigene Gehirn es nicht tun muss.
Dieses Paper beschreibt eine kluge neue Art, dieses Problem zu handhaben, die der Autor als „Open and Verify“ bezeichnet.
Die neue Strategie: Die „Kochkurs“-Analogie
Stellen Sie sich den Kurs wie eine Kochschule vor.
- Der alte Weg: Der Lehrer sagt: „Gehen Sie nach Hause und backen Sie einen Kuchen. Bringen Sie ihn morgen mit.“ Wenn ein Student einen Kuchen beim Bäcker kauft und behauptet, er hätte ihn selbst gebacken, würde der Lehrer es vielleicht nie merken.
- Der „Verbot“-Weg: Der Lehrer sagt: „Keine gekauften Kuchen erlaubt!“ Aber im Zeitalter der KI ist das so, als würde man versuchen, Backöfen zu verbieten; es ist unmöglich, die Studenten am Gebrauch der ihnen zur Verfügung stehenden Werkzeuge zu hindern.
- Der „Open and Verify“-Weg (die Lösung in diesem Paper): Der Lehrer sagt: „Sie dürfen ein Rezeptbuch, einen Sous-Chef oder sogar einen Roboter benutzen, um zu Hause den Kuchen zu backen. ABER, wenn Sie zum Unterricht kommen, müssen Sie sofort einen Test machen, bei dem Sie genau erklären müssen, wie der Kuchen gemacht wurde, warum Sie diese Zutaten verwendet haben und ein kaputtes Teil des Rezepts vor Ort reparieren müssen.“
In dieser Studie ist der „Kuchen“ eine Programmieraufgabe und der „Roboter“ ist Generative KI (GenAI).
So funktionierte es in der Studie
Ein Professor der Lawrence Technological University probierte dies mit einer kleinen Gruppe von 14 fortgeschrittenen Studenten aus. Hier ist das Rezept, das sie verwendeten:
- Die Aufgabe (Der hausgemachte Kuchen): Den Studenten war es erlaubt, KI zu nutzen, um den Code für ihre Hausaufgaben zu schreiben. Sie mussten sogar einen „Disclaimer“ ausfüllen, der angab, wie viel Hilfe sie von der KI erhielten (z. B. „Ich habe KI für 50 % dieses Codes genutzt“).
- Der Clou (Das Gewicht): Die Hausaufgabe selbst war sehr wenig Punkte wert (nur 2 %).
- Der wahre Test (Der In-Class-Quiz): Unmittelbar nachdem die Hausaufgabe abgegeben wurde, machten die Studenten einen schriftlichen Quiz unter Aufsicht im Unterricht. Dieses Quiz war deutlich mehr wert (5 % oder 10 %).
- Die Quizfragen bezogen sich direkt auf die Hausaufgabe, die sie gerade abgegeben hatten.
- Sie mussten den Code erklären, fehlende Zeilen ergänzen oder vorhersagen, was der Code tun würde.
- Das Ziel: Wenn man die KI genutzt hat, um den Code zu schreiben, aber den Code nicht verstanden hat, würde man beim Quiz durchfallen. Wenn man ihn verstand, würde man exzellent abschneiden.
Was kam dabei heraus?
Die Forscher wollten wissen: Macht die Nutzung von KI die Studenten dümmer oder hilft sie ihnen?
Sie untersuchten die Daten und fanden überraschende Ergebnisse:
- Kein Zusammenhang: Es gab so gut wie keinen Zusammenhang zwischen der Menge an KI, die ein Student nutzte, und seinem Erfolg im Kurs. Unabhängig davon, ob ein Student die KI für 10 % oder 90 % seiner Arbeit nutzte, war die Endnote etwa dieselbe.
- Die „Mittelmaß“-Falle: Interessanterweise schnitten Studenten, die eine moderate Menge an KI nutzten (25–50 %), etwas schlechter ab als diejenigen, die sehr wenig oder sehr viel nutzten. Der Autor vermutet, dass diese „Mittelmaß“-Studenten zu faul waren, den Code selbst zu schreiben, aber nicht geschickt genug waren, um die KI effektiv zu „prompten“, um gute Ergebnisse zu erzielen. Sie steckten in der Mitte fest.
- Feedback der Studenten: Die Studenten liebten es. Sie sagten, dass die Quizzes sie dazu zwangen, den Code, den die KI geschrieben hatte, tatsächlich zu lesen und zu verstehen, anstatt ihn einfach nur blind einzureichen. Sie fühlten sich weniger gestresst, da sie KI zur Unterstützung nutzen konnten, aber die Quizzes sicherstellten, dass sie das Material auch wirklich lernten.
Das Faz-it
Das Paper kommt zu dem Schluss, dass man KI nicht verbieten muss, um das Lernen der Studenten zu erhalten.
Wenn man den Studenten erlaubt, die KI für die „schwere Arbeit“ des Codierens zu nutzen, sie dann aber unmittelbar auf ihr eigenes Verständnis dieses Codes testet, lernen sie dennoch die Konzepte. Es ist so, als würde man einem Studenten erlauben, für die Mathehausaufgaben einen Taschenrechner zu benutzen, ihn dann aber vor der Klasse eine Aufgabe an der Tafel lösen lassen, ohne Taschenrechner, um zu beweisen, dass er die Mathematik beherrscht.
Die Einschränkung: Der Autor gibt zu, dass diese Studie klein war (nur 14 Studenten), weshalb sie eher ein „Proof of Concept“ als eine endgültige Antwort ist. Zudem erzeugt es mehr Arbeit für den Lehrer, der diese zusätzlichen Quizzes entwerfen und bewerten muss. Aber für den Moment deutet es darauf hin, dass KI mit den richtigen „Open and Verify“-Regeln ein hilfreiches Werkzeug sein kann, statt einer Abkürzung zum Betrug.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.