Generative AI Availability, Grades, and Student Satisfaction at a Large University
Unter Verwendung einer groß angelegten Differenz-von-Differenzen-Analyse von über 138.000 Studierenden stellt diese Studie fest, dass es keine Belege dafür gibt, dass die Verfügbarkeit generativer KI die Noten in Kursen, die anfällig für eine KI-Substitution sind, unverhältnismäßig aufgebläht oder die Zufriedenheit der Studierenden verringert hat, wodurch die Bedenken gemildert werden, dass Studierende kognitive Anstrengung an KI auslagern, ohne zu lernen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der über Nacht ein magischer, superintelligenter Roboter-Assistent auftaucht. Dieser Roboter kann Essays schreiben, Matheaufgaben lösen und Code schneller entwerfen als jeder Mensch. Plötzlich taucht in Schulen überall eine große Frage auf: Wenn Schüler diesen Roboter für ihre Hausaufgaben nutzen, werden sie das Material dann tatsächlich noch lernen? Oder werden sie einfach nur perfekte Noten bekommen, ohne jemals ein Lehrbuch aufgeschlagen zu haben? Dies ist der Kern einer Debatte in der Erziehungswissenschaft. Forscher versuchen herauszufinden, ob diese „Roboterhilfe“ ein nützliches Werkzeug ist, das das Lernen fördert, oder eine „kognitive Abkürzung“, die es Schülern ermöglicht, die harte Arbeit des Denkens zu überspringen. Es ist wichtig, denn Noten sind wie ein Signal für die Zukunft; sie sagen Hochschulen und Arbeitgebern, was ein Student weiß. Wenn Noten weniger bedeuten, weil alle den Roboter benutzt haben, könnte das ganze System zur Einteilung von Studenten in Jobs und Karrieren durcheinandergebracht werden.
Nun zoomen wir heran auf eine massive Studie einer riesigen Universität im amerikanischen Mittleren Westen, die versucht hat, dieses Rätsel zu lösen. Die Forscher waren wie Detektive, die nach einer ganz bestimmten Art von „Zaubertrick“ suchten. Sie wussten, dass nicht alle Kurse gleich sind. Einige Kurse sind wie ein „Hausaufgaben-Test“, bei dem man alleine in seinem Zimmer mit seinem Laptop arbeiten kann – dies sind die Kurse, die am ehesten „anfällig“ für die Hilfe des Roboters sind. Andere Kurse sind wie eine „Live-Performance“ oder eine Klausur ohne Hilfsmittel, bei der man seine Fähigkeiten in Echtzeit vor einem Lehrer zeigen muss – diese sind viel schwieriger für einen Roboter zu fälschen.
Das Team sammelte einen Berg von Daten: Lehrpläne, Noten und Studentenumfragen von über 138.000 Studenten aus tausenden Kursen und betrachtete die Jahre vor und nach der Veröffentlichung des berühmten KI-Chatbots (ChatGPT) Ende 2022. Sie verwendeten einen cleveren statistischen Trick namens „Differenz-von-Differenzen-Ansatz“. Denken Sie daran wie beim Vergleich zweier Gruppen von Läufern: Eine Gruppe läuft auf einer Bahn, auf der sie einen motorisierten Roller benutzen kann (die anfälligen Kurse), und eine andere Gruppe läuft auf einer Bahn, auf der sie zu Fuß laufen muss (die nicht anfälligen Kurse). Sie wollten sehen, ob die Gruppe mit den Rollern nach der Einführung der Roller plötzlich viel schneller war als die Fußläufer.
Hier kommt die Wendung: Die Studie fand heraus, dass die Roller-Gruppe nicht plötzlich davonzog. Tatsächlich fanden die Forscher keinen signifikanten Unterschied in den Endnoten zwischen den Kursen, in denen KI leicht genutzt werden konnte, und denen, in denen dies nicht möglich war. Ob ein Student ein Spitzenreiter war oder jemand, der normalerweise Schwierigkeiten hatte, der KI schien keinen magischen Noten-Boost zu geben. Der „Roboter“ verursachte keine Welle der Noteninflation.
Die Forscher prüften auch, ob sich Studenten anders über ihre Kurse fühlten. Hatten sie das Gefühl, das Material weniger zu verstehen? Haben sie das Interesse verloren? Fühlte sich die Arbeit einfacher an? Auch hier war die Antwort meistens „nein“. Sobald sie die chaotischen, verwirrenden Jahre der Pandemie (die das Schulwesen bereits verändert hatten) berücksichtigten, schien die Einführung der KI nicht dazu geführt zu haben, dass sich die Studenten weniger engagiert oder weniger zufrieden fühlten.
Was ist also das Urteil? Die Studie legt nahe, dass die Angst, dass Studenten KI nutzen, um ihre eigene Anstrengung zu „ersetzen“ und sich leichte Einsen zu holen, zumindest in diesem großen universitären Umfeld überzogen ist. Obwohl die KI definitiv genutzt wird, hat sie das Notensystem nicht zerstört oder dazu geführt, dass die Studenten mit dem Lernen aufhören. Das „Signal“ der Note scheint immer noch das zu bedeuten, was es schon immer tat. Die Forscher sagen vorsichtig, dass dies nicht bedeutet, dass die KI keinen Effekt hat, aber es bedeutet, dass die beängstigende Vorstellung, Noten seien nun wegen der Roboter bedeutungslos, durch die gesammelten Daten nicht gestützt wird. Die Noten stiegen nicht, die Studenten schalteten sich nicht ab und das Lernsignal bleibt intakt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.