Is Solving Better Than Evaluating GenAI Solutions?
Eine randomisierte Studie in einem Algorithmenkurs für Fortgeschrittene ergab, dass das Bewerten fehlerhafter, durch generative KI erzeugter Lösungen die Hausaufgabennoten zwar verbesserte, ohne die allgemeine Prüfungsleistung zu beeinträchtigen, dies jedoch nicht automatisch zu einer besseren konzeptionellen Transferleistung oder Lernzuwächsen im Vergleich zum traditionellen Problemlösen ohne gezielte Unterstützung führte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie lernen, ein Meisterkoch zu werden. Jahrelang war der einzige Weg, um zu beweisen, dass Sie Kochen verstanden hatten, in einer Küche zu stehen, Ihr eigenes Gemüse zu schneiden und Ihr eigenes Soufflé von Grund auf selbst zu backen. Doch nun ist ein magischer Roboter aufgetaucht, der in Sekundenschnelle ein perfektes Soufflé zaubern kann. Dies hat in Kochschulen für eine gewisse Panik gesorgt. Sollten sie den Roboter verbieten? Oder sollten sie die Studenten den Roboter benutzen lassen, aber die Prüfung ändern? Anstatt die Studenten zu bitten, zu backen, sollten sie sie vielleicht bitten, das Soufflé des Roboters zu probieren, die verbrannten Stellen zu finden und zu erklären, warum es gescheitert ist. Dies ist die große Frage, vor der die Informatik-Ausbildung heute steht. Wir befinden uns in der Ära der „Generativen KI“, in der Computer Code schreiben und mathematische Probleme fast augenblicklich lösen können. Pädagogen fragen sich: Wenn wir aufhören, die Studenten zu bitten, die Lösung zu bauen, und stattdessen anfangen, sie zu bitten, die Lösung der KI zu kritisieren, werden sie dann tatsächlich mehr lernen? Oder werden sie nur schlechter darin, selbstständig zu denken?
Dieses Papier ist ein reales Experiment, das dazu dient, diese Debatte zu klären. Forscher der Purdue University nahmen eine Klasse von 220 Studenten im dritten Studienjahr, die „Algorithmen“ studierten – das sind im Grunde nur schicke, schrittweise Rezepte zur Lösung komplexer Probleme, wie etwa dem Finden des schnellsten Weges auf einer Karte oder dem Organisieren einer riesigen Liste von Daten. Sie richteten ein großes „A/B-Testing“ ein, was so ähnlich ist wie das Werfen einer Münze, um zu entscheiden, wer welche Hausaufgabe bekommt. In der ersten Hälfte des Semesters mussten eine Gruppe von Studenten (nennen wir sie die „Bäcker“) eine schwierige algorithmische Aufgabe von Grund auf selbst lösen. Die andere Gruppe (die „Kritiker“) musste eine KI bitten, dieselbe Aufgabe zu lösen, und dann die Arbeit der KI bewerten, indem sie aufzeigten, wo der Roboter Fehler gemacht hatte. Dann tauschten sie für die zweite Hälfte des Semesters die Rollen. Die „Kritiker“ wurden zu „Bäckern“ und die „Bäcker“ zu „Kritikern“.
Die Forscher wollten sehen, ob die „Kritiker“ besser lernten als die „Bäcker“. Half das Aufspüren der Fehler der KI dabei, die Konzepte tiefer zu verstehen? Wurden sie dadurch später besser darin, Probleme eigenständig zu lösen? Die Antwort war überraschenderweise ein wenig ein „Naja“. Als die Studenten ihre großen Zwischen- und Abschlussprüfungen ablegten, schnitten die „Kritiker“ nicht besser ab als die „Bäcker“. Tatsächlich schnitten sie auch nicht schlechter ab. Die beiden Gruppen erreichten fast identische Noten. Die Studie legt nahe, dass das Ersetzen des Aktes des Erschaffens einer Lösung durch den Akt der Kritik an einer KI-Lösung einen nicht automatisch zu einem besseren Problemlöser macht. Es ändert nur, wie man seine Zeit verbringt. Die „Kritiker“ investierten ihre Energie in die Diagnose von Fehlern und die Beurteilung der Logik, während die „Bäcker“ ihre Energie in den Aufbau der Logik von Grund auf investierten. Beide Ansätze führten scheinbar zum selben Ziel bei der Prüfung.
Es gab jedoch eine kleine Wendung. Die Studenten, die als „Kritiker“ fungierten, erhielten tatsächlich höhere Punktzahlen bei den spezifischen Hausaufgaben, bei denen sie die KI bewerteten. Es war einfacher, einen Fehler in der Arbeit eines Roboters zu finden, als das Ganze selbst zu konstruieren. Aber hier ist der Haken: Diese zusätzlichen Hausaufgabenpunkte übertrugen sich nicht auf bessere Prüfungsergebnisse. Es war, als würde man in einem Übungstest eine Eins bekommen, aber in der echten Prüfung dieselbe Note erzielen. Die Forscher fragten auch die Studenten, wie sie sich fühlten. Die meisten sagten, dass die KI-Aufgaben ihr Lernverhalten nicht verändert hätten. Die wenigen Studenten jedoch, die angaben, dass sie ihre Lerngewohnheiten geändert hatten, empfanden die „Kritik“-Aufgaben als wesentlich hilfreicher. Dies deutet darauf, dass das bloße Auffordern eines Studenten, eine KI zu bewerten, kein Allheilmittel ist. Um wirklich zu lernen, müssen Studenten möglicherweise mehr Anleitung erhalten – wie zum Beispiel die Aufforderung, nicht nur den Fehler zu finden, sondern ihn auch zu beheben oder genau zu erklären, warum die Behebung funktioniert.
Am Ende legt die Studie nahe, dass Schulen sicher mit der KI interagieren lassen können, damit Studenten Lösungen kritisieren, ohne dass dies ihre Noten ruiniert, aber es wird sie nicht automatisch zu Genies machen. Die Magie liegt nicht in der KI selbst; sie liegt darin, wie der Lehrer die Aufgabe gestaltet. Wenn das Ziel ein tiefes Verständnis ist, reicht es vielleicht nicht aus, einem Studenten einfach eine fehlerhafte Roboterlösung zu geben und zu sagen: „Repariere es“. Sie benötigen vielleicht etwas mehr Unterstützung (Scaffolding), um aus dieser Kritik einen echten „Aha!“-Moment zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.