LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

Stellen Sie sich vor, Sie sind in einem Kochkurs, in dem das gesamte Semester damit verbracht wird, die Kunst der perfekten Pizza zu meistern. Sie lernen, den Teig zu kneten, die Sauce auszuwählen und sie goldbraun zu backen. Am Ende des Semesters bewertet der Lehrer Sie normalerweise nach der Pizza, die Sie tatsächlich hergestellt haben. Aber hier liegt das Problem: Nur weil Sie eine großartige Pizza machen können, bedeutet das nicht, dass Sie wirklich verstehen, warum sie funktioniert, oder dass Sie dieselben Fähigkeiten nutzen könnten, um einen Kuchen zu backen oder einen kaputten Ofen zu reparieren. Vielleicht haben Sie nur die Schritte für die Pizza auswendig gelernt, oder Sie haben Hilfe von einem Roboter-Koch (wie einer KI) bekommen, der die schwere Arbeit erledigt hat, während Sie nur zugeschaut haben.

Dies ist genau das Rätsel, vor dem Informatiklehrer bei der projektbasierten Lernmethode (Project-Based Learning, PjBL) stehen. Studierende entwickeln coole Softwareprojekte, aber traditionelle Tests prüfen oft nur, ob sie Code kopieren und einfügen oder einen Bericht über das spezifische Ding schreiben können, das sie gebaut haben. Sie übersehen dabei das „höhere Denkvermögen“ (Higher-Order Thinking, HOT) – die Fähigkeit, das Gelernte zu nehmen und auf eine völlig neue, schwierige Situation anzuwenden.

Das neue Werkzeug: „Design-Probleme“

Um dies zu beheben, haben die Autoren dieser Arbeit etwas namens Design-Probleme (DPs) eingeführt. Denken Sie an diese Design-Probleme als eine „Küchen-Herausforderung“, die direkt nach dem Pizza-Kurs stattfindet. Anstatt zu fragen: „Zeig mir deine Pizza“, sagt der Lehrer:

„Okay, stellen Sie sich vor, ein Krankenhaus benötigt ein System, um zu verfolgen, wie ältere Patienten ihre Finger bewegen, um gesundheitliche Probleme zu erkennen. Verwenden Sie dieselbe Logik, die Sie für Ihre Pizza-App verwendet haben, um einen High-Level-Plan für dieses neue System zu entwerfen. Sie haben 30 Minuten Zeit.“

Dies zwingt die Studierenden dazu, aufzuhören, bloß Fakten aufzusagen, und stattdippen, ihr Wissen zu transferieren. Sie müssen analysieren, bewerten und etwas Neues erschaffen, um zu beweisen, dass sie die Konzepte wirklich verstanden haben und nicht nur den spezifischen Code geschrieben haben, der für ihr Abschlussprojekt relevant war.

Der Roboter-Helfer: Kann KI die Fragen schreiben?

Das Erstellen dieser kniffligen Fragen mit neuen Szenarien ist harte Arbeit für Lehrer. Es dauert ewig, eine frische Situation zu erfinden, die zu jedem einzelnen Studentenprojekt passt. Also fragten die Forscher: Kann ein Large Language Model (LLM) – ein superintelligenter KI-Chatbot – diese Fragen für uns schreiben?

Sie testeten dies, indem sie zwei verschiedene KI-Modelle (ein Standardmodell und eines mit „Reasoning“, das Schritt für Schritt denkt) baten, 8en dieser Design-Probleme basierend auf vier verschiedenen Studentenprojekten (wie einem Sicherheitstool, einem verteilten Spiel und einer mobilen App) zu generieren.

Was sie herausfanden:

• Die KI ist ziemlich gut: Die „Reasoning“-KI war besonders beeindruckend. Sie erstellte Szenarien, die realistisch waren und perfekt zu den Lernzielen passten. Tatsächlich erhielten 50 % der KI-generierten Probleme eine perfekte Punktzahl von menschlichen Experten.
• Die KI ist nicht perfekt: Manchmal wurde die KI faul. Sie erstellte ein Szenario, das zu ähnlich zum ursprünglichen Projekt war (wie nach einer Pizza zu fragen, wenn man bereits eine Pizza gemacht hat), oder sie machte die Frage zu vage.
• Das Urteil: Die Arbeit schlägt vor, dass KI eine große Hilfe sein kann, indem sie als unermüdlicher Assistent fungiert, der die Fragen entwirft, aber ein menschlicher Lehrer muss sie immer noch überprüfen, um sicherzustellen, dass sie nicht zu einfach oder verwirrend sind.

Der Klassentest: Haben die Studierenden es verstanden?

Die Forscher ließen diese KI-geschriebenen Design-Probleme dann in drei echten College-Kursen einsetzen. Sie gaben den Studierenden 30 Minuten Zeit, um eines dieser neuen Szenarien individuell zu lösen.

Hier ist der Clou:
Als sie die Noten der Studierenden bei diesen neuen Design-Problemen mit ihren Noten bei den ursprünglichen, semesterlangen Projekten verglichen, gab es fast keinen Zusammenhang.

• Einige waren „Meister“: Sie meisterten das Projekt und die neue Herausforderung.
• Einige waren „Implementierer“: Sie bauten ein großartiges Projekt (vielleicht mit Hilfe oder indem sie einem Rezept folgten), scheiterten aber an der neuen Herausforderung, weil sie die Logik nicht anderweitig anwenden konnten.
• Einige waren „Konzeptualisierer“: Sie hatten Schwierigkeiten mit dem Projekt, aber knackten die neue Herausforderung, weil sie die tiefen Konzepte verstanden hatten.

Dies beweist, dass traditionelle Projektnoten nicht die ganze Geschichte erzählen. Ein Student kann eine großartige App bauen, aber dennoch nicht wissen, wie er in einer neuen Situation wie ein Ingenieur denkt. Die Design-Probleme haben diesen Unterschied aufgezeigt.

Wie die Studierenden tatsächlich dachten

Die Forscher untersuchten auch, wie die Studierenden ihre Antworten tippten (mittels Tastenanschlag-Daten). Sie fanden heraus, dass die Studierenden nicht einfach nur wild tippten.

• Sie machten zu Beginn etwa 2 Minuten Pause, wahrscheinlich um nachzudenken und zu planen.
• Sie löschten und schrieben Teile ihrer Antworten um (ein „Revisionsverhältnis“ von etwa 12–16 gelöschten Zeichen pro 100 getippten Zeichen).
• Sie machten häufige Pausen (Pausen von mehr als 10 Sekunden) während des Schreibens.

Dieses Verhalten legt nahe, dass die Studierenden tatsächlich die harte mentale Arbeit der Analyse und Synthese von Ideen leisteten, anstatt nur zu kopieren und einzufügen.

Was die Arbeit ausschließt

Die Arbeit stellt vorsichtig klar, was diese Methode nicht ist:

• Sie ist kein Allheilmittel, das alle anderen Tests ersetzt.
• Sie ist keine Methode, die perfekt funktioniert, wenn Studierende während des Tests eine KI nutzen können (deshalb ließen die Lehrer sie die Aufgaben im Unterricht ohne Handys lösen).
• Sie ist keine Möglichkeit, Studierende basierend auf der Zeit zu bewerten, die sie benötigen; die Daten zeigten, dass mehr Zeit nicht zwangsläufig zu besseren Noten führte.
• Sie ist noch kein perfektes System; die Arbeit merkt explizit an, dass die Bewertung dieser offenen Antworten immer noch subjektiv ist und ohne Hilfe schwer skalierbar bleibt.

Das Fazit

Die Studie legt nahe, dass die Verwendung von KI zur Generierung dieser „Design-Probleme“ ein vielversprechender Weg ist, um zu prüfen, ob Studierende die Konzepte der Informatik wirklich verstehen, anstatt nur auswendig zu lernen, wie man eine ganz bestimmte Sache baut. Es hilft Lehrkräften zu sehen, was den Unterschied zwischen einem Studenten, der ein Rezept befolgen kann, und einem Studenten ausmacht, der ein völlig neues Gericht kreieren kann. Obwohl die KI nicht perfekt ist und eine menschliche Aufsicht benötigt, könnte sie der Schlüssel dazu sein, sicherzustellen, dass Studierende bereit für die reale Welt sind, in der Probleme niemals exakt so aussehen wie die, die sie im Unterricht geübt haben.