Using LLMs to Detect Growth in Computational Thinking in Introductory Physics
Diese Studie zeigt, dass Large Language Models die Bewertung des Fortschritts von Studierenden im Bereich des computationalen Denkens in einführenden Physikkursen effektiv skalieren können, indem sie menschliche Bewertungen von schriftlichen Erläuterungen zu Datenpraktiken und Problemlösungen widerspiegeln, obwohl beide Methoden vor Herausforderungen bei der zuverlässigen Bewertung komplexer Konstrukte wie des Systemdenkens stehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Physik nicht nur als eine Sammlung von Formeln auf einer Tafel vor, sondern als ein riesiges, interaktives Videospiel, bei dem die Naturgesetze der Programmcode sind. Seit Jahrzehnten versuchen Lehrer, Schüler dazu zu bringen, nicht nur die Regeln auswendig zu lernen, sondern den Code selbst zu schreiben. Diese Fähigkeit wird „Computational Thinking“ (rechenndes Denken) genannt. Es geht dabei nicht nur darum, schnell zu tippen oder die Syntax eines Computers zu kennen; es geht darum, ein riesiges, chaotisches Problem der realen Welt (wie einen Autounfall oder die Umlaufbahn eines Planeten) in winzige, logische Schritte zu zerlegen, die ein Computer verstehen kann. Es ist, als wäre man ein Übersetzer, der sowohl „Mensch“ als auch „Maschine“ spricht und herausfindet, wie man einen fallenden Apfel so beschreibt, dass ein Roboter genau vorhersagen kann, wo er landen wird.
Die große Frage für Pädagogen lautet: Woher wissen wir, ob die Schüler bei diesem Übersetzungsjob tatsächlich besser werden? Traditionell haben Lehrer Multiple-Choice-Tests verwendet, die leicht zu korrigieren, aber schlecht darin sind, die Art und Weise des Denkens eines Schülers aufzuzeigen. Um das eigentliche Denken zu sehen, müssen Schüler ihre Antworten in Worten formulieren. Aber hier liegt der Haken: Hunderte von handgeschriebenen Essays zu lesen, ist erschöpfend, langsam und teuer. Es ist, als würde man versuchen, eine Million Essays von Hand zu bewerten, während die Uhr tickt. Nun ist eine neue Art von „Super-Leser“ eingetroffen: Künstliche Intelligenz (KI), speziell Large Language Models (LLMs). Dies sind dieselben Arten von intelligenten Computern, die Geschichten schreiben oder mit Ihnen chatten können. Die brennende Frage ist: Können diese KI-Bots Schüler-Essays lesen und das Wachstum ihrer Denkfähigkeiten genauso gut erkennen wie ein menschlicher Lehrer, aber ohne die Kaffeepausen?
Diese Arbeit, geschrieben von Forschern der Purdue University, setzt sich zum Ziel, diese Frage zu beantworten. Sie wollten sehen, ob eine KI als riesiger, unermüdlicher Lehrassistent fungieren kann, um zu verfolgen, wie sich das Computational Thinking der Studenten über ein Semester hinweg entwickelt. Sie baten die KI nicht nur darum zu benoten; sie baten sie, nach spezifischen „Superkräften“ in den Texten der Studenten zu suchen: Können sie mit Daten umgehen? Können sie Probleme zerlegen? Verstehen sie, wie komplexe Systeme zusammenwirken?
Um dies zu testen, sammelten die Forscher 936 Studenten in einem Physikkurs, in dem sie lernten, in Python zu programmieren. Vor Beginn und nach Ende des Kurses beantworteten die Studenten offene Fragen zu physikalischen Problemen, wie etwa die Interpretation eines Graphen einer springenden Feder oder das Entwerfen einer Simulation für einen Schlitten, der einen Hang hinuntergleitet. Zuerat las ein Team von Experten eine kleine Stichprobe dieser Essays und vergab Noten basierend auf einer strengen Rubrik. Dies schuf einen „Goldstandard“ dafür, was ein Mensch als gute Antwort ansieht. Dann fütterten sie exakt dieselben Essays in ein KI-Modell (speziell eine multimodale Version von GPT-4o-mini) und baten es, unter Anwendung derselben Regeln zu bewerten.
Die Ergebnisse waren überraschend vielversprechend. Die KI erwies sich als sehr fähiger Assistent. Bei klar definierten Fähigkeiten wie dem Umgang mit Daten (Data Practices) und der Zerlegung von Codeschritten (Computational Problem-Solving) stimmten die Noten der KI fast perfekt mit den Bewertungen der menschlichen Experten überein. Als die Forscher die gesamte Gruppe von 936 Studenten betrachteten, erkannte die KI dieselben großen Trends, die auch die Menschen fanden: Die Studenten wurden am Ende des Semesters signifikant besser im Umgang mit Daten und im computergestützten Problemlösen. Tatsächlich bestätigte die KI, dass die Studenten in diesen Bereichen enorme Sprünge machten, wobei die Datenkompetenz eine massive Verbesserung zeigte.
Die Geschichte ist jedoch kein perfektes „KI gewinnt alles“-Epos. Die Forscher fanden heraus, dass sowohl Menschen als auch die KI mit der komplexesten Fähigkeit kämpften: dem „Systemdenken“ (Systems Thinking). Dies ist die Fähigkeit, zu sehen, wie alle winzigen Teile eines Systems interagieren, um ein großes Ganzes zu erschaffen. Da dieses Konzept so vage und schwer greifbar ist, waren sich sogar die menschlichen Experten manchmal uneinig, und die KI hatte ebenfalls Schwierigkeiten, ihnen zu entsprechen. Das Paper legt nahe, dass die KI hier nicht „dumm“ ist; vielmehr ist die Aufgabe selbst einfach sehr schwer präzise zu definieren.
Es gab auch eine amüsante Wendung bei einer spezifischen Frage zum Entwurf einer Schlittensimulation. Die Studenten waren bereits so gut in diesem Thema, dass sie sich kaum noch steigern konnten. Es war, als würde man einen Profikoch nach seinen Messerkunst-Fähigkeiten fragen, wenn er bereits die schärfsten Messer der Welt benutzt. Die Punktzahlen erreichten ein „Plateau“ (Ceiling), was bedeutete, dass kein Raum für messbares Wachstum vorhanden war, und die KI identifizierte korrekt, dass in diesem Bereich kein Fortschritt stattfand.
Letztendlich zeigt die Studie, dass KI ein lebensfähiges, mächtiges Werkzeug ist, um zu überprüfen, wie Studenten lernen, wie Computerkundler der Physik zu denken. Sie kann hochskalieren, um tausende von Essays zu lesen und dieselben Muster zu finden wie Menschen, was Lehrer vor einem Berg an Papierarbeit bewahrt. Aber sie dient auch als Erinnerung daran, dass KI nur so gut ist wie die Regeln, die wir ihr geben. Für die unordentlichen, komplexen Teile des Denkens, bei denen selbst Menschen uneins sind, benötigen wir weiterhin sorgfältiges Design und menschliche Aufsicht. Die KI ersetzt nicht den Lehrer; sie reicht ihm eine superpowered Lupe, um das Wachstum zu sehen, das bereits stattfindet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.