How students use generative AI for computational modeling in physics

Die Studie zeigt, dass generative KI den Prozess des computergestützten Modellierens in der Physik erheblich beeinflusst, wobei ein produktiver Einsatz durch die Begrenzung auf kleine Schritte und kritisches Überprüfen gekennzeichnet ist, während eine übermäßige Abhängigkeit zu falschen Annahmen und mangelndem Verständnis der Grundlagen führt.

Das Wesentliche

🤖 Der digitale Assistent im Physik-Labor: Wie Studierende KI nutzen

Stell dir vor, du bist ein junger Architekt, der einen komplexen Turm bauen soll. Früher musstest du jeden Stein selbst schleppen und jede Formel selbst berechnen. Heute hast du einen super-intelligenten, aber manchmal etwas verwirrten digitalen Assistenten (die KI), der dir helfen kann.

Eine neue Studie von Forschern an der Universität Oslo hat genau das untersucht: Wie nutzen Physik-Studenten diesen digitalen Assistenten, wenn sie Programmier-Aufgaben lösen?

Hier ist, was sie herausfunden, übersetzt in eine einfache Geschichte:

1. Der Plan: Der Bauplan vs. der erste Entwurf

Die Studenten begannen meist mit einer eigenen Idee für ihren Turm (z. B. "Wie sieht das Magnetfeld aus?").

• Die gute Nutzung: Sie fragten die KI: "Wie könnte ich das grob anfangen?" Die KI lieferte einen ersten Entwurf. Die Studenten nahmen das als Sprungbrett, korrigierten es und bauten darauf weiter. Das war wie ein Coach, der einen ersten Skizzenentwurf macht, damit du nicht bei Null anfängst.
• Das Problem: Manche Studenten ließen die KI den ganzen Plan machen. Das Ergebnis war oft ein Turm, der physikalisch Unsinn war. Die Studenten verstanden dann nicht mehr, warum der Turm stand oder fiel, weil sie den Plan nicht selbst geschrieben hatten.

2. Das Bauen: Der Code schreiben

Hier wurde die KI am häufigsten genutzt.

• Der "Klebeband"-Effekt: Wenn ein Student einen kleinen Teil des Codes nicht wusste (z. B. "Wie zeichne ich eine Kurve?"), fragte er die KI. Das war super hilfreich, wie wenn man nachschaut, wie man ein bestimmtes Werkzeug benutzt.
• Der "Fremde Bau": Manche Studenten ließen die KI ganze Abschnitte des Turms bauen (z. B. 1000 Zeilen Code übersetzen). Das ging schnell, aber wenn der Turm wackelte, wussten sie nicht, wo das Problem lag. Sie waren wie jemand, der ein Auto fährt, ohne zu wissen, wie der Motor funktioniert. Wenn der Motor ausfällt, können sie nichts reparieren.

3. Die Reparatur: Fehler suchen (Debugging)

Das war der beliebteste Einsatzbereich. Wenn der Turm nicht stand (der Code Fehler meldete), gaben viele Studenten den Fehler sofort der KI.

• Der schnelle Fix: Die KI fand den Fehler oft in Sekunden, für den die Studenten stundenlang gekämpft hätten. Das war wie ein Werkzeug, das sofort das kaputte Teil findet.
• Die Falle: Da es so schnell ging, lernten die Studenten nicht, wie man Fehler findet. Sie wurden zu "Fehler-Versteckern" statt zu "Fehler-Jägern". Wenn die KI mal einen neuen Fehler einbaute (was ihr manchmal passierte), merkten die Studenten das nicht, weil sie den Code nicht wirklich verstanden.

4. Die Prüfung: Ist das alles richtig?

Die Studenten waren sich bewusst, dass die KI manchmal lügt (sogenannte "Halluzinationen").

• Der Skeptiker: Die klugen Studenten nutzten die KI wie ein Wörterbuch: Sie schauten nach, aber verglichen die Antwort immer mit ihrem eigenen Wissen oder einem Lehrbuch.
• Der Gläubige: Andere nahmen alles, was die KI sagte, einfach hin. Das führte dazu, dass sie am Ende Modelle abgaben, die physikalisch falsch waren, weil sie nicht geprüft hatten, ob die KI wirklich Recht hatte.

5. Warum machen sie das? (Die Motivation)

• Zeitdruck: Viele hatten Stress und wollten schnell fertig werden. Die KI war wie ein Turbo-Modus, der alles beschleunigte.
• Langeweile: Manche fanden das Zeichnen von Diagrammen langweilig und ließen die KI das machen, damit sie sich auf die "echte" Physik konzentrieren konnten.
• Lernen: Die besten Studenten nutzten die KI, um zu verstehen, nicht um die Arbeit abzugeben. Sie sagten: "Erkläre mir, warum dieser Code so funktioniert, damit ich es selbst kann."

🎓 Was bedeutet das für Lehrer und die Zukunft?

Die Studie zieht ein wichtiges Fazit:

1. Lehrer sind immer noch nötig: Auch mit KI brauchen Studenten menschliche Lehrer, besonders um zu prüfen, ob die KI nicht in die Irre führt. Die KI ist ein Werkzeug, kein Ersatz für den Lehrer.
2. Die "Falle" der Effizienz: Wenn Studenten die KI nutzen, um alles abzugeben, sparen sie Zeit, verlieren aber das Verständnis. Es ist wie beim Sport: Wenn jemand anderes für dich trainiert, bist du am Wettkampftag nicht fit.
3. Die goldene Mitte: Die erfolgreichsten Studenten nutzten die KI wie einen Werkzeugkasten. Sie holten sich Hilfe für kleine Teile, behielten aber die Kontrolle über das ganze Projekt. Sie prüften jede Antwort der KI doppelt.

Zusammenfassend:
Generative KI ist wie ein super-schneller, aber manchmal etwas verwirrter Praktikant. Wenn du ihn anleitest, ihn kontrollierst und ihn nur für kleine Aufgaben nutzt, kann er Wunder wirken und dir helfen, komplexe Dinge schneller zu verstehen. Wenn du ihm aber die ganze Verantwortung gibst, ohne hinzuschauen, baust du am Ende einen Turm, der zusammenfällt – und du hast dabei nichts gelernt, wie man ihn richtig baut.

Die Botschaft der Forscher ist also: Nutze die KI, aber behalte den Stift in der Hand!

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Preprints auf Deutsch:

Titel: Wie Studierende generative KI für die computergestützte Modellierung in der Physik nutzen

Autoren: Karl Henrik Fredly, Tor Ole Odden, Benjamin M. Zwickl
Institutionen: Universität Oslo (Norwegen), Rochester Institute of Technology (USA)

---

1. Problemstellung und Kontext

Die rasante Entwicklung von Large Language Models (LLMs) und generativer KI (genAI) stellt die Physikbildung vor eine neue Herausforderung. Während KI-Tools Routineaufgaben und sogar komplexe Workflows in der Forschung beschleunigen können, verändert dies die Art und Weise, wie Studierende Programmierung und computergestützte Modellierung lernen.

• Das Dilemma: Dozierende mussten bereits die Integration von Programmierung in den Physikunterricht bewältigen. Nun kommt die schnelle Adoption von genAI durch Studierende hinzu, die diese Tools für alles von Erklärungen bis hin zu „Cheating" nutzen.
• Die Forschungslücke: Es ist unklar, wie sich genAI konkret auf den Prozess des computergestützten Modellierens auswirkt, insbesondere auf die Planung, Implementierung und Validierung von Modellen. Es fehlt an empirischen Daten darüber, wie Studierende diese Tools in offenen Aufgabenstellungen nutzen und welche Rolle Dozierende dabei spielen sollten.

2. Methodik

Die Studie basiert auf einer qualitativen Untersuchung im Rahmen eines Elektromagnetismus-Kurses im dritten Semester an der Universität Oslo.

• Kontext: Die Studierenden bearbeiteten eine verpflichtende, offene Aufgabe („Computational Essay"), bei der sie ein physikalisches Problem modellieren, simulieren und in einem Bericht (Text, Code, Grafiken) dokumentieren mussten. Die Nutzung von genAI wurde ausdrücklich erlaubt, jedoch mit der Aufforderung zur kritischen Reflexion und Dokumentation.
• Datenerhebung:
  • Es wurden 19 Studierende (aus 13 Gruppen) interviewt, die diese Aufgabe abgeschlossen hatten.
  • Die Interviews waren halbstrukturiert und retrospektiv angelegt, um detaillierte Einblicke in den Arbeitsprozess zu erhalten.
  • Zusätzlich wurden die eingereichten Essays und (falls vorhanden) Chat-Logs mit genAI (hauptsächlich ChatGPT-4o, teilweise Claude, Perplexity, Copilot) zur Triangulation analysiert.
• Analyseverfahren:
  • Es wurde eine thematische Analyse (nach Braun & Clarke, 6-Stufen-Modell) durchgeführt.
  • Als theoretischer Rahmen diente das Modell der computergestützten Modellierung in der Physik von Phillips et al. [19]. Dieses Modell wurde an den neuen Kontext (Nutzung von genAI) angepasst, um zu untersuchen, welche Aspekte des Modellierungszyklus (Produktion, Kritik, Ressourcen, Objekte, Ziele) durch KI beeinflusst werden.
  • Die Zuverlässigkeit der Kodierung wurde durch eine zweite Kodierung eines Teils der Daten und Berechnung von Cohens Kappa (0,62) überprüft.

3. Wichtige Beiträge und Anpassung des Rahmens

Der Hauptbeitrag der Studie liegt in der Anwendung und Erweiterung des Phillips-Modells auf den Kontext der genAI-Nutzung. Die Autoren identifizieren, welche Teile des Modellierungsprozesses signifikant, moderat oder gar nicht von KI beeinflusst werden:

• Signifikant beeinflusst: Planung, Implementierung, Debugging, Optimierung und die Inspektion von KI-generiertem Code.
• Moderat beeinflusst: Arbeit mit physikalischer Theorie, Nutzung von Ressourcen (Literatur/Expertise) und die endgültigen Produkte.
• Nicht beeinflusst: Strategien zum Ausführen des Codes, zur Validierung der Ergebnisse (durch den Studierenden selbst) oder zur Datenerhebung.

4. Ergebnisse

A. Nutzungsmuster (Wie und Warum)

• Häufige Anwendungen: Die meisten Studierenden nutzten genAI primär zum Debugging (Fehlerbehebung) und zur Implementierung von Code-Schnipseln.
• Planung: KI wurde genutzt, um Ideen zu generieren oder die Komplexität eines Modells anzupassen. Hier zeigten sich jedoch Risiken: KI machte oft falsche physikalische Annahmen, was zu Zeitverlust oder unverständlichen Ergebnissen führte.
• Optimierung: Einige fortgeschrittene Gruppen nutzten KI, um ineffizienten Code zu vektorisieren oder zu beschleunigen (z. B. bei Poisson-Lösern).
• Theorie & Analyse: Studierende waren skeptisch gegenüber KI bei physikalischen Theorien. Sie nutzten KI eher zur Erklärung von Konzepten oder zur Manipulation von Gleichungen, die sie selbst verifizieren konnten.

B. Kritische Aspekte und Risiken

• Over-Reliance (Übermäßige Abhängigkeit): Viele Studierende gaben den Debugging-Prozess vollständig an die KI ab. Sie kopierten Fehlermeldungen und Code direkt in den Chatbot, ohne selbst nach der Ursache zu suchen. Dies führte dazu, dass sie nicht lernten, Fehler zu identifizieren.
• Falsche Annahmen: Wenn Studierende KI-Code blind vertrauten, ohne die zugrundeliegende Physik zu verstehen, führten falsche KI-Annahmen zu fehlerhaften Modellen, die die Studierenden nicht erkennen konnten.
• Oberflächliche Inspektion: Viele Studierende prüften KI-Code nur oberflächlich („sieht es richtig aus?"), anstatt die Logik detailliert zu analysieren.
• Zeitdruck: Zeitdruck war ein Haupttreiber für den Einsatz von KI, oft auf Kosten des tiefen Lernens.

C. Produktive Nutzung

Studierende, die KI effektiv und lernförderlich nutzten, zeigten folgende Strategien:

1. Begrenzung auf kleine Schritte: Nutzung von KI nur für spezifische, gut verstandene Teilaufgaben.
2. Konsistente Verifizierung: Doppeltes Prüfen von Formeln, Erklärungen und Code durch eigene Kenntnisse oder vertrauenswürdige Quellen (Lehrbücher, Dozenten).
3. KI als Tutor, nicht als Lösung: Nutzung von KI, um Konzepte zu erklären, statt die Lösung direkt zu generieren.

5. Signifikanz und Implikationen für die Lehre

Die Studie liefert wichtige Erkenntnisse für die Gestaltung von Physikunterricht im Zeitalter der KI:

• Notwendigkeit von Grundlagen: Da KI Anfänger oft in die Irre führt und deren Fähigkeiten im Debugging und in der physikalischen Modellierung untergräbt, bleibt die Vermittlung fundamentaler Programmier- und Modellierungsfähigkeiten essenziell.
• Rolle der Dozierenden: Lehrkräfte und Tutor:innen bleiben unverzichtbar, insbesondere für konzeptuelle Fragen und zur Validierung von Modellen. KI ersetzt nicht die menschliche Interaktion, besonders bei der Fehleranalyse.
• Lehrstrategien:
  • Studierende müssen explizit darin geschult werden, wie sie KI produktiv nutzen (z. B. „Planen vor dem Coden", kritische Verifizierung).
  • Es wird empfohlen, nicht-bewertete (low-stakes) Aufgaben und offene Projekte beizubehalten, um Experimentieren zu fördern.
  • Gleichzeitig sind prüfungsrelevante Aufgaben ohne KI-Zugriff notwendig, um sicherzustellen, dass Studierende die Kernkompetenzen selbst beherrschen.
• Paradigmenwechsel: Die Definition dessen, was „computergestützte Modellierung" bedeutet, muss neu gedacht werden. Es geht weniger darum, Code von Grund auf zu schreiben, sondern zunehmend darum, KI-generierte Lösungen zu inspektieren, zu validieren und in einen physikalischen Kontext zu integrieren.

Fazit: Die Studie zeigt, dass genAI ein mächtiges Werkzeug sein kann, um Studierende zu entblocken und komplexere Modelle zu ermöglichen. Ohne jedoch eine bewusste pädagogische Begleitung und die Sicherstellung fundamentaler Kompetenzen droht ein Verlust an tiefem Verständnis und eigenständiger Problemlösungsfähigkeit.