Auditing Generative AI Error Patterns in Applied Differential Calculus: Evidence from ChatGPT and Gemini
Diese deskriptiv-evaluative Studie auditiert die Leistung von ChatGPT und Gemini in der angewandten Differenzialrechnung und zeigt auf, dass beide Modelle zwar isolierte Verfahren ausführen können, jedoch häufig daran scheitern, narrative Bedingungen in Funktionen zu übersetzen, Randbedingungen zu handhaben und die arithmetische Konsistenz aufrechtzuerhalten, was darauf hindeutet, dass ihre Lösungen in der Bildung eher als Kritik-Artefakte denn als unhinterfragte Antworten verwendet werden sollten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten zwei superintelligente, unglaublich gesprächige Roboter, ChatGPT und Gemini, eingestellt, um Ihnen bei schwierigen mathematischen Rätseln über reale Probleme zu helfen. Sie bitten sie herauszufinden, wie ein Unternehmen das meiste Geld verdienen kann, wie schnell sich ein Teilchen bewegt oder wie hoch eine Rakete fliegt. Sie erwarten von ihnen, dass sie perfekte Taschenrechner sind, richtig?
Nun, eine neue Studie des Forschers Polemer M. Cuarto hat beschlossen, diese Roboter auf die Probe zu stellen. Die Ergebnisse sind ein wenig so, als würde man entdecken, dass Ihr Lieblings-Roboterkoch zwar perfekt Gemüse schneiden kann, aber ständig vergisst, Salz hinzuzufügen, oder schlimmer noch, denkt, das Rezept verlange Zucker statt Salz.
Die wichtigste Entdeckung: Die „flüssige, aber fehlerhafte“ Falle
Die Studie ergab, dass diese KI-Tools zwar gut darin sind, die mechanischen mathematischen Schritte auszuführen – wie etwa eine Ableitung oder ein Integral zu bilden –, aber oft stolpern, wenn sie eine Geschichte in eine mathematische Gleichung übersetzen oder sich an die Anfangsbedingungen erinnern müssen.
Denken Sie es sich so: Wenn Sie einen Roboter bitten, ein Haus zu bauen, kann er vielleicht die Ziegel (die mathematischen Operationen) perfekt setzen. Aber wenn er Ihren Bauplan missversteht und glaubt, Sie wollten ein Schloss statt einer Hütte (das mathematische Modell), dann ist das ganze Haus falsch, egal wie ordentlich die Ziegel gestapelt sind.
Das Paper legt nahe, dass diese Werkzeuge keine zuverlässigen „Lösungsschlüssel“ sind, die man einfach kopieren kann. Stattdessen eignen sie sich besser als Übungspartner, um Fehler zu finden. Die Forscher argumentieren, dass das Gefährlichste an der KI nicht ist, dass sie die Mathematik falsch macht; sondern dass sie die Mathematik falsch macht, während sie dabei völlig selbstbewusst und professionell klingt.
Die drei großen Stolperfallen
Die Studie untersuchte drei spezifische Arten von Problemen, und die Roboter stolperten bei jedem der Hindernisse:
1. Das Geschäfts-Durcheinander (Semantisch-algebraische Übersetzung)
Stellen Sie sich vor, ein Ladenbesitzer sagt: „Wenn ich den Preis um 10 $ senke, verkaufe ich 20 Artikel mehr.“
- Der Expertenweg: Das bedeutet, der Preis sinkt, während der Absatz steigt. Die mathematische Steigung ist negativ.
- Der KI-Weg: Sowohl ChatGPT als auch Gemini vertauschten dies manchmal. Sie erstellten ein Modell, in dem eine Preissenkung den Absatz irgendwie verringerte, oder sie drehten die Beziehung komplett um.
- Das Ergebnis: Sie führten dann perfekte Mathematik auf einem fehlerhaften Modell durch. Es ist, als würde man die schnellste Route zu einem Ziel berechnen, das gar nicht existiert. Das Paper stellt fest, dass die KI bei dem Geschäftsproblem eine „positive Steigung der Nachfragebeziehung“ produzierte, was ökonomisch unsinnig ist (da es impliziert, dass höhere Preise zu mehr Verkäufen führen, was dem Problem widerspricht).
2. Der „Geister“-Startpunkt (Verfolgung von Randbedingungen)
In der Physik gilt: Wenn man einen Ball von einem 140 Fuß hohen Turm fallen lässt, muss man diese ische Höhe im Hinterkopf behalten.
- Der Expertenweg: Man behält diese „140“ die ganze Zeit über in seiner Gleichung.
- Der KI-Weg: ChatGPT vergaß oft die ursprüngliche Höhe oder setzte sie auf Null. Es ist, als ob der Roboter den Ball betrachtete, ihn fallen sah und entschied: „Oh, er muss wohl vom Boden aus gestartet sein!“, obwohl Sie ihm sagten, er starte von einem Turm.
- Das Ergebnis: Die endgültige Antwort für das Wann der Ball den Boden trifft, war falsch, weil der Roboter ein anderes Problem löste als das, das Sie gestellt hatten.
3. Der Arithmetik-Ausrutscher (Verifizierung und Kontext)
Manchmal war der Aufbau korrekt, aber die abschließende Zahlenberechnung ging schief.
- Der KI-Weg: Gemini war gut darin, die Raketengleichung aufzustellen, stolperte aber bei der Lösung der finalen quadratischen Formel (der Mathematik, um die Zeit zu finden). Zudem fügte es manchmal seltsame, irrelevante Erklärungen über die Schwerkraft hinzu, die nicht nötig waren.
- Das Ergebnis: Die Antwort wirkte plausibel, war aber numerisch wackelig. Das Paper hebt hervor, dass diese Tools „flüssige, aber fehlerhafte Erklärungen“ produzieren können, indem sie irrelevante Informationen einfügen, die vom eigentlichen Fehler ablenken.
Was das Paper sagt, was Sie NICHT tun sollten
Die Forscher sind sich sehr klar darüber, was man nicht tun sollte. Sie sprechen sich gegen die Nutzung dieser KI-Tools als „unhinterfragte Quelle für Antworten“ aus.
- Kopieren Sie nicht einfach die Lösung, nur weil sie ordentlich aussieht und alle richtigen Formeln enthält.
- Gehen Sie nicht davon aus, dass die KI richtig liegt, nur weil sie selbstbewusst klingt.
- Denken Sie nicht, dass der gesamte Prozess gültig ist, nur weil die endgültige Zahl plausibel erscheint.
Das Paper schließt die Idee explizit aus, dass diese Werkzeuge bereit sind, das menschliche Urteilsvermögen in der Analysis zu ersetzen. Tatsächlich legt die Studie nahe, dass das Vertrauen auf sie ohne Überprüfung gefährlich ist, da die Fehler in einer „polierten“ Präsentation verborgen sind.
Wie sicher sind wir uns?
Die Autoren sind vorsichtig, dies nicht als „Endurteil“ über alle KIs zu bezeichnen. Sie geben zu, dass ihre Studie auf einer kleinen Menge spezifischer Probleme (Geschäft, Teilchenbewegung und vertikale Bewegung) basiert, die Anfang 2026 gelöst wurden. Sie deuten an, dass diese Fehlermuster in diesen spezifischen Aufgaben real und beobachtbar sind, behaupten aber nicht, jede mögliche mathematische Aufgabe gemessen zu haben, mit der eine KI jemals konfrontiert werden könnte.
Sie fanden heraus, dass die Tools eine „partielle prozedurale Kompetenz“ zeigten (sie können die Schritte ausführen), aber eine „schwächere Zuverlässigkeit“ beim Modellieren und Überprüfen aufwiesen. Die Schlussfolgerung ist ein starkes Vorschlag, dass wir die Art und Weise, wie wir Mathematik lehren, ändern müssen: Anstatt von Schülern zu verlangen, nur „die Antwort zu finden“, sollten wir sie lehren, Mathematik-Auditoren zu werden.
Der neue Schlachtplan: Seien Sie der Detektiv
Was ist also die Lehre für einen neugierigen Studenten?
Behandeln Sie die KI nicht wie einen magischen Orakel. Behandeln Sie sie wie einen Schüler, der sehr gut im Schreiben, aber schlecht im Denken ist.
- Die Strategie: Lassen Sie die KI ein Problem lösen und spielen Sie dann Detektiv.
- Die Mission: Finden Sie den ersten Schritt, an dem der Roboter einen Fehler gemacht hat. Hat er die Geschichte missverstanden? Hat er die Ausgangshöhe vergessen? Hat er bei der Arithmetik gepatzt?
- Das Ziel: Korrigieren Sie den Fehler und erklären Sie, warum die KI falsch lag.
Das Paper legt nahe, dass dieser „Audit“-Ansatz die KI von einem Spickzettel in ein mächtiges Lernwerkzeug verwandelt. Indem Sie die Fehler des Roboters jagen, lernen Sie die Mathematik tatsächlich besser, als wenn Sie sie einfach nur selbst gelöst hätten.
Kurz gesagt: Die Roboter sind großartig darin, die schwere Arbeit der Berechnung zu erledigen, aber sie sind schrecklich darin, die Geschichte dahinter zu verstehen. Sie müssen derjenige sein, der die Karte hält, den Kompass prüft und sicherstellt, dass sie nicht versehentlich ein Schloss bauen, wenn Sie eigentlich nach einer Hütte gefragt haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.