Auditing Generative AI Error Patterns in Applied Differential Calculus: Evidence from ChatGPT and Gemini
Deze beschrijvende-evaluatieve studie auditeert de prestaties van ChatGPT en Gemini bij toegepaste differentiaalrekening, waarbij wordt onthuld dat hoewel beide modellen geïsoleerde procedures kunnen uitvoeren, ze frequent falen in het vertalen van narratieve condities naar functies, het afhandelen van randvoorwaarden en het handhaven van rekenkundige consistentie, hetgeen suggereert dat hun oplossingen in het onderwijs als kritiek artefacten in plaats van onvoorwaardelijke antwoorden moeten worden gebruikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je twee superintelligente, ontzettend praatgrage robots hebt ingehuurd, ChatGPT en Gemini, om je te helpen bij het oplossen van lastige wiskundige puzzels over de echte wereld. Je vraagt hen om uit te rekenen hoe een bedrijf het meeste geld kan verdienen, hoe snel een deeltje beweegt, of hoe hoog een raket zal vliegen. Je verwacht dat ze perfecte rekenmachines zijn, toch?
Nou, een nieuwe studie door onderzoeker Polemer M. Cuarto besloot deze robots op de proef te stellen. De bevindingen zijn een beetje alsof je ontdekt dat je favoriete robotkok perfect groenten kan snijden, maar steeds vergeet om zout toe te voegen, of erger nog, denkt dat het recept om suiker vraagt in plaats van zout.
De belangrijkste ontdekking: De "Vloeiende maar Gebrekkige" Valstrik
De studie toonde aan dat hoewel deze AI-tools geweldig zijn in het uitvoeren van de mechanische wiskundige stappen — zoals het nemen van een afgeleide of een integraal — ze vaak struikelen wanneer ze een verhaal moeten vertalen naar een wiskundige vergelijking of wanneer ze de beginvoorwaarden moeten onthouden.
Denk er zo over na: als je een robot vraagt om een huis te bouwen, kan hij de stenen (de wiskundige operaties) perfect leggen. Maar als hij je blauwdruk verkeerd begrijpt en denkt dat je een kasteel wilde in plaats van een huisje (het wiskundige model), dan is het hele huis fout, ongeacht hoe netjes de stenen zijn gestapeld.
Het artikel suggereert dat deze tools niet betrouwbare "antwoordsleutels" zijn die je zomaar kunt kopiëren. In plaats daarvan zijn ze beter bruikbaar als oefenpartners voor het vinden van fouten. De onderzoekers stellen dat het meest gevaarlijke aan AI niet is dat de AI de wiskunde fout doet; het is dat de AI de wiskunde fout doet terwijl het klinkt alsof het volkomen zelfverzekerd en professioneel is.
De Drie Grote Struikelingen
De studie keek naar drie specifieke soorten problemen, en de robots struikelden over dezelfde hindernissen in elk scenario:
1. De Zakelijke Verwarring (Semantische-naar-Algebraïsche Vertaling)
Stel je voor dat een winkelier zegt: "Als ik de prijs met $10 verlaag, verkoop ik 20 artikelen meer."
- De Expert-manier: Dit betekent dat de prijs daalt terwijl de verkoop stijgt. De wiskundige helling is negatief.
- De AI-manier: ChatGPT en Gemini kregen dit soms achterstevoren. Ze bouwden een model waarbij het verlagen van de prijs de verkoop blijkbaar deed dalen, of ze draaiden de relatie volledig om.
- Het Resultaat: Ze deden vervolgens perfecte wwerking op een kapot model. Het is alsof je de snelste route berekent naar een bestemming die niet bestaat. Het artikel merkt op dat de AI in het zakelijke probleem een "positieve hellingsvraagstelling voor de vraagzijde" produceerde, wat economisch gezien onzinnig is (het suggereert dat hogere prijzen leiden tot meer verkopen op een manier die de opdracht tegenspreekt).
2. Het "Spook"-startpunt (Het bijhouden van Randvoorwaarden)
In de natuurkunde, als je een bal laat vallen vanaf een toren van 140 voet, moet je die hoogte van 140 voet onthouden.
- De Expert-manier: Je houdt die "140" de hele tijd in je vergelijking.
- De AI-manier: ChatGPT vergat vaak de beginhoogte of stelde deze in op nul. Het is alsof de robot naar de bal keek, hem zag vallen, en besloot: "Oh, hij moet wel vanaf de grond begonnen zijn!" ook al vertelde je dat hij van een toren begon.
- Het Resultaat: Het uiteindelijke antwoord voor wanneer de bal de grond raakt, was fout omdat de robot een ander probleem oploste dan het probleem dat jij stelde.
3. De Rekenfout (Verificatie en Context)
Soms was de opzet wel goed, maar ging de uiteindelijke berekening mis.
- De AI-manier: Gemini was goed in het opzetten van de raketvergelijking, maar struikelde bij het oplossen van de uiteindelijke kwadratische formule (de wiskunde om de tijd te vinden). Het voegde ook soms vreemde, irrelevante uitleg toe over zwaartekracht die niet nodig was.
- Het Resultaat: Het antwoord zag er plausibel uit, maar was numeriek wankel. Het artikel benadrukt dat deze tools "vloeiende maar gebrekkige verklaringen" kunnen produceren, waarbij ze irrelevante informatie invoegen die afleidt van de eigenlijke fout.
Wat het artikel zegt dat je NIET moet doen
De onderzoekers zijn zeer duidelijk over wat je niet moet doen. Ze zijn tegen het gebruik van deze AI-tools als een "onbetwistbare bron van antwoorden".
- Doe niet alsof je de oplossing zomaar kopieert omdat het er netjes uitziet en alle juiste formules bevat.
- Ga er niet vanuit dat omdat de AI zelfverzekerd klinkt, het ook juist is.
- Denk niet dat als het eindcijfer er dichtbij ligt, het hele proces wel geldig is.
Het artikel sluit expliciet de mogelijkheid uit dat deze tools klaar zijn om het menselijk oordeel in de calculus te vervangen. Sterker nog, de studie suggereert dat vertrouwen op hen zonder controle gevaarlijk is, omdat de fouten verborgen zitten in een "gepolijste" presentatie.
Hoe zeker zijn we?
De auteurs zijn voorzichtig om dit niet als een "eindoordeel" over alle AI te bestempelen. Ze geven toe dat hun studie gebaseerd is op een kleine set specifieke problemen (zakelijk, deeltjesbeweging en verticale beweging) die in het begin van 2026 werden opgelost. Ze suggereren dat deze foutpatronen echt en observeerbaar zijn in deze specifieke taken, maar ze beweren niet dat ze elke mogelijke wiskundige opdracht hebben gemeten die een AI ooit zou kunnen krijgen.
Ze vonden dat de tools "gedeeltelijke procedurele competentie" vertoonden (ze kunnen de stappen uitvoeren) maar een "zwakkere betrouwbaarheid" hadden in modellering en controle. De conclusie is een sterke suggestie dat we de manier waarop we wiskunde onderwijzen moeten veranderen: in plaats van leerlingen alleen te vragen om "het antwoord te vinden", moeten we hen leren om wiskundige auditors te worden.
Het Nieuwe Plan: Wees de Detective
Dus, wat is de les voor een nieuwsgierige student?
Behandel de AI niet als een magische orakel. Behandel de AI als een student die heel goed is in schrijven, maar slecht in nadenken.
- De Strategie: Laat de AI een probleem oplossen, en speel daarna de detective.
- De Missie: Zoek de eerste stap waar de robot de fout in ging. Begreep hij het verhaal verkeerd? Is hij de beginhoogte vergeten? Heeft hij de rekenkundige fout gemaakt?
- Het Doel: Herstel de fout en leg uit waarom de AI het fout had.
Het artikel suggereert dat deze "audit"-aanpak de AI verandert van een spiekbriefje in een krachtig leermiddel. Door op de fouten van de robot te jagen, leer je de wiskunde eigenlijk beter dan wanneer je het gewoon zelf had opgelost.
Kortom: de robots zijn geweldig in het doen van het zware rekenwerk, maar ze zijn verschrikkelijk in het begrijpen van het verhaal. Jij moet degene zijn die de kaart vasthoudt, het kompas controleert en ervoor zorgt dat ze niet per ongeluk een kasteel bouwen terwijl je om een huisje vroeg.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.