Assessment of Evolving Large Language Models in Upper Secondary Mathematics
Deze studie toont aan dat evoluerende grote taalmodellen snel zijn gevorderd in wiskundige bekwaamheid, waarbij ze zijn geprogredieerd van matige prestaties naar het behalen van bijna perfecte scores op het Finse eindexamen van de bovenbouw van het middelbaar onderwijs, waardoor hun potentieel als krachtige hulpmiddelen om het wiskundeonderwijs te ondersteunen wordt benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een race kijkt waarbij de hardlopers geen mensen zijn, maar verschillende versies van "superbreinen" (Large Language Models of LLM's). De baan waarop zij rennen is het Finse middelbare school examen wiskunde, een berucht moeilijk examen dat bepaalt of leerlingen naar de universiteit kunnen.
Hier is het verhaal van hoe deze digitale hardlopers evolueerden van struikelende beginners naar perfecte kampioenen, gebaseerd op het onderzoekspaper.
De Startlijn: De "Baby"-fase (augustus 2023)
Aan het begin van de race waren de AI-hardlopers als studenten die net begonnen met algebra.
- De Hardloper: Een vroege versie van OpenAI's GPT-4.
- Het Resultaat: Het scoorde een 64 van de 120. In het Finse beoordelingssysteem is dit een voldoende, maar een lage (cijfer "E"). Het was als een student die het vak haalde, maar net genoeg had om te slagen.
- De Concurrent: Google's "Bard" lag nog verder achter en scoorde een 34 (cijfer "C"), wat vergelijkbaar is met een student die het examen heeft gefaald.
In deze fase merkt het paper op dat deze AI-modellen goed waren in eenvoudige zaken, maar worstelden met de complexe logica die nodig is voor wiskunde op de middelbare school. Ze waren als rekenmachines die soms vergaten te vermenigvuldigen.
De Trainingsmontage: Slimmer worden (eind 2023 – begin 2024)
De onderzoekers keken enkele maanden later weer even in. De AI-hardlopers waren hard aan het "trainen" geweest.
- De Upgrade: De AI leerde hulpmiddelen te gebruiken, specifiek een programmeertaal genaand Python. Denk hierbij aan de hardloper die plotseling een high-tech fiets mag gebruiken in plaats van alleen maar te voet te rennen.
- Het Resultaat: Tegen eind 2023 sprintte de GPT-4-hardloper naar een 93 van de 120, waarmee het de hoogste score ("L") behaalde. Het kon nu lastige meetkundige problemen oplossen die verband houden met de 3D-ruimte, iets wat het eerder onmogelijk vond.
- De Kloof: Niet alle hardlopers verbeterden echter even snel. In het begin van 2024 zat een gratis versie van Google's AI nog steeds in het midden van het peloton, terwijl de betaalde versies van OpenAI en Microsoft's AI de race aanvoerden.
De Finishlijn: Het "Superhuman"-tijdperk (januari 2025)
Tegen de tijd dat de onderzoekers de laatste test uitvoerden in het begin van 2025, was de race volledig veranderd. De AI-hardlopers waren niet alleen aan het concurreren; ze braken de scorelijst.
- De Nieuwe Kampioenen: Twee nieuwe hardlopers, DeepSeek R1 en OpenAI's o3, passeerden de finishlijn met een perfecte score van 120 van de 120.
- De Betekenis: Deze modellen hebben niet alleen het examen gehaald; ze scoorden hoger dan bijna elke menselijke student ooit heeft gedaan. Sterker nog, als deze AI-modellen vandaag de dag echte studenten zouden zijn die zich aanmelden voor Finse universiteiten, zouden ze worden toegelaten tot de meest competitieve opleidingen (zoals geneeskunde of techniek) en zouden ze waarschijnlijk tot de absolute top van de kandidatenpool behoren.
Hoe werden ze zo snel? (Het Geheime Recept)
Het paper legt uit dat deze modellen niet alleen meer "uit het hoofd leerden". Ze veranderden hoe ze denken.
- Chain of Thought (Denkstappen): Stel je een mens voor die een moeilijke puzzel oplost. Die raadt niet zomaar een antwoord; die pauzeert, denkt stap voor stap na, controleert het werk en herstelt fouten als hij vastloopt. De nieuwe AI-modellen (zoals OpenAI's "o1" en "o3") doen hetzelfde. Ze simuleren een "denkproces" voordat ze antwoorden, waardoor ze hun eigen fouten kunnen opmerken.
- Zelfcorrectie: Oudere modellen waren als een student die een antwoord opschrijft en het direct inlevert. De nieuwe modellen zijn als een student die een concept schrijft, een fout realiseert, de oplossing herschrijft en dan pas het inlevert. Dit "bedachtzame" denken is wat hen in staat stelde om perfecte scores te behalen.
De Kernboodschap
Het paper concludeert dat het "wiskundige brein" van deze AI-tools in slechts een paar jaar tijd ongelooflijk snel is geëvolueerd.
- Wat ze kunnen: Ze kunnen nu complexe, belangrijke wiskunde-examens beter oplossen dan de gemiddelde menselijke student, waarbij ze vaak perfecte scores behalen.
- Wat het paper vervolgens vraagt: Het paper beweert niet dat deze AI's klaar zijn om leraren te zijn. Het vraagt: Alleen omdat ze het probleem perfect kunnen oplossen, kunnen ze het dan ook daadwerkelijk op een behulpzame manier uitleggen aan een verwarde student? Het paper suggereert dat hoewel het "oplossen" beheerst is, het "onderwijzen" de volgende grote uitdaging is.
Kortom: De AI is in recordtijd geëvolueerd van een worstelende student naar een wiskundig genie, maar de vraag is nu of het een goede tutor kan zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.