How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling
Deze studie toont aan dat, hoewel grote taalmodellen goed zijn in het begrijpen en formuleren van wiskundige modelleringproblemen, ze aanzienlijke tekortkomingen vertonen in de uitvoeringsfasen zoals het oplossen van modellen en het coderen, wat aangeeft dat het oplossen van complexe real-world problemen meer vereist dan alleen het vergroten van het model.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Hoe ver zijn we? Een simpele uitleg van de nieuwe studie over AI en wiskundige problemen
Stel je voor dat je een bouwmeester bent die een complexe brug moet ontwerpen. Je hebt een nieuwe, super-snelle robot-assistent (de AI) die je helpt. Deze robot kan prachtige tekeningen maken, prachtige verhalen schrijven over de brug, en zelfs de naam van de brug verzinnen. Maar de vraag is: kan deze robot de brug daadwerkelijk bouwen, en werkt hij dan ook echt?
Dit is precies wat de onderzoekers van de Universiteit van Beijing hebben onderzocht. Ze keken of de slimste AI's (zoals GPT-4, DeepSeek en Qwen) net zo goed zijn als menselijke experts in het oplossen van echte, moeilijke wiskundeproblemen, zoals die voorkomen in grote studentenwedstrijden.
Hier is wat ze ontdekten, vertaald naar alledaags taal:
1. De oude manier van testen: "De mooie presentatie"
Vroeger keken we naar AI's alsof we naar een schoonmaakwedstrijd kijken. Als de robot een heel netjes, goed georganiseerd verslag schreef met mooie zinnen, kregen ze een hoge score.
- Het probleem: De robot kon een prachtig verhaal vertellen over hoe hij de brug zou bouwen, maar als je de blauwdrukken en de gereedschappen erbij haalde, bleek dat hij de brug eigenlijk niet kon bouwen. De oude tests keken alleen naar het verhaal, niet naar of de brug staande bleef.
2. De nieuwe manier: "De bouwpakket-test"
De onderzoekers bedachten een nieuwe manier om te testen. Ze hebben de grote wiskundeproblemen opgedeeld in kleine bouwstappen (zoals: "ontwerp de fundering", "bereken de stalen balken", "schrijf de code").
Voor elke stap hebben ze een specifieke checklist gemaakt, gemaakt door echte experts.
- Voorbeeld: Als de AI zegt "we gebruiken staal", moet ze ook uitleggen welk staal, waarom, en of het echt werkt. Als ze dat niet doen, krijgen ze een nul, ook al klinkt het verhaal mooi.
3. Het grote resultaat: "Goed praten, slecht doen"
Wat vonden ze? De AI's zijn fantastisch in het begin, maar falen op het einde.
- De start (Begrip): De AI's zijn supergoed in het lezen van de opdracht en het bedenken van een plan. Ze zeggen: "Ah, we moeten een brug bouwen die 1000 kilo kan dragen!" Dit gaat perfect.
- Het midden (Het plan): Ze kunnen het plan op papier zetten. "We gebruiken hier een driehoek, en daar een cirkel." Dit gaat nog redelijk goed.
- Het einde (De uitvoering): Hier breekt het. Als de AI moet gaan rekenen, code schrijven of controleren of het echt werkt, gaat het mis.
- Ze schrijven code die niet werkt.
- Ze vergeten te controleren of hun antwoord logisch is.
- Ze maken fouten in de berekening en merken het niet op.
Het is alsof de robot een prachtig recept schrijft voor een taart, maar als hij de taart in de oven doet, verbrandt hij hem of vergeet hij de suiker. Het recept zag er perfect uit, maar de taart is oneetbaar.
4. Groter is niet beter
Je zou denken: "Maar als we de robot nog groter en slimmer maken, werkt het dan wel?"
De onderzoekers keken naar AI's van verschillende maten (van klein tot gigantisch).
- Het resultaat: Grotere AI's zijn iets beter in het begrijpen van de opdracht, maar ze worden niet veel beter in het bouwen van de brug. De fouten in de uitvoering blijven bestaan, ongeacht hoe groot de robot is.
5. Waarom gaat het mis? (De "Domino-effect")
De grootste fout die de AI's maken, is dat ze niet controleren wat ze hebben gedaan.
- Als ze in stap 1 een kleine fout maken (bijvoorbeeld een verkeerde aanname), herstellen ze die fout nooit.
- In stap 2 bouwen ze op die fout voort.
- In stap 3 (de code) wordt de fout nog groter.
- Uiteindelijk is het hele resultaat verkeerd, maar de AI denkt dat alles prima is.
Het is alsof je een toren bouwt: als je de eerste steen scheef zet, en je kijkt er niet naar, dan valt de hele toren om, hoe mooi de bovenste stenen ook zijn. Menselijke experts kijken constant: "Zit dit nog goed?" AI's doen dat vaak niet.
Conclusie: Waar staan we nu?
De AI's zijn slimme schrijvers, maar nog geen betrouwbare bouwers.
Ze kunnen een goed verhaal vertellen over hoe ze een probleem oplossen, maar ze kunnen het probleem nog niet volledig en foutloos oplossen zonder menselijke hulp.
De les voor de toekomst:
We kunnen AI's niet alleen maar groter maken om ze slimmer te maken. We moeten ze leren om nauwkeuriger te zijn, om fouten te controleren en om te stoppen met praten en echt te doen. Pas dan kunnen we ze echt vertrouwen met moeilijke, echte problemen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.