Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3
Hoewel het gebruik van diverse prompts theoretisch de correlatie van fouten zou moeten verkleinen, toont dit onderzoek aan dat modelcapaciteit de prestaties op IMO-niveau met een orde van grootte overheerst en dat alle geteste inferentie-tijdsoptimalisaties, inclusief het Diverse Prompt Mixer, faalden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
🧠 De Grote Les: Een Geniaal Brein is Beter dan Slimme Trucjes
Stel je voor dat je een zeer moeilijk wiskundig raadsel moet oplossen. Je hebt een team van slimme mensen (of in dit geval, kunstmatige intelligenties) die proberen het antwoord te vinden.
De auteurs van dit paper deden een experiment tijdens een grote wiskundewedstrijd (AIMO 3). Ze dachten: "Wat als we niet één persoon laten werken, maar een heel team? En wat als we ze allemaal een verschillende manier van denken geven? Dan maken ze misschien verschillende fouten, en kunnen we door te stemmen het juiste antwoord vinden."
Dit idee heet "Diverse Prompt Mixer". Het klinkt logisch, net als een team van detectives waarbij de één naar vingerafdrukken kijkt, de ander naar getuigen en de derde naar de tijdlijn.
Het verrassende resultaat?
Het werkte niet. Sterker nog, het maakte het zelfs slechter.
De belangrijkste conclusie van het paper is simpel: Het is veel belangrijker dat je een supergeniaal brein hebt, dan dat je slimme trucjes gebruikt om dat brein te laten werken.
🎲 De Analogie: De Gokker en de Munt
Laten we het uitleggen met een gokspel.
- Het Probleem: Je moet een munt op de juiste kant gooien (het juiste antwoord vinden).
- De Slechte Speler: Stel je hebt een munt die 60% van de tijd goed valt. Als je die munt 8 keer gooit en de meerderheidstemmen telt, krijg je vaak het juiste antwoord.
- De "Truc": De auteurs dachten: "Laten we de munt een beetje scheef maken of de tafel anders neerzetten (verschillende prompts), zodat de fouten niet steeds op dezelfde plek vallen."
- De Realiteit: Ze ontdekten dat de munt al van nature genoeg variatie had (door "temperatuur" of willekeur in de computer). Door de tafel extra scheef te zetten (verschillende prompts), maakten ze de munt juist onbetrouwbaarder. De munt viel nu minder vaak goed, zelfs als de fouten wel anders waren.
De les: Als je munt al 60% goed is, helpt het niet om hem "anders" te gooien. Je moet gewoon een munt nemen die 80% goed is.
🔍 Wat deden ze precies? (De Experimenten)
De onderzoekers gebruikten een zeer krachtige computer (een H100 GPU) en een groot AI-model (gpt-oss-120b). Ze probeerden 23 verschillende manieren om het systeem te verbeteren:
- Verschillende strategieën: Sommige AI's moesten eerst kleine voorbeelden bedenken, anderen moesten achteruit werken, weer anderen moesten eerst code schrijven.
- Meer of minder willekeur: Ze veranderden hoe "creatief" of "chaotisch" de AI mocht zijn.
- Meer stemmen: Ze lieten de AI vaker proberen.
Het resultaat?
Niets hielp echt.
- De "verschillende strategieën" (zoals "werk achteruit") zorgden ervoor dat de AI minder goed wiskunde kon doen. De instructies waren te vreemd voor de AI.
- De AI maakte al genoeg verschillende fouten door de normale willekeur in het systeem. Extra trucjes waren overbodig.
- De enige echte verbetering kwam als je een groter, slimmer model gebruikte.
🏆 De "Kracht" van het Model is Koning
Stel je voor dat je twee teams hebt:
- Team A: Een team van gemiddelde studenten met de slimste methodes, tips en trucs.
- Team B: Een team van wiskundige genieën die gewoon hun eigen gang gaan.
Het paper laat zien dat Team B (het slimmere model) altijd wint, zelfs als Team A alle slimme trucjes uitprobeerde.
- Het verschil tussen een goed model en een geweldig model was zo groot (ongeveer 17 punten op een schaal van 50), dat alle kleine verbeteringen (zoals het veranderen van de instructies) verwaarloosbaar waren.
- Het is alsof je probeert een Ferrari sneller te maken door de banden te poetsen, terwijl je gewoon een vrachtwagen hebt. Je kunt de vrachtwagen zo poetsen als je wilt, hij blijft een vrachtwagen.
💡 Wat betekent dit voor de toekomst?
Als je een AI wilt gebruiken voor moeilijke problemen (zoals wiskunde of complexe logica):
- Kies het slimste brein: Gebruik het grootste en krachtigste model dat je kunt betalen of vinden. Dat is veruit het belangrijkste.
- Gebruik geen ingewikkelde trucjes: Probeer niet te veel verschillende manieren van denken te forceren. Laat de AI gewoon doen wat hij goed kan.
- Laat het toeval een beetje: Een beetje willekeur (hoge temperatuur) is genoeg om verschillende antwoorden te krijgen. Je hoeft de AI niet te "hersenpoetsen" met vreemde instructies.
Kortom: In de wereld van AI-wiskunde is kwaliteit van het brein alles. Slimme trucjes om het brein te manipuleren werken niet als het brein zelf niet sterk genoeg is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.