Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

Technische Samenvatting: Menselijke versus Machinegetalmatige Moeilijkheidsgraad op Project Euler

Probleemstelling
Dit artikel onderzoekt hoe de inspanning en de slaagkans van grensverleggende AI-systemen schalen ten opzichte van de menselijke moeilijkheidsgraad bij computationele wiskundige problemen. Gemotiveerd door een voorstel van Timothy Gowers met betrekking tot de schaling van bewijszoekende algoritmen, trachten de auteurs te bepalen of AI-systemen slechter schalen dan mensen naarmate de taakcomplexiteit toeneemt. Specifiek testen zij de hypothese dat, hoewel machines sneller kunnen zijn bij eenvoudige taken, hun verwachte looptijd veel sneller groeit dan die van menselijke wiskundigen naarmate de complexiteit van het probleem (gemeten aan de hand van bewijslengte of oplossings-traject) toeneemt. De studie maakt gebruik van Project Euler, een platform voor computationele wiskundige problemen waar menselijke oplostijden publiekelijk worden geregistreerd, en de MathArena benchmark, die uitgebreide AI-pogingsgegevens biedt over 50 recente problemen (943–992) en 26 modelconfiguraties.

Methodologie
De auteurs operationaliseren "menselijke moeilijkheid" ($t_{human}$) als het geometrisch gemiddelde van de vijf snelste geregistreerde menselijke oplostijden voor elk probleem, wat dient als een proxy voor sterke menselijke continue werktijd. "Machine-inspanning" ($t_{machine}$) wordt niet gedefinieerd door de wandkloktijd, maar door het totale aantal gegenereerde tokens dat nodig is om een succesvol antwoord te bereiken, berekend als het totaal aantal tokens over alle pogingen gedeeld door het aantal succesvolle pogingen.

De studie hanteert drie verschillende analytische kaders:

1. Hypothese T (Tijd-schaleringsmodel): Test een machtswet $t_{machine} = a \cdot t_{human}^b$. De exponent $b$ geeft het schaleringsgedrag aan: $b > 1$ impliceert dat machines slechter schalen dan mensen (inspanning groeit superlineair met moeilijkheid), terwijl $b < 1$ impliceert dat machines beter schalen. Fitten worden uitgevoerd op model-probleemparen met een empirisch succespercentage van ten minste 50% om dominantie door mislukte gevallen te voorkomen.
2. Hypothese P (Exponentieel Succesmodel): Test of de kans op succes ($p_{success}$) exponentieel afneemt met de menselijke taaktijd: $p_{success} = p_{model}^{t_{task}}$. Dit wordt gemodelleerd als een lineaire relatie tussen $\log p_{success}$ en $t_{human}$, begrensd door door $(0, 1)$ te gaan. De gegevens worden geaggregeerd in kwantielbins om de vervalratio te fitten.
3. METR-stijl Horizonten: Past een logistische curve toe op de succeswaarschijnlijkheid als functie van menselijke tijd om specifieke capaciteitshorizonten te extraheren: $h_{50}$ (menselijke tijd bij 50% succes) en $h_{80}$ (menselijke tijd bij 80% succes). Deze aanpak is aangepast van de METR taaklengte benchmark [KWB+25].

De dataset bestaat uit 3.840 pogingen over 26 modelconfiguraties (25 opgenomen in de definitieve fits na uitsluiting van één niet-representatieve configuratie). Statistische onzekerheid wordt gekwantificeerd met behulp van niet-parametrische bootstrap-resampling (1.000 samples) om 90% betrouwbaarheidsintervallen voor de gefitte parameters te generen.

Belangrijkste Resultaten

• Omkering van de Schaleringsvoorspelling (Hypothese T): In tegen te contrary aan de initiële voorspelling dat machines slechter zouden schalen ($b > 1$), vindt de studie dat voor 20 van de 25 modellen met bruikbare fits de exponent $b < 1$ is. Dit omvat de sterkste high-coverage basismodellen: Claude Opus 4.6 ($b=0.722$), GPT-5.4 (xhigh) ($b=0.644$), en Gemini 3.1 Pro Preview ($b=0.467$). De 90% bootstrap-betrouwbaarheidsintervallen voor deze topmodellen liggen volledig onder 1. Dit suggereert dat, binnen deze operationalisering, de tokenkosten per succesvol antwoord sublineair groeien met de menselijke moeilijkheid, wat betekent dat de relatieve efficiëntie van machines verbetert naarmate problemen moeilijker worden, ten minste voor problemen waar het model redelijk betrouwbaar is.
• Exponentieel Verval van Succes (Hypothese P): De gegevens tonen matige empirische steun voor het exponentiële vervalmodel. De mediaan bin-niveau $R^2$ over 22 goed gedekte configuraties is 0,92, waarbij veel topmodellen boven de 0,95 uitkomen. De gefitte halveringstijden (de menselijke tijd waarbij de succeswaarschijnlijkheid daalt naar 50%) variëren van 0,12 uur (Gemini 2.5 Pro) tot 4,07 uur (GPT-5.4 xhigh).
• Capaciteitshorizonten: De sterkste basismodelconfiguraties bereiken 50% succeshorizonten ($h_{50}$) tussen ongeveer 2,5 en 4,3 uur menselijke werktijd. Agentic wrappers (bijv. GPT-5 Euler Agent, Grok 4 Fast Euler Agent) vertonen substantieel grotere horizonten dan hun basismodellen, hoewel deze vergelijkingen observationeel zijn.
• Progressie-traject: Een log-lineaire fit door de state-of-the-art (SOTA) frontier van basismodellen over de ~345 dagen van de dataset impliceert een verdubbelingstijd van ongeveer 75 dagen voor de $h_{50}$-horizon, stijgend van 0,09 uur naar 4,28 uur.

Betekenis en Claims
Het artikel beweert dat de bevindingen de specifieke "zoekefficiëntie"-narratief uitdagen die is afgeleid van de formulering van Gowers, die voorspelde dat AI-systemen achter zouden blijven bij mensen op moeilijke problemen vanwege snel schalerende zoekkosten. In plaats daarvan geven de resultaten aan dat modellen op Project Euler juist beter schalen dan sterke menselijke oplossers in termen van tokenkosten per succes naarmate de moeilijkheid toeneemt.

De auteurs zijn echter voorzichtig over de implicaties. Zij merken op dat hoewel de schaling gunstig is, de absolute betrouwbaarheid van deze systemen beperkt blijft; modellen bereiken de 50% succesdrempel bij menselijke werktijden van slechts enkele uren, wat ver verwijderd is van de volgehouden inspanning die mensen op een enkel probleem kunnen leveren. De auteurs stellen vijf speculatieve verklaringen voor het verschil tussen de gunstige schaling op Project Euler en het gebrek aan zichtbare versnelling in onderzoeksniveau wiskunde:

1. Implementatie versus Denken: Project Euler problemen wegen implementatie (coderen) zwaar, wat LLM's sneller afhandelen dan mensen, wat potentieel langzamere wiskundige redenering maskeert.
2. Degradatie van Lange Trajecten: De succeswaarschijnlijkheid neemt af over tijd door geaccumuleerde fouten of "context rot", wat de horizon van coherent redeneren beperkt.
3. Beperkingen in Tool-Building: LLM's blinken uit in het gebruiken van standaardtools, maar missen mogelijk het vermogen om de nieuwe wiskundige kaders te bedenken die vereist zijn voor onderzoek.
4. Scaffolding Gaten: Huidige architecturen missen het persistente geheugen en de workflows met een lange horizon die nodig zijn voor onderzoek.
5. Overdenken: Modellen kunnen constante token-overhead veroorzaken op eenvoudige problemen (zelfcontrole), wat de schaling helling kunstmatig afvlakt.

Het artikel concludeert dat de drie analyses (schaling, verval en horizonten) een coherent beeld bieden: de limiterende factor voor deze systemen op deze benchmark is betrouwbaarheid (exponentieel verval van succes) in plaats van zoekefficiëntie (sublineaire schaling van inspanning). De bevindingen worden gepresenteerd als beschrijvende samenvattingen van de huidige capaciteiten op een specifieke benchmark, niet als universele wetten van AI-progressie.