💻 computer science

Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

Questo articolo analizza 3.840 tentativi di 26 modelli di IA su 50 problemi di Project Euler per dimostrare che lo sforzo delle macchine scala in modo sub-lineare rispetto alla difficoltà umana (contraddicendo le previsioni di un peggioramento della scala), mentre la probabilità di successo segue un modello di decadimento esponenziale, stimando infine un tempo di raddoppio di 75 giorni per gli orizzonti delle prestazioni allo stato dell'arte.

Autori originali: David Holmes, Johannes Schmitt

Pubblicato 2026-06-23

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: David Holmes, Johannes Schmitt

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Una corsa contro il tempo e la complessità

Immaginate Project Euler come una gigantesca palestra pubblica di problemi matematici. Le persone (e ora anche l'IA) si iscrivono per risolvere questi enigmi. La palestra tiene un cronometro per gli umani più veloci, registrando esattamente quanto tempo impiegano per trovare la risposta corretta.

Gli autori di questo saggio volevano rispondere a una domanda semplice: Man mano che i problemi matematici diventano più difficili, le IA peggiorano a un ritmo più veloce rispetto agli esseri umani?

C'era una teoria (proposta dal matematico Timothy Gowers) che suggeriva che l'IA sarebbe stata come uno scattista che si stanca velocemente. L'idea era: "L'IA è veloce negli sprint facili, ma man mano che la corsa si fa più lunga e difficile, lo sforzo dell'IA esplode e l'IA rimane indietro rispetto agli umani".

Gli autori hanno testato questa teoria utilizzando i dati di 50 problemi matematici recenti e 26 diversi modelli di IA. Ecco cosa hanno scoperto.

1. Il test dello "Sforzo": L'IA si stanca più velocemente?

La Teoria: Pensavano che per ogni ora che un essere umano trascorre a risolvere un problema difficile, un'IA avrebbe dovuto impiegare molto più di un'ora (in termini di potenza di calcolo, misurata in "token" o parole generate). Si aspettavano che lo sforzo dell'IA schizzasse alle stelle man mano che il problema diventava più difficile.

L'Analogia: Immaginate un uomo e un robot che scalano una montagna.

L'Aspettativa: Il robot è bravo nella parte bassa, ma man mano che la pendenza aumenta, il robot deve fare 100 passi per ogni passo fatto dall'uomo.
La Realtà: Gli autori hanno trovato l'opposto. Per i modelli di IA più forti, man mano che la montagna diventava più ripida, il robot diventava in realtà più efficiente rispetto all'uomo.
- Se un essere umano impiega 1 ora per risolvere un problema difficile, l'IA potrebbe impiegare 2 ore di lavoro informatico.
- Se un essere umano impiega 10 ore, l'IA potrebbe impiegare solo 15 ore di lavoro informatico.
- Il Risultato: Il "divario" non si è allargato; si è anzi ristretto. L'IA è scalata meglio degli umani su questi specifici problemi. Gli autori chiamano questo risultato $b < 1$ , il che significa fondamentalmente che "L'IA sta diventando più brava a gestire la difficoltà più velocemente di quanto ci aspettassimo".

Perché? Gli autori ipotizzano che questi problemi matematici abbiano molti passaggi di "codifica" o "implementazione". Gli umani passano molto tempo a scrivere codice e a fare debugging. L'IA è incredibilmente veloce a scrivere codice e a fare debugging. Quindi, anche se l'IA è lenta nella parte di "pensiero", la sua super-velocità nella parte di "esecuzione" rende il tempo totale molto efficiente.

2. Il test della "Affidabilità": L'IA si arrende semplicemente?

La Teoria: Anche se l'IA potesse essere efficiente, forse si confonde e fallisce più spesso man mano che le cose si fanno difficili. Gli autori hanno testato se la probabilità di successo diminuisce in modo prevedibile.

L'Analogia: Immaginate di camminare in una foresta buia.

La Teoria: Ogni passo che fate ha una piccola, costante probabilità di farvi inciampare e cadere. Più lungo è il percorso (più difficile è il problema), più è probabile che inciampiate.
La Realtà: I dati si adattano perfettamente a questo modello. Il tasso di successo dell'IA scende in una curva fluida e prevedibile.
- Se il problema richiede 1 ora a un essere umano, l'IA avrà successo nel 90% dei casi.
- Se il problema richiede 4 ore a un essere umano, il tasso di successo dell'IA scende a circa il 50%.
- Il Risultato: L'IA non fallisce perché "sta finendo l'energia" o perché "sta cercando nella direzione sbagliata". Fallisce perché è poco affidabile su periodi lunghi. È come un corridore che è veloce, ma continua a inciampare nei propri lacci delle scarpe se la gara si prolunga troppo.

3. Il test dell' "Orizzonte": Quanto può resistere l'IA?

Gli autori hanno calcolato un "Orizzonte al 50%" ( $h_{50}$ ). Questo è il punto in cui l'IA ha il 50% di probabilità di risolvere il problema.

La Scoperta: I migliori modelli di IA in questo studio hanno raggiunto il traguardo del 50% di successo quando il tempo umano era di circa 2,5 - 4,3 ore.
La Metafora: Pensate all'IA come a una torcia. Illumina brillantemente per un po', ma se l'essere umano deve camminare per 10 ore per risolvere un problema, la luce dell'IA (la sua capacità di restare sulla strada giusta) si è già affievolita entro l'ora 4.
Il Trend: Gli autori hanno monitorato quanto velocemente queste "torce" stanno diventando più luminose. Hanno scoperto che la migliore IA sta migliorando la sua "resistenza" a un ritmo tale da raddoppiare la sua capacità circa ogni 75 giorni.

4. Il colpo di scena dell' "Agente": Dare un team all'IA

Il saggio ha esaminato anche i modelli "Agentici". Questi sono IA che non si limitano a rispondere una volta; ricevono strumenti per scomporre il problema, riprovare e controllare il proprio lavoro (come un essere umano che usa una calcolatrice e un foglio di carta).

Il Risultato: Questi "team di IA" potevano risolvere problemi che richiedevano agli umani più tempo (fino a 1,7 ore di tempo umano per il traguardo del 50%, rispetto a 0,3 ore per l'IA base).
Il Limite: Anche con questi strumenti, non riuscivano comunque a eguagliare i problemi più difficili che i migliori umani risolvono in oltre 10 ore. Hanno solo spostato un po' più in là il "limite di resistenza".

Riassunto: Cosa significa tutto questo?

Il saggio conclude che la vecchia paura — ovvero che l'IA semplicemente "finirà la benzina" e diventerà inefficiente man mano che i problemi si complicano — non è vera per questi specifici enigmi matematici.

Efficienza: L'IA è in realtà più efficiente degli umani in questi compiti man mano che diventano più difficili.
Il vero problema: Il collo di bottiglia non è l'efficienza; è l'affidabilità. L'IA può fare il lavoro, ma tende a sbagliare e a perdere la strada se il compito dura troppo a lungo.
Il limite: Attualmente, la migliore IA può gestire in modo affidabile problemi che richiedono a un essere umano circa 4 ore per essere risolti. Oltre questo limite, l'IA inizia a tirare a indovinare e a fallire.

In breve: L'IA non si sta stancando; si sta solo distraendo. È un lavoratore brillante e veloce che ha bisogno di un compito breve e focalizzato per avere successo. Se le si assegna un progetto lungo e complesso, probabilmente inciamperà nei propri lacci prima di finire.

Sintesi Tecnica: Difficoltà Matematica Umana vs Macchina su Project Euler

Enunciato del Problema
Questo articolo investiga come lo sforzo e la probabilità di successo dei sistemi di IA all'avanguardia scalano rispetto alla difficoltà umana nei problemi di matematica computazionale. Motivati da una proposta di Timothy Gowers riguardante lo scaling degli algoritmi di ricerca di prove, gli autori cercano di determinare se i sistemi di IA scalino peggio degli umani all'aumentare della difficoltà del compito. Nello specifico, testano l'ipotesi che, sebbene le macchine possano essere più veloci nei compiti semplici, il loro tempo di esecuzione atteso cresca molto più rapidamente rispetto a quello dei matematici umani man mano che la complessità del problema (misurata tramite la lunghezza della prova o la traiettoria della soluzione) aumenta. Lo studio utilizza Project Euler, una piattaforma di problemi di matematica computazionale dove i tempi di risoluzione umani sono registrati pubblicamente, e il benchmark MathArena, che fornisce estesi dati di tentativi di IA su 50 problemi recenti (943–992) e 26 configurazioni di modelli.

Metodologia
Gli autori operazionalizzano la "difficoltà umana" ( $t_{human}$ ) come la media geometrica dei cinque tempi di risoluzione umani più rapidi registrati per ogni problema, fungendo da proxy per il tempo di lavoro continuo di un umano forte. Lo "sforzo della macchina" ( $t_{machine}$ ) è definito non dal tempo di parete, ma dal numero totale di token generati per raggiungere una risposta corretta, calcolato come il totale dei token attraverso tutti i tentativi diviso per il numero di tentativi riusciti.

Lo studio impiega tre distinti framework analitici:

Ipotesi T (Modello di Scaling del Tempo): Testa una relazione di legge di potenza $t_{machine} = a \cdot t_{human}^b$ . L'esponente $b$ indica il comportamento di scaling: $b > 1$ implica che le macchine scalano peggio degli umani (lo sforzo cresce super-linearmente con la difficoltà), mentre $b < 1$ implica che le macchine scalano meglio. I fit vengono eseguiti su coppie modello-problema con almeno il 50% di tassi di successo empirico per evitare la dominanza dei casi di fallimento.
Ipotesi P (Modello di Successo Esponenziale): Testa se la probabilità di successo ( $p_{success}$ ) decada esponenzialmente con il tempo di compito umano: $p_{success} = p_{model}^{t_{task}}$ . Questo è modellato come una relazione lineare tra $\log p_{success}$ e $t_{human}$ , vincolata a passare per $(0, 1)$ . I dati sono aggregati in bin di quantili per adattare il tasso di decadimento.
Orizzonti in stile METR: Adatta una curva logistica alla probabilità di successo in funzione del tempo umano per estrarre specifici orizzonti di capacità: $h_{50}$ (tempo umano al 50% di successo) e $h_{80}$ (tempo umano all'80% di successo). Questo approccio è adattato dal benchmark di lunghezza del compito METR [KWB+25].

Il dataset comprende 3.840 tentativi attraverso 26 configurazioni di modelli (25 incluse nei fit finali dopo l'esclusione di una configurazione non rappresentativa). L'incertezza statistica è quantificata utilizzando il campionamento bootstrap non parametrico (1.000 campioni) per generare intervalli di confidenza al 90% per i parametri stimati.

Risultati Chiave

Inversione della Previsione di Scaling (Ipotesi T): Contrariamente alla previsione iniziale secondo cui le macchine avrebbero scalato peggio ( $b > 1$ ), lo studio rileva che, per 20 dei 25 modelli con fit utilizzabili, l'esponente è $b < 1$ . Ciò include i modelli base più forti ad alta copertura: Claude Opus 4.6 ( $b=0.722$ ), GPT-5.4 (xhigh) ( $b=0.644$ ) e Gemini 3.1 Pro Preview ( $b=0.467$ ). Gli intervalli di confidenza bootstrap al 90% per questi top modelli si trovano interamente al di sotto di 1. Ciò suggerisce che, all'interno di questa operazionalizzazione, il costo in token per una risposta corretta cresce in modo sub-lineare con la difficoltà umana, il che significa che l'efficienza relativa delle macchine migliora man mano che i problemi diventano più difficili, almeno per i problemi in cui il modello è moderatamente affidabile.
Decadimento Esponenziale del Successo (Ipotesi P): I dati mostrano un moderato supporto empirico per il modello di decadimento esponenziale. La $R^2$ mediana a livello di bin attraverso 22 configurazioni ben coperte è 0,92, con molti modelli top che superano lo 0,95. Gli emivita stimati (il tempo umano al quale la probabilità di successo scende al 50%) variano da 0,12 ore (Gemini 2.5 Pro) a 4,07 ore (GPT-5.4 xhigh).
Orizzonti di Capacità: Le configurazioni dei modelli base più forti raggiungono orizzonti di successo del 50% ( $h_{50}$ ) tra circa 2,5 e 4,3 ore di lavoro umano. Gli wrapper agentici (ad esempio, GPT-5 Euler Agent, Grok 4 Fast Euler Agent) dimostrano orizzonti sostanzialmente più ampi rispetto ai loro modelli base, sebbene questi confronti siano osservazionali.
Traiettoria di Progresso: Un fit log-lineare attraverso lo stato dell'arte (SOTA) dei modelli base nell'arco di circa 345 giorni del dataset implica un tempo di raddoppio di circa 75 giorni per l'orizzonte $h_{50}$ , che aumenta da 0,09 ore a 4,28 ore.

Significatività e Rivendicazioni
L'articolo sostiene che i suoi risultati sfidano la specifica narrativa dell' "efficienza di ricerca" derivata dalla formulazione di Gowers, la quale prevedeva che i sistemi di IA sarebbero rimasti indietro rispetto agli umani su problemi difficili a causa di costi di ricerca che scalano rapidamente. Invezione, i risultati indicano che su Project Euler, i modelli frontier scalano meglio dei forti risolutori umani in termini di costo di token per successo all'aumentare della difficoltà.

Tuttavia, gli autori sono cauti riguardo alle implicazioni. Notano che, sebbene lo scaling sia favorevole, l'affidabilità assoluta di questi sistemi rimane limitata; i modelli raggiungono la soglia del 50% di successo con tempi di lavoro umano di sole poche ore, ben lontani dallo sforzo sostenuto che gli umani possono applicare a un singolo problema. Gli autori propongono cinque spiegazioni speculative per la discrepanza tra lo scaling favorevole su Project Euler e la mancanza di accelerazione visibile nella matematica di livello di ricerca:

Implementazione vs Ragionamento: I problemi di Project Euler pesano fortemente l'implementazione (coding), che gli LLM gestiscono più velocemente degli umani, potenzialmente mascherando un ragionamento matematico più lento.
Degradazione della Lungo-Traiettoria: La probabilità di successo decade nel tempo a causa di errori accumulati o "decomposizione del contesto" (context rot), limitando l'orizzonte di un ragionamento coerente.
Limiti nella Costruzione di Strumenti: Gli LLM eccellono nell'uso di strumenti standard ma potrebbero mancare della capacità di inventare nuovi framework matematici necessari per la ricerca.
Lacune di Scaffolding: Le architetture attuali mancano della memoria persistente e dei workflow a lungo orizzonte necessari per la ricerca.
Eccesso di Pensiero (Overthinking): I modelli possono incorrere in costi fissi di token su problemi facili (auto-controllo), appiattendo artificialmente la pendenza dello scaling.

L'articolo conclude che i tre analisi (scaling, decadimento e orizzonti) forniscono un quadro coerente: il fattore limitante per questi sistemi su questo benchmark è l'affidabilità (decadimento esponenziale del successo) piuttosto che l'efficienza di ricerca (scaling sub-lineare dello sforzo). I risultati sono presentati come riassunti descrittivi delle capacità attuali su un benchmark specifico, non come leggi universali del progresso dell'IA.