OEIS Open: How many conjectures can language models turn into theorems?
Questo articolo introduce OEIS Open, un benchmark sicuro di 492 congetture matematiche formalizzate provenienti dall'OEIS, dimostrando che i modelli linguistici dotati di strumenti minimi possono risolvere autonomamente circa il 30% fino al 44% di questi problemi aperti a un costo modesto, sebbene l'accesso a una letteratura estesa e a sofisticati cicli di agenti non abbia migliorato significativamente le prestazioni.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate una vasta biblioteca digitale di numeri chiamata OEIS (l'Online Encyclopedia of Integer Sequences). È come un enorme catalogo dove i matematici elencano schemi che hanno trovato nei numeri, da quelli semplici (come 1, 2, 4, 8...) a quelli bizzarri e misteriosi. Spesso, dopo aver elencato un modello, qualcuno scrive una supposizione su come esso funzioni per sempre. Queste supposizioni sono chiamate "congetture". Per molto tempo, dimostrare queste supposizioni è stato un lavoro riservato solo a geni umani con lavagne e pazienza infinita. Ma recentemente, i computer hanno iniziato a provare a risolvere anche questi enigmi. La grande domanda è: un'intelligenza artificiale (IA) può davvero scoprire la verità da sola, o ha solo bisogno che un essere umano le tenga la mano? Questo articolo approfondisce questa questione stabilendo un test rigoroso in cui agenti di IA devono provare o smentire queste supposizioni numeriche senza metodi non autorizzati o l'intervento umano.
I ricercatori dietro questo studio, appartenenti a un gruppo chiamato Epoch AI, hanno creato una nuova sfida chiamata OEIS OPEN. Pensatela come un gigantesco percorso a ostacoli matematici. Hanno preso 492 congetture matematiche aperte dall'OEIS e le hanno tradotte in un linguaggio informatico rigoroso chiamato Lean, che funge da arbitro super-severo. In questo gioco, un agente di IA viene calato in una stanza digitale con alcuni strumenti di base: un editor di testo, una riga di comando (come un terminale di un computer) e una calcolatrice. L'unico obiettivo dell'IA è scrivere una dimostrazione che l'arbitro informatico accetti. Se l'IA non riesce a dimostrare che la congettura è vera, deve dimostrare che è falsa. Il colpo di scena? L'IA ha un budget rigoroso di 50 dollari per ogni congettura da spendere in tempo di calcolo. Se esaurisce il denaro prima di risolvere il problema, perde.
I risultati sono stati sorprendentemente promettenti. I migliori modelli di IA sono riusciti a risolvere 147 delle 492 congetture, ottenendo circa il 30% nel test. Ciò significa che hanno trasformato quasi un terzo di questi misteri aperti in teoremi confermati (o smentite) del tutto autonomamente. Il modello di maggior successo, Claude Opus 4.8, ne ha risolte il 30%, mentre altri come GPT-5.5 e Gemini 3.5 Flash sono andati bene, risolvendone rispettivamente il 26% e il 22%. Questo è un grande passo avanti perché i ricercatori hanno utilizzato un setup di IA molto semplice — un semplice ciclo che prova, controlla e riprova. Non era un robot super-complesso con un enorme team di assistenti umani. Infatti, questo approccio semplice ha ottenuto risultati migliori di un sistema molto più complicato chiamato AlphaProof Nexus, che ha risolto solo il 9% degli stessi problemi.
I ricercatori hanno anche testato dei "potenziamenti" per vedere se avrebbero aiutato l'IA a diventare più intelligente. Hanno dato all'IA l'accesso a una massiccia biblioteca di 476.000 articoli matematici da internet (arXiv), sperando che potesse imparare dal lavoro passato degli esseri umani. Hanno anche provato a dare all'IA un "cervello" più complesso capace di delegare compiti a sub-agenti e di ricordare le cose per un lungo periodo. Sorprendentemente, né uno né l'altro potenziamento ha aiutato. L'IA non ha risolto più congetture con la biblioteca, e il cervello complesso non l'ha resa più veloce o accurata. Sembra che per questo specifico tipo di problema matematico, avere un set di strumenti semplice e focalizzato e un buon budget sia più importante di avere una biblioteca massiccia o una personalità complicata.
Un risultato interessante è stato che più denaro i ricercatori erano disposti a spendere per una singola congettura, più l'IA era propensa a risolverla. Il tasso di successo aumentava in modo costante e prevedibile: per ogni dieci volte che aumentavano il budget, il tasso di successo saltava di circa dieci punti percentuali. Questo suggerisce che, se avessero dato all'IA un budget più ampio, avrebbe potuto risolvere ancora più problemi. Tuttavia, l'articolo nota con cautela che queste congetture, pur essendo matematicamente valide, sono per lo più "incognite" nel mondo della matematica. Non sono problemi famosi e rivoluzionari come l'Ipotesi di Riemann; sono probabilmente piccoli enigmi oscuri che non hanno ricevuto molta attenzione dai matematici umani.
Quindi, cosa significa tutto questo? Il documento mostra che l'IA è ora capace di risolvere autonomamente problemi di ricerca matematica reali a un costo modesto. Non sta solo risolvendo enigmi con risposte note; sta spingendo la frontiera di ciò che conosciamo. Ma mostra anche dei limiti: l'IA non è diventata più intelligente solo leggendo più libri, e fatica ancora con i problemi più difficili e oscuri. I ricercatori concludono che, sebbene non stiamo assistendo a un "salto qualitativo" in cui l'IA diventa improvvisamente un matematico geniale durante la notte, stiamo vedendo uno strumento potente e costante che può smantellare l'ignoto, una sequenza numerica alla volta.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.