Assessing LLMs' mathematical abilities requires understanding the various mechanisms of mathematical creativity
L'articolo sostiene che valutare le capacità matematiche dei LLM richieda di andare oltre i benchmark aggregati verso una tassonomia sfumata di distinti, non sostituibili meccanismi creativi, suggerendo che, mentre gli attuali modelli eccellono nel ricombinare la conoscenza esistente, essi potrebbero mancare fondamentalmente della capacità per altre forme di invenzione matematica che stanno diventando sempre più preziose man mano che migliora la generazione automatizzata di prove.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
La matematica è stata a lungo considerata il test supremo della logica umana, un regno dove le risposte sono o giuste o sbagliate, e dove il percorso verso la verità è pavimentato da una rigorosa dimostrazione. Per secoli, il campo si è affidato a un'economia semplice: l'intuizione umana individuava un modello o una possibilità, e poi seguiva il duro lavoro di verifica per confermarlo. Oggi, l'intelligenza artificiale ha iniziato a padroneggiare la seconda metà di questa equazione. I moderni sistemi informatici possono ora generare e verificare dimostrazioni matematiche con una velocità e una scala che superano di gran lunga le capacità umane, trasformando la risorsa un tempo scarsa della verifica in un'abbondanza travolgente. Questo cambiamento impone una domanda nuova e più difficile: se le macchine possono dimostrare le cose così facilmente, dove risiede il vero valore della matematica? La risposta non risiede nella dimostrazione stessa, ma nella scintilla che dà inizio a tutto il processo: il momento in cui un matematico inventa una nuova idea, un nuovo concetto o un nuovo modo di vedere il mondo.
Un recente articolo di Silvère Gangloff indaga esattamente questa scintilla, chiedendosi se l'intelligenza artificiale possa davvero inventare idee matematiche o se stia semplicemente riorganizzando quelle vecchie. L'autore sostiene che stiamo ponendo la domanda sbagliata. Invezione di trattare la "creatività matematica" come un'unica abilità che un computer possiede o meno, l'articolo suggerisce che essa sia in realtà una collezione di meccanismi distinti e non correlati. Alcuni di questi meccanismi implicano l'osservare come lavorano i matematici e trasformare quelle abitudini in regole formali. Altri implicano il prendere una struttura scoperta nel mondo fisico, come il modo in cui il calore fluisce, e riutilizzarla per risolvere enigmi astratti. C'è anche il lavoro di risolvere un problema specifico e ostinato inventando un nuovo strumento appositamente per scardinarlo, e il raro atto di alto livello di connettere due campi della matematica che non si sono mai parlati prima. L'articolo propone che questi non siano solo diverse sfumature della stessa cosa; sono tipi di pensiero fondamentalmente diversi che richiedono tipi di macchinari differenti.
Il risultato centrale della ricerca è che gli attuali sistemi di intelligenza artificiale sono eccezionalmente bravi in alcune di queste modalità, ma probabilmente incapaci di altre, indipendentemente da quanto possano diventare potenti. I sistemi che abbiamo oggi operano ricombinando pezzi esistenti. Sono come grandi bibliotecari che possono trovare e cucire istantaneamente qualsiasi due fatti che abbiano già letto prima. Questo li rende brillanti nel trovare una soluzione specifica a un tipo noto di problema o nel verificare se una dimostrazione segue le regole. Tuttavia, l'articolo suggerisce che si scontrino con un muro invalicabile quando viene chiesto loro di inventare un tipo completamente nuovo di oggetto o un nuovo modo di pensare che non abbia precedenti nei loro dati di addestramento. Ad esempio, un computer può cercare tra milioni di strutture matematiche esistenti per trovare quella che si adatta a un vincolo, ma non può decidere, da solo, che la pratica stessa del calcolo umano debba diventare un nuovo oggetto matematico da studiare. Questa è una differenza di genere, non solo di velocità; la macchina non è solo più lenta nell'inventare nuovi primitivi, è strutturalmente incapace di farlo perché le manca il meccanismo per selezionare ciò che vale la pena inventare in primo luogo.
L'autore sostiene questa visione osservando come la matematica sia effettivamente progredita nel corso della storia. In un caso famoso, un matematico di nome Alan Turing non si è limitato a risolvere un problema; ha guardato l'atto di un essere umano che segue un manuale di istruzioni e ha deciso di rendere quell'atto l'oggetto di una nuova teoria. In un altro caso, un fisico di nome Kolmogorov ha preso un concetto dalla termodinamica, che tratta del calore e dell'energia, e lo ha applicato alla matematica pura per risolvere un problema relativo a forme astratte. Questi non erano tentativi di cercare un pezzo mancante in un puzzle noto; erano atti di creazione del puzzle stesso. L'articolo sostiene che l'attuale intelligenza artificiale, che si basa sulla ricerca attraverso una libreria fissa di mosse note, non può replicare questo. Può trovare il pezzo mancante se la forma del pezzo è già definita, ma non può immaginare una nuova forma che non sia mai esistita.
Questa distinzione ha implicazioni profonde su come dovremmo giudicare il futuro dell'intelligenza artificiale nella scienza. Se continuiamo a misurare il successo dell'IA in base a quante dimostrazioni può generare o a quanto bene risolve problemi standard, stiamo misurando la cosa sbagliata. Stiamo premiando la macchina per fare il lavoro in cui è già brava, ignorando il lavoro che effettivamente guida il progresso umano. L'articolo avverte che, man mano che la generazione di prove diventa economica e automatica, il vero valore della matematica migrerà verso queste modalità di invenzione più difficili: l'atto riflessivo di formalizzare nuove pratiche, il salto analogico di importare idee da altri campi e la creazione profonda e orientata allo scopo di concetti interamente nuovi. Se non cambiamo il modo in cui valutiamo questi sistemi, rischiamo di creare un'ondata di risultati corretti ma non interessanti, mentre i veri salti trasformativi nella comprensione rimarranno fuori portata.
La ricerca non afferma che l'intelligenza artificiale non sarà mai in grado di compiere questi atti creativi. Suggerisce che, affinché ciò accada, la tecnologia sottostante dovrebbe cambiare, forse sviluppando sistemi che possano interagire con il mondo per formare comprensioni radicate, piuttosto che limitarsi a prevedere la parola successiva in una frase. Fino ad allora, l'articolo conclude, dobbiamo fare attenzione a non confondere la capacità di ricombinare vecchie idee con la capacità di crearne di nuove. Il futuro della scoperta matematica dipenderà meno dalla velocità con cui i nostri computer possono calcolare e più dal fatto di sapere se saremo in grado di costruire macchine che sappiano cosa vale la pena inventare.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.