Immagina di voler insegnare a un robot come essere un matematico. Non vuoi solo che parli di numeri; vuoi che scriva il codice effettivo che risolve un enigma. Questo è il mondo della sintesi di codice combinatorio. Pensa alla "combinatoria" come allo studio di come le cose possono essere disposte, rimescolate o conteggiate — come capire in quanti modi puoi impilare dei blocchi, disporre un mazzo di carte o colorare una mappa senza che due colori adiacenti siano uguali. La "sintesi del codice" è semplicemente l'atto di far scrivere a un'IA un programma per eseguire quel calcolo.

Per molto tempo, abbiamo testato l'IA su compiti di programmazione generali, come "scrivi una funzione per ordinare una lista di nomi" o "correggi questo bug in un sito web". Ma questi test sono un po' come chiedere a uno chef di tritare cipolle; mostrano se lo chef sa impugnare un coltello, ma non se sa inventare una nuova ricetta da zero. Questo articolo pone una domanda più difficile: se dai a un'IA una regola matematica astratta e rigorosa e alcuni esempi, può scrivere un programma perfetto che segua quella regola per qualsiasi possibile input, anche quelli che non ha mai visto prima? È la differenza tra un robot che sa seguire una ricetta e un robot che può comprendere la chimica della cucina abbastanza bene da inventare un piatto che non è mai esistito.

La Grande Sfida del Codice Matematico: FindStatBench

Entra in scena FindStatBench, una nuova palestra super impegnativa per i modelli di IA. Creata dai ricercatori di Scale AI, questo benchmark è progettato per mettere sotto stress i Large Language Models (LLM) sulla loro capacità di trasformare descrizioni matematiche pure in codice Python funzionante. Invece di chiedere all'IA di scrivere uno script semplice, i ricercatori le hanno fornito 2.329 distinti enigmi matematici. Questi enigemi provengono da un database del mondo reale chiamato FindStat, che è come una biblioteca di "ricette matematiche" per cose come permutazioni (rimescolare liste), grafi (reti di punti e linee) e partizioni (scomporre numeri in somme).

Le regole del gioco erano rigide e "a libro chiuso". L'IA riceveva la descrizione di un problema matematico e fino a cinque esempi di input e output. Doveva scrivere una singola funzione Python chiamata solve(obj) che potesse gestire qualsiasi oggetto, non solo gli esempi visti. L'IA non poteva usare una calcolatrice, cercare su internet o chiedere aiuto. Doveva farcela al primo colpo. Per assicurarsi che l'IA non stesse solo memorizzando le risposte, i ricercatori hanno testato il codice contro 5,52 milioni di casi di test nascosti — milioni di problemi matematici che l'IA non aveva mai visto prima. Se il codice falliva anche un solo di questi test nascosti, veniva considerato errato.

I Risultati: Un Pareggio Sorprendente e Alcuni Strani Glitch

Quando la polvere si è posata, i risultati sono stati affascinanti e un po' controintuitivi.

1. I Modelli "Grandi" e "Piccoli" sono Testa a Testa
Ci si potrebbe aspettare che i modelli "closed-source" più costosi e potenti (quelli per cui bisogna pagare grandi aziende per lare utilizzare) schiaccino i modelli "open-source" (quelli che chiunque può scaricare ed eseguire). Ma in questa arena densa di matematica, non è successo. Il miglior modello open-source, gpt-oss-120b, ha ottenuto un punteggio quasi identico al miglior modello closed-source, Claude Sonnet 4.6. Erano separati da meno dell'1%. È come due corridori in una maratona: uno è sponsorizzato da una grande corporazione con un team affiatato, e l'altro è un eroe locale con una scarpa fatta in casa. Hanno tagliato il traguardo esattamente allo stesso tempo.

Ancora più sorprendente è che, se si prendessero le migliori risposte da tutti gli undici modelli testati e le si combinassero, si migliorerebbe il punteggio totale solo di circa il 10%. Ciò suggerisce che tutti questi modelli stanno colpendo un simile "tetto" di capacità. Stanno tutti lottando con le stesse parti difficili del puzzle.

2. Più Esempi Possono In realtà Peggiorare le Cose
Ecco dove la cosa si fa strana. Nella maggior parte dei test sull'IA, dare al modello più esempi lo aiuta a imparare. Ma su FindStatBench, per certi tipi di enigmi matematici chiamati "biiezioni" (che sono modi eleganti per dire "regole di corrispondenza perfetta"), dare al modello cinque esempi ha reso le prestazioni peggiori rispetto a darne zero.

Immaginate di insegnare a uno studente a piegare una gru di origami. Se dite solo "piega la carta in questo modo", potrebbero ricordare la piega classica e perfetta. Ma se mostrate loro cinque esempi in cui qualcuno ha fatto una piega leggermente disordinata, lo studente potrebbe confondersi e cercare di copiare le pieghe disordinate, dimenticando la regola perfetta. Il documento ha scoperto che per alcune classiche regole matematiche, gli esempi hanno "oscurato" la conoscenza interna dell'IA, causando la scrittura di codice rotto che falliva persino gli esempi che gli erano stati mostrati. È un caso di "troppa informazione, troppo poco apprendimento".

3. La Trappola del "Pensare"
Un'altra scoperta importante è stata che alcuni modelli, specialmente quelli progettati per "pensare" prima di parlare, spesso finiscono lo spazio. Questi modelli hanno un limite su quanto testo possono generare. A volte, spendevano tutto il loro "budget" scrivendo il proprio ragionamento interno (il loro processo di pensiero) e non arrivavano mai a scrivere il codice effettivo. È come uno studente che passa l'intero tempo dell'esame scrivendo un diario su quanto sia difficile il test, e poi finisce il tempo senza riuscire a risolvere i problemi. I ricercatori hanno scoperto che dare semplicemente a questi modelli più spazio per scrivere i loro pensieri (e il codice) risolveva molti di questi fallimenti.

4. Le Cose Difficili Restano Difficili
Sebbene l'IA sia diventata piuttosto brava in alcuni compiti (come contare le cose o lavorare con forme semplici), ha fallito completamente in altri. Per i compiti che coinvolgono le "partizioni di insiemi" (raggruppare elementi in ogni modo possibile) e gli "alberi binari" (strutture gerarchiche), l'accuratezza era vicina allo zero per ogni modello, sia esso open o closed source. Sembra che non importa quanto sia grande il modello, o quanto costi, questi specifici tipi di puzzle strutturali siano attualmente oltre la loro portata.

Cosa Significa Tutto Questo

L'articolo conclude che, sebbene l'IA stia diventando molto brava a scrivere codice matematico "plausibile", rimane fragile quando si tratta di regole simboliche esatte. I modelli possono indovinare la risposta giusta spesso, ma faticano a derivare coerentemente la logica perfetta per strutture complesse.

La lezione principale? Il costo non sempre equivale alla capacità. In questo test specifico, un modello open-source più economico ha performato quanto i modelli proprietari più costosi. E a volte, dare a un'IA più esempi o più "tempo di pensiero" non aiuta — può anzi confonderla. I ricercatori suggeriscono che per padroneggiare davvero la matematica, l'IA deve diventare più brava a comprendere le regole del gioco, non solo a memorizzare le mosse. Per ora, l'IA è un apprendista talentuoso che sa seguire le istruzioni bene, ma si perde ancora quando gli viene chiesto di inventare un nuovo tipo di geometria.