ASI-Bench: At the Dawn of Artificial Superintelligence

Il viaggio verso una macchina capace di pensare come un essere umano si è concentrato a lungo su quanto bene i computer possano memorizzare fatti, risolvere enigmi noti o seguire un insieme di istruzioni per raggiungere una risposta specifica. Per anni, i sistemi di intelligenza artificiale più avanzati hanno eccelso in questi compiti, assorbendo vaste biblioteche di conoscenza umana e applicandole con una velocità incredibile. Ma esiste un tipo diverso di intelligenza che rimane in gran parte fuori portata: la capacità di addentrarsi nell'ignoto, di guardare un problema disordinoso e non spiegato, e di capire non solo la risposta, ma il percorso stesso per trovarla. Questo è il regno della scoperta scientifica, dove l'obiettivo non è richiamare una formula, ma inventarne una, progettare un esperimento e trasformare una domanda vaga in un risultato verificato. La domanda che guida un nuovo studio è se le macchine attuali possano davvero farlo da sole, o se siano ancora interamente dipendenti dagli esseri umani per guidarle passo dopo passo in ogni fase del processo.

Un team di ricercatori provenienti da università e istituti di tutto il mondo ha costruito un nuovo banco di prova chiamato ASI-Bench per rispondere a questa domanda. Hanno creato sessanta complessi progetti di ricerca in undici diversi campi della scienza, che spaziano dalla fisica e la chimica alla biologia e l'ingegneria. Ogni progetto è stato progettato per simulare una reale investigazione scientifica, completa di dati grezzi, un obiettivo specifico e la necessità di produrre una soluzione funzionante. La genialità del design risiede nel modo in cui hanno testato le macchine. Per ogni singolo progetto di ricerca, hanno eseguito lo stesso sistema di IA quattro volte, ma hanno cambiato la quantità di aiuto fornito. Nel primo scenario, all'IA è stato consegnato un manuale completo e dettagliato su come risolvere esattamente il problema. Nel secondo, è stato detto solo il metodo generale da utilizzare, come dire a qualcuno di "usare un martello" senza mostrargli come sferrare un colpo. Nel terzo, all'IA sono stati dati solo il problema e i dati, senza istruzioni su come procedere, costringendola a decidere il metodo da sé. Infine, nel quarto scenario, hanno aggiunto uno strato di informazioni confuse e irrilevanti per vedere se la macchina riuscisse a mantenere la concentrazione sul compito reale.

I risultati rivelano una realtà cruda sullo stato attuale dell'intelligenza artificiale. Quando alle macchine venivano date istruzioni complete, performavano ragionevolmente bene, ottenendo una media di circa cinquantauno su cento possibili. Tuttavia, non appena i ricercatori hanno rimosso la guida passo dopo passo e hanno chiesto all'IA di capire la procedura da sola, le prestazioni sono crollate. Quando l'IA doveva scegliere il metodo da sola, il punteggio medio è sceso a circa ventisette. Questo netto declino suggerisce che, sebbene i sistemi odierni siano eccellenti nel seguire un percorso che gli esseri umani hanno già tracciato, faticano immensamente a costruire la strada da soli. L'ostacolo maggiore non era scegliere lo strumento giusto, ma piuttosto tradurre un'idea generale in un piano dettagliato e operativo. Anche quando l'IA sapeva quale metodo utilizzare, spesso falliva nel costruire i passaggi necessari per farlo funzionare, causando una significativa diminuzione dei punteggi quando le istruzioni dettagliate venivano rimosse.

I ricercatori hanno anche scoperto che l'aggiunta di informazioni extra e di disturbo non confondeva le macchine tanto quanto la rimozione delle istruzioni. Quando all'IA veniva assegnato lo stesso compito difficile ma con un mucchio di fatti non correlati e chiacchiere aggiunte al prompt, la sua prestazione rimaneva quasi esattamente la stessa di quando non aveva alcuna istruzione. Ciò indica che la debolezza primaria dei sistemi attuali non è la mancanza di concentrazione o l'incapacità di filtrare il rumore, ma un'incapacità fondamentale di operare senza una tabella di marcia definita dall'uomo. Lo studio ha coinvolto diciotto diverse combinazioni di modelli di IA e agenti software, e persino la configurazione più avanzata, che utilizzava il ragionamento più potente disponibile, riusciva a ottenere solo circa cinquantadue quando lasciata a se stessa. Questo è un successo modesto, ma è molto lontano dalla affidabilità richiesta affinché una macchina possa condurre una ricerca scientifica indipendente.

Anche il costo di questa indipendenza è alto. Quando l'IA doveva capire i passaggi da sola, consumava significativamente più potenza di calcolo e tempo rispetto a quando si limitava a seguire gli ordini. In alcuni casi, il sistema utilizzava quasi il sessanta per cento in più di risorse computazionali solo per tentare lo stesso compito senza una guida, finendo spesso bloccato in loop o tentando percorsi inefficienti. Ciò suggerisce che la vera autonomia non è solo una questione di intelligenza, ma di efficienza; senza la guida umana, le macchine sprecano enormi quantità di sforzo cercando di risolvere problemi che avrebbero potuto risolvere rapidamente se fossero state istruite su come fare. Lo studio conclude che siamo ancora lontani dall'alba dell'intelligenza artificiale superintelligente, uno stato in cui le macchine possono esplorare l'ignoto e creare nuova conoscenza senza l'intervento umano. Invece, ci troviamo in una fase in cui le macchine sono assistenti potenti che possono eseguire compiti complessi, ma dipendono ancora fortemente dagli esseri umani per definire la strategia.

Questo nuovo benchmark non è inteso come un giudizio finale, ma piuttosto come un punto di partenza per la comunità scientifica. I ricercatori hanno reso i loro sessanta compiti e i loro metodi di test disponibili al mondo, invitando altri scienziati e ingegneri a contribuire con nuovi problemi e a testare i propri sistemi contro queste sfide. Credono che, aggiungendo continuamente nuovi e difficili progetti di ricerca e perfezionando i test, la comunità possa monitorare il progresso in modo più accurato. L'obiettivo è andare oltre i semplici test di memoria e logica verso un futuro in cui possiamo misurare se una macchina può davvero pensare come uno scienziato, capace di navigare nell'ignoto e di trasformare una pagina bianca in una scoperta. Per ora, i dati mostrano che, sebbene le nostre macchine stiano diventando più intelligenti, stanno ancora aspettando che noi diciamo loro cosa fare dopo.