Nel mondo dell'intelligenza artificiale, i grandi modelli linguistici vengono spesso giudicati da una singola, semplice domanda: riesce a dare la risposta giusta? Quando un utente chiede la soluzione a un problema matematico, una riga di codice o una diagnosi medica, il test standard è se il modello produca una risposta corretta. Questo approccio tratta la macchina come uno studente che sostiene un esame finale, dove conta solo il punteggio più alto. Tuttavia, in molte situazioni reali, una singola risposta non è sufficiente. Uno scienziato che progetta un nuovo farmaco potrebbe aver bisogno di vedere dieci diverse strutture chimiche che funzionino tutte, così da poter scegliere quella più facile da produrre. Un ingegnere del software che corregge una falla di sicurezza potrebbe voler vedere diversi modi per patchare il codice per vedere quale sia il più sicuro. In questi scenari, il valore della macchina non risiede nella sua capacità di produrre un singolo output perfetto, ma nella sua capacità di generare un insieme ricco di opzioni distinte e utili. La sfida per i ricercatori è stata come misurare questa capacità. I test tradizionali contano spesso quante volte un modello ci azzecca, o semplicemente scelgono la risposta migliore da un elenco ignorando le altre. Questo perde completamente il punto quando l'obiettivo è avere una collezione diversificata di possibilità valide da cui scegliere.

Un team di ricercatori presso il Centro RIKEN per la Scienza Computazionale in Giappone ha sviluppato un nuovo modo per affrontare questo problema. Hanno creato un campo di prova specializzato, che chiamano benchmark, progettato specificamente per vedere quanto bene un'intelligenza artificiale riesca a generare una varietà di risposte utili per un singolo compito. Inveve di chiedere: "Ha dato la risposta giusta?", il loro metodo chiede: "Quante diverse e genuinamente utili risposte ha trovato?". Hanno costruito questo test utilizzando cinque tipi molto diversi di problemi del mondo reale, che spaziano dalla progettazione di molecole chimiche alla riparazione di bug nel software e alla ricerca di prove mediche. Per ogni problema, hanno definito esattamente cosa conta come un risultato "utile" e come capire se due risultati siano effettivamente diversi. Ad esempio, nella progettazione di molecole, due risposte potrebbero apparire diverse in superficie, ma se condividono la stessa struttura chimica centrale, contano come lo stesso esito utile. I ricercatori hanno poi sottoposto vari modelli a questi compiti, chiedendo loro di provare più volte, e hanno contato quanti risultati unici e validi avevano accumulato.

I risultati di questo studio rivelano una verità sorprendente su come funzionano queste macchine. I ricercatori hanno scoperto che i modelli migliori nel produrre una singola risposta di alta qualità non sono necessariamente quelli che producono la migliore collezione di risposte diversificate. Infatti, la classifica di quale modello sia il "migliore" cambia a seconda di quanti tentativi sono consentiti. Un modello che guida la classifica quando gli viene dato un solo tentativo potrebbe restare indietro quando gli vengono dati venti tentativi, mentre un altro modello che parte lentamente potrebbe alla fine scoprire una gamma più ampia di soluzioni utili. Ciò suggerisce che le impostazioni utilizzate per eseguire questi modelli contano più di quanto si pensasse in precedenza. I ricercatori hanno scoperto che aumentare la "temperatura", un'impostazione che rende l'output del modello più casuale e vario, ha spesso portato a una collezione molto più ampia di risultati utili, anche se a volte riduceva la qualità di un singolo dato risultato. Al contrario, una funzione chiamata "pensiero" (thinking), che incoraggia il modello a ragionare passo dopo passo prima di rispondere, ha migliorato la qualità delle singole risposte ma non ha sempre aiutato il modello a trovare più soluzioni distinte.

Forse più importante, lo studio ha dimostrato che guardare semplicemente quanto le risposte appaiano diverse in superficie non è sufficiente per dire se siano realmente utili. Un modo comune per giudicare la diversità è controllare se le parole o i caratteri nelle risposte sono diversi tra loro. I ricercatori hanno scoperto che questo controllo superficiale è un scarso predittore del fatto che il modello abbia effettivamente trovato nuove soluzioni valide. Un modello potrebbe produrre dieci risposte che sembrano molto diverse tra loro, ma che rappresentano tutte la stessa soluzione sottostante, fallendo nel fornire la varietà che un utente realmente necessita. Utilizzando un sistema che controlla l'effettivo contenuto e il significato delle risposte rispetto alle regole specifiche del compito, i ricercatori sono riusciti a misurare la vera "copertura" dei risultati. Hanno scoperto che questa misura più profonda portava spesso a conclusioni diverse su quali modelli e impostazioni stessero performando meglio.

Il team ha testato quattro diversi grandi modelli linguistici attraverso questi cinque domini: progettazione di molecole, riparazione di repository software, ricerca di bug nel codice, diagnosi di casi medici e ricerca di prove per supportare domande complesse. Hanno eseguito ogni modello con diverse impostazioni, come variare il livello di casualità e abilitare o disabilitare il processo di "pensiero". Hanno poi misurato quanti esiti distinti e validi produceva ogni modello all'aumentare del numero di tentativi. I dati hanno mostrato che, per la maggior parte dei compiti, il modello che performava meglio all'inizio non era quello che performava meglio dopo molti tentativi. Ad esempio, nel compito di progettare molecole, un modello era il leader dopo un singolo tentativo, ma al tempo dei venti tentativi, un altro modello aveva scoperto un numero significativamente maggiore di strutture chimiche uniche. Questo schema si è mantenuto costante in tutti i casi, indicando che la migliore strategia per generare una singola risposta è spesso diversa dalla migliore strategia per generare un insieme di risposte.

Lo studio ha anche esaminato se dire esplicitamente al modello di evitare di ripetersi aiutasse. In alcuni casi, i ricercatori hanno provato a forzare la diversità chiedendo al modello di generare idee nuove che fossero diverse da quelle appena espresse. I ricercatori hanno scoperto che questo approccio non funzionava in modo affidabile. Sebbene aiutasse in alcuni compiti specifici come la ricerca di prove, riduceva effettivamente il numero di soluzioni utili in altri, come la riparazione del software. Ciò suggerisce che chiedere semplicemente varietà non garantisce che il modello trovi nuovi terreni validi. Invece, il modo in cui il modello è configurato, in particolare le impostazioni che controllano la sua casualità, gioca un ruolo più critico nel determinare se può esplorare un ampio intervallo di possibilità utili.

Queste scoperte cambiano il modo in cui dovremmo valutare l'intelligenza artificiale. Per anni, l'attenzione si è concentrata sull'ottenere la singola risposta migliore. Ma man mano che queste macchine vengono utilizzate per compiti più complessi dove avere opzioni è cruciale, il vecchio modo di misurare il successo è insufficiente. Il lavoro dei ricercatori dimostra che un insieme finito di risposte candidate è un oggetto di studio significativo di per sé. Non è solo una collezione di tentativi che portano a un vincitore; è un panorama di possibilità che può essere mappato e misurato. Utilizzando il loro nuovo metodo, che chiamano copertura del compito validata (validated task coverage), hanno dimostrato che possiamo valutare direttamente quanto bene un modello esplora questo panorama. I risultati suggeriscono che, per ottenere il massimo da questi strumenti, potremmo dover smettere di cercare la singola risposta migliore e iniziare a dare valore all'ampiezza delle opzioni che possono fornire.

Le implicazioni di questa ricerca vanno oltre la semplice scelta del modello giusto. Suggeriscono che il modo in cui interagiamo con questi sistemi potrebbe dover cambiare. Se un utente ha bisogno di una varietà di soluzioni, potrebbe dover regolare le impostazioni per incoraggiare una maggiore esplorazione, anche se ciò significa accettare che le singole risposte possano essere leggermente meno perfette. Lo studio fornisce un modo concreto per testare e confrontare questi diversi approcci, andando oltre le idee vaghe di "creatività" o "diversità" verso un conteggio chiaro e misurabile di esiti utili. I ricercatori hanno reso i loro strumenti e i loro dati disponibili al pubblico, permettendo ad altri di testare nuovi modelli e impostazioni contro questo nuovo standard. Ciò apre la porta a una comprensione più sfumata di ciò che queste macchine possono fare, spostando l'attenzione da un singolo punto di successo all'intero intervallo del loro potenziale.

In definitiva, il documento offre un cambiamento di prospettiva silenzioso ma significativo. Sostiene che il valore di un'intelligenza artificiale non risiede solo nella sua capacità di essere corretta, ma nella sua capacità di essere utile in molti modi diversi. Costruendo un test che misura l'accumulo di risultati distinti e validi, i ricercatori hanno fornito una nuova lente attraverso cui guardare questi potenti strumenti. Hanno dimostrato che il percorso per la migliore serie di risposte non è sempre lo stesso del percorso per la migliore singola risposta, e che le impostazioni che scegliamo possono fare una profonda differenza nella varietà di soluzioni che riceviamo. Questo lavoro non pretende di aver risolto ogni problema nella valutazione dell'IA, ma fornisce un metodo chiaro e riproducibile per porre una domanda che è stata trascurata per troppo tempo: quanti elementi utili può effettivamente trovare questa macchina?