Nel mondo dell'intelligenza artificiale, una rivoluzione silenziosa sta cambiando il modo in cui gli esperti giudicano le macchine che scrivono codice, risolvono problemi e generano testo. Per anni, l'industria si è concentrata su una singola domanda: quanto è intelligente il modello? I ricercatori hanno misurato questo aspetto osservando la migliore risposta possibile che una macchina può produrre o il suo punteggio medio in un test. Questo approccio presuppone che se un modello riesce a dare la risposta corretta una volta, sia un successo. Tuttavia, per chiunque cerchi di utilizzare questi strumenti per veri lavori di ingegneria, questa metrica trascura il fattore più critico. Uno strumento che funziona perfettamente la metà delle volte e fallisce clamorosamente l'altra metà è inutile per costruire sistemi affidabili, anche se i suoi momenti migliori sono brillanti. La nuova frontiera non riguarda quanto in alto possa saltare la macchina, ma quanto costantemente riesca ad atterrare in piedi. Questo spostamento sposta l'attenzione dalla capacità pura alla precisione, chiedendo non solo se la macchina sappia fare il lavoro, ma se possa fare lo stesso identico lavoro nello stesso modo ogni singola volta che le viene richiesto.

George Andrikopoulos, un ricercatore indipendente con sede a Londra, sostiene che l'attuale modo di confrontare i sistemi di intelligenza artificiale stia misurando la cosa sbagliata. Egli suggerisce che, sebbene i modelli più avanzati siano diventati incredibilmente accurati — ovvero, il loro output medio colpisce l'obiettivo — non sono ancora diventati precisi. La precisione, in questo contesto, si riferisce a quanto siano strettamente raggruppati i risultati quando viene effettuata la stessa richiesta ripetutamente. Immaginate di chiedere a una macchina di risolvere un problema ingegneristico specifico dieci volte. Un sistema preciso vi darà una risposta corretta e sensata nove o dieci volte. Un sistema impreciso potrebbe darvi una risposta corretta cinque volte, ma nelle altre cinque potrebbe produrre qualcosa di bizzarro, rotto o completamente slegato dal contesto. L'industria celebra attualmente il colpo migliore, ma le persone che costruiscono con questi strumenti hanno bisogno di conoscere il gruppo. Se i colpi sono dispersi, lo strumento è inaffidabile, indipendentemente da quanto possa essere buono il centro del gruppo.

Per risolvere questo problema, Andrikopoulos ha sviluppato un modo semplice per misurare questa coerenza senza fare affidamento su complessi sistemi di valutazione circolari. Invece di chiedere a un'altra intelligenza artificiale di giudicare il lavoro, il che può introdurre i propri errori, il metodo utilizza compiti che hanno un esito binario chiaro: il codice compila, i test passano o il tipo di file è corretto? Questi sono fatti che possono essere verificati da un computer senza alcuna supposizione. Il processo prevede l'esecuzione di un piccolo insieme di questi compiti verificabili molte volte su un'istanza fresca del modello, ogni volta. Contando quante volte il modello ha successo rispetto a quante volte fallisce, i ricercatori possono vedere la forma dei risultati. Se il modello passa ogni volta, o fallisce ogni volta, è preciso. Se passa la metà delle volte e fallisce l'altra metà, è disperso e imprevedibile.

Il documento presenta una chiara regola decisionale basata su queste misurazioni. Se un modello fallisce costantemente nello stesso modo, si tratta di un "gruppo compatto" che è solo fuori centro. Questo è un buon problema da avere, perché significa che un operatore umano può scrivere una regola specifica per correggere l'errore, effettuando efficacementmente la "regolazione del mirino" della macchina. Tuttavia, se il modello fallisce in molti modi diversi, il gruppo è disperso. In questo caso, nessuna scrittura di regole aiuterà, perché gli errori sono casuali. L'unica soluzione per un gruppo disperso è cambiare il modello stesso o regolare il modo in cui genera le sue risposte. Questa distinzione è vitale perché dice agli ingegneri se dovrebbero dedicare tempo a scrivere istruzioni per la macchina o se dovrebbero semplicemente passare a una macchina diversa.

Un test nel mondo reale illustra la potenza di questo approccio. I ricercatori hanno preso un set specifico di compiti di programmazione e li hanno eseguiti cinque volte su un modello leader senza istruzioni speciali. Il modello non è riuscito a superare un compito di validazione specifico ogni singola volta. Poiché falliva esattamente nello stesso modo ogni volta, i ricercatori sapevano che si trattava di un errore costante e non di un glitch casuale. Hanno analizzato il fallimento e scoperto che la macchina commetteva un errore logico specifico quando gestiva numeri troppo grandi. Hanno scritto una singola, semplice regola per correggere questa logica. Quando hanno eseguito gli stessi cinque compiti con la nuova regola in vigore, il modello ha superato tutto ogni singola volta. Il tasso di successo è passato da zero a cento per cento. Ciò ha dimostato che la macchina era abbastanza precisa da poter essere corretta; doveva solo regolare il mirino.

Lo studio ha anche rivelato un limite sorprendente a quanto possiamo migliorare questi sistemi con le regole scritte. I ricercatori hanno cercato di creare un nuovo set di compiti di test basati proprio sulle regole che avevano scritto, sperando di misurare quanto valore aggiungessero quelle regole. Hanno scoperto che i modelli più avanzati erano già così capaci da seguire naturalmente queste buone pratiche senza essergli stato detto. I modelli superavano questi test "basati su regole" perfettamente anche senza le istruzioni extra. Ciò significa che per gli errori più comuni, le macchine hanno già appreso la disciplina da sole. Il vero valore di un manuale di istruzioni, quindi, non è insegnare alla macchina ciò che già sa, ma trovare le rare e nascoste lacune dove la macchina ancora si disperde o fallisce costantemente. Queste lacune non possono essere previste in anticipo; devono essere trovate misurando il lavoro effettivo della macchina.

In definitiva, questa ricerca cambia la conversazione sull'intelligenza artificiale da una competizione su chi sia il più intelligente a una valutazione pratica di chi sia il più affidabile. L'industria ha passato anni a costruire classifiche che danno ai modelli un ranking basato sulla loro prestazione massima, ma tali classifiche non dicono all'utente se lo strumento funzionerà per il suo progetto specifico. Misurando la compattezza del gruppo, gli ingegneri possono prendere decisioni informate su quali modelli utilizzare e dove investire il loro tempo. Se un modello è preciso ma leggermente fuori bersaglio, un essere umano può correggerlo con una regola. Se è disperso, nessuna regola potrà salvarlo. Il futuro del lavoro con queste macchine non dipende dal trovare la risposta perfetta, ma dal comprendere il pattern delle risposte e sapere quando regolare il mirino e quando cambiare il fucile.