A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

Nel mondo in rapida evoluzione dell'intelligenza artificiale, i ricercatori ricorrono spesso a una strategia chiamata "apprendimento d'insieme" (ensemble learning) per risolvere problemi difficili. Invece di fare affidamento su un singolo, massiccio programma informatico per trovare la risposta corretta, riuniscono un gruppo di programmi diversi, ciascuno addestrato su dati differenti o progettato con diverse potenzialità, e chiedono a tutti di lavorare sullo stesso compito. La speranza è che, mentre un programma potrebbe inciampare, un altro avrà successo e, combinando i loro sforzi, il gruppo possa raggiungere un livello di accuratezza che nessun singolo membro potrebbe raggiungere da solo. Tuttavia, una sfida persistente è stata decidere a quale membro del gruppo dare fiducia quando questi non sono d'accordo. I metodi tradizionali agiscono spesso come un'elezione, dove ogni modello riceve un voto e la risposta scelta è semplicemente quella che ottiene il maggior sostegno. Questo approccio presuppone che la saggezza collettiva del gruppo si trovi nella maggioranza, ma ignora la possibilità che la risposta più popolare possa essere errata, o che un esperto più silenzioso e affidabile venga messo a tacere da uno più rumoroso e meno accurato.

Un nuovo studio propone un modo diverso di pensare a questo problema, suggerendo che un gruppo di modelli di intelligenza artificiale dovrebbe essere trattato non come un corpo elettorale, ma come una giuria. In un tribunale, una giuria non si limita a contare quante persone concordano su un verdetto; invece, ascolta la testimonianza di ogni testimone e cerca di giudicare chi sia credibile in base a ciò che dicono e a come le loro storie si allineano. I ricercatori dietro questo lavoro si sono chiesti se un gruppo di modelli linguistici potesse fare lo stesso: inferire l'affidabilità di ogni membro esclusivamente dal modello delle loro risposte, senza bisogno di conoscere in anticipo le risposte corrette. Hanno costruito un sistema in cui i modelli agiscono come testimoni, e il sistema impara a fidarsi di quelli la cui testimonianza si allinea costantemente alla verità, anche se il sistema non vede mai la verità stessa.

I ricercatori hanno testato questa idea su un benchmark di 1.560 domande che coprivano una vasta gamma di argomenti, dalla matematica e la scienza al diritto e il ragionamento generale. Hanno raccolto nove diversi modelli linguistici, di varie dimensioni e addestramenti, per fungere da esperti. In una configurazione standard, a questi modelli verrebbe fornito un set di domande e le loro risposte verrebbero combinate usando un semplice voto di maggioranza o una media ponderata in cui i pesi sono determinati da quanto bene i modelli hanno performato su un set separato di domande con risposte note. Il nuovo metodo, tuttavia, salta la fase di consultazione delle risposte corrette per determinare la fiducia. Invece, utilizza un processo matematico per analizzare le risole fornite dai modelli alle domande poste. Guardando quali modelli concordavano tra loro e quali invece discordevano, il sistema stima quanto sia affidabile ogni modello. Tratta la risposta corretta come un fatto nascosto che i modelli stanno cercando di riportare, e calcola la probabilità che ogni modello stia dicendo la verità sulla base della configurazione delle risposte del gruppo.

I risultati di questo esperimento sono stati sorprendenti. Il sistema basato sulla giuria, che ha imparato a fidarsi dei suoi membri senza aver mai visto una singola risposta corretta, ha raggiunto un'accuratezza del 76,9 percento sull'intero benchmark. Questa performance è stata significativamente migliore di un semplice voto di maggioranza, che ha ottenuto il 63,0 percento, e ha superato anche il miglior singolo modello del gruppo, che ha raggiunto il 75,0 percento. Forse, cosa più importante, la giuria ha performato quanto un sistema che utilizzava le stesse regole di combinazione ma era stato addestrato con le risposte corrette per determinare i pesi. Questo reperimento suggerisce che il complesso processo di etichettatura dei dati per insegnare a un sistema a quali modelli dare fiducia non è strettamente necessario; il sistema può imparare a fidarsi dei testimoni giusti semplicemente ascoltando ciò che dicono. Lo studio ha anche scoperto che mantenere l'intero intervallo di possibili risposte che un modello potrebbe dare, piuttosto che solo la sua scelta principale, ha migliorato significativamente i risultati. Quando il sistema ha considerato la distribuzione di probabilità delle risposte, ha guadagnato un ulteriore 8,4 punti percentuali rispetto a un semplice voto, e la ponderazione corretta degli esperti ha aggiunto altri 5,5 punti.

I ricercatori sono stati attenti a escludere l'idea che questo successo fosse dovuto semplicemente ad avere più dati o migliori tecniche di campionamento. Hanno confrontato il loro metodo con diverse altre tecniche avanzate che cercano anch'esse di combinare i modelli senza etichette, e la giuria ha costantemente superato le altre. Ad esempio, ha battuto la più forte alternativa basata su metodi senza etichette per 5,5 punti percentuali. Lo studio ha anche esaminato se il sistema stesse semplicemente avendo fortuna o se stesse realmente imparando i pattern corretti. Hanno testato la giuria su diversi sottoinsiemi di modelli e hanno scoperto che essa superava costantemente sia il voto a peso uguale che il miglior singolo esperto in quasi tutte le combinazioni. L'unica volta in cui la giuria non ha migliorato il miglior singolo modello è stata quando il gruppo consisteva di esperti molto deboli, uno scenario in cui nessun metodo di combinazione potrebbe realisticamente aiutare.

Uno degli aspetti più significativi di questo lavoro è che mette in discussione l'assunto che la supervisione sia sempre necessaria per ottenere i migliori risultati. In molti campi dell'intelligenza artificiale, la pratica standard è addestrare un sistema su un grande dataset dove le risposte corrette sono note, affinché il sistema possa imparare quali modelli siano validi. Questo nuovo approccio mostra che, per combinare i modelli, il sistema può inferire l'affidabilità direttamente dall'accordo e dal disaccordo tra i modelli stessi. I ricercatori hanno scoperto che la differenza tra la giuria e il sistema supervisionato era così piccola da non essere statisticamente significativa se si tiene conto della naturale variazione nel modo in cui i modelli sono stati adattati. Ciò implica che l'impegno extra per etichettare i dati al fine di addestrare la regola di combinazione potrebbe non valere la pena in molti casi.

Lo studio ha anche esaminato come il sistema gestisce l'incertezza. Quando ai modelli viene chiesto di generare risposte, essi producono spesso un intervallo di possibilità piuttosto che una singola dichiarazione definitiva. Il metodo della giuria utilizza queste intere distribuzioni di risposte, il che gli consente di catturare più sfumature rispetto a un semplice voto. Ad esempio, se un modello è molto sicuro di una risposta errata mentre un altro è leggermente meno sicuro della risposta corretta, il sistema può pesare le prove in modo appropriato. I ricercatori hanno scoperto che questo approccio era particolarmente efficace sui problemi matematici, dove il miglior singolo modello del gruppo faticava, ma la giuria è stata in grado di sfruttare i punti di forza di altri modelli per raggiungere la soluzione corretta.

Sebbene il metodo sia potente, i ricercatori hanno notato alcuni limiti. Il sistema richiede che ogni modello nel gruppo fornisca una risposta e, per i compiti generativi, necessita di eseguire più campionamenti per costruire una distribuzione di risposte affidabile. Ciò aumenta il costo computazionale rispetto al semplice chiedere a un solo modello una risposta. Tuttavia, lo studio suggerisce che questo costo è giustificato dal significativo guadagno in accuratezza. I ricercatori hanno anche osservato che la fiducia del sistema nelle sue risposte era spesso superiore alla sua accuratezza reale, il che significa che a volte si sentiva molto sicuro di una risposta errata. Questo è un problema comune nell'intelligenza artificiale, e i ricercatori hanno notato che il sistema avrebbe bisogno di ricalibrazione prima che i suoi punteggi di fiducia possano essere usati come misura affidabile della verità.

In definitiva, questa ricerca offre una nuova prospettiva su come possiamo sfruttare l'intelligenza collettiva dell'intelligenza artificiale. Trattando i modelli come una giuria piuttosto che come un corpo elettorale, possiamo costruire sistemi che sono più intelligenti della somma delle loro parti senza dover conoscere le risposte in anticipo. La capacità di apprendere la fiducia dalla sola testimonianza apre la porta a modi più efficienti e adattabili di utilizzare l'intelligenza artificiale, dove il sistema può affinare continuamente la sua comprensione di su quali esperti fare affidamento man mano che incontra nuovi problemi. I risultati suggeriscono che la chiave per sbloccare il pieno potenziale di questi gruppi non risiede nel costringerli ad accordarsi, ma nell'insegnare loro come ascoltarsi l'un l'altro e giudicare la credibilità delle proprie voci.