I modelli linguistici di grandi dimensioni sono strumenti potenti che possono scrivere storie, risolvere problemi matematici e correggere il codice informatico. Funzionano prevedendo la parola successiva in una frase, imparando da enormi quantità di testo per imitare il ragionamento umano. Tuttavia, poiché questi modelli generano testo basandosi sulla probabilità, non sono sempre coerenti. Se si pone la stessa domanda due volte, o se si chiede di generare diverse risposte contemporaneamente, potrebbe fornire risposte differenti ogni volta. Alcune di queste risposte sono brillanti, mentre altre contengono errori sottili o lacune logiche. Questa casualità rende difficile fidarsi dell'output del modello senza un modo per verificare quale versione sia quella corretta. Tradizionalmente, i ricercatori hanno cercato di risolvere questo problema chiedendo al modello di generare molte risposte e scegliendo la più comune, oppure addestrando un programma informatico separato e specializzato per agire come un giudice. Ma questi metodi spesso falliscono quando il compito è aperto, come scrivere una poesia o generare codice complesso, dove non esiste un'unica risposta "giusta" da contare, o richiedono un nuovo addestramento costoso che non è sempre possibile.

Un team di ricercatori dell'Università Yonsei e della KAIST ha proposto un nuovo modo per risolvere questo problema senza la necessità di alcun addestramento aggiuntivo o giudici specializzati. Chiamano il loro metodo ReFeri, che sta per "Recycling Few-shot examples to verify LLM outputs" (Riciclare esempi few-shot per verificare gli output dei LLM). L'idea centrale è sorprendentemente semplice: invece di trattare gli esempi forniti al modello solo come un punto di partenza per generare una risposta, i ricercatori hanno deciso di usare quegli stessi esempi come un metro di misura per valutare le risposte che il modello produce. Quando un utente pone una domanda complessa, solitamente fornisce alcuni esempi di come problemi simili siano stati risolti in precedenza. Questi esempi fungono da guida, mostrando al modello lo stile e la logica desiderati. I ricercatori si sono resi conto che questi esempi contengono informazioni nascoste su cosa debba essere una buona risposta, e hanno trovato un modo per usare tali informazioni per filtrare le risposte scarse.

Il processo funziona generando diverse risposte differenti alla stessa domanda. Il sistema assegna quindi un punteggio a ciascuna risposta utilizzando due segnali contrastanti derivati dagli esempi originali. Il primo segnale misura quanto bene la risposta segue la guida degli esempi, ponendosi essenzialmente la domanda: "Questa risposta sembra appartenere a questo insieme?". Il secondo segnale agisce come una penalità, controllando se la risposta stia semplicemente copiando i pattern superficiali o le particolarità specifiche degli esempi piuttosto che risolvere il problema reale. Se una risposta imita troppo da vicino gli esempi senza comprendere la nuova domanda, riceve una penalità elevata. Il punteggio finale è un equilibrio tra il seguire la guida e l'evitare l'imitazione cieca. Sottraendo la penalità dal punteggio di guida, il sistema seleziona la risposta che utilizza meglio gli esempi come fondamento logico piuttosto che come un modello da copiare.

Nei loro esperimenti, i ricercatori hanno testato questo metodo su tre diversi modelli linguistici di grandi dimensioni attraverso sette compiti eterogenei, che spaziano dalla risoluzione di problemi matematici difficili alla risposta a domande scientifiche complesse e alla scrittura di codice. Hanno scoperto che ReFeri migliora costantemente l'accuratezza dei modelli. In media, il metodo ha aumentato le prestazioni dell'8,2 percento rispetto alla semplice scelta di una risposta casuale tra le opzioni generate. Anche confrontato con i più forti metodi esistenti che non richiedono addestramento, ReFeri è riuscito comunque a migliorare l'accuratezza di un ulteriore 2,6 percento. I ricercatori erano particolarmente interessati a capire se questo approccio funzionasse bene quando il modello doveva scegliere tra un gran numero di opzioni. Hanno testato il sistema con fino a venti diverse risposte candidate e hanno scoperto che il metodo continua a migliorare man mano che vengono aggiunte più opzioni, mentre altri metodi spesso peggiorano all'aumentare del numero di scelte. Ciò suggerisce che il sistema diventa più bravo a individuare la risposta migliore quando gli viene data più varietà tra cui scegliere.

Uno dei risultati più significativi è stato che questo miglioramento non dipendeva dall'uso di un computer massiccio e potente per effettuare il controllo. I ricercatori hanno dimostrato che un modello molto più piccolo e leggero poteva eseguire la verifica con la stessa efficacia di uno più grande. Questo è fondamentale perché significa che il metodo è efficiente ed economico. Non richiede le ingenti risorse computazionali solitamente necessarie per addestrare nuovi giudici o far girare sistemi di verifica complessi. Il successo del metodo sembra derivare dal modo intelligente in cui utilizza gli esempi few-shot, piuttosto che dalla potenza bruta del computer che controlla il lavoro. I ricercatori hanno anche testato il metodo su compiti aperti come la generazione di titoli di notizie personalizzati e la scrittura di codice, dove i metodi di voto tradizionali falliscono perché non esiste un'unica risposta corretta da contare. In questi scenari, ReFeri ha comunque superato altri approcci, dimostrando la sua capacità di gestire compiti complessi e creativi in cui la risposta "giusta" non è un semplice fatto, ma una soluzione ben costruita.

I ricercatori hanno anche esplorato perché il metodo funzioni così bene analizzando cosa accade quando rendono intenzionalmente peggiori gli esempi o cambiano l'ordine delle risposte. Hanno scoperto che il sistema rimane robusto anche quando gli esempi non sono perfetti, e non viene facilmente confuso dall'ordine in cui le risposte vengono presentate. Questa stabilità suggerisce che il metodo non sta solo memorizzando pattern, ma sta realmente comprendendo la relazione tra gli esempi e il nuovo problema. Riciclando gli esempi few-shot per la verifica, i ricercatori hanno creato uno strumento che aiuta i modelli linguistici di grandi dimensioni a essere più affidabili senza la necessità di essere riaddestrati o supervisionati dagli esseri umani. Questo approccio offre un modo pratico per ottenere risultati migliori dai modelli esistenti, rendendoli più affidabili per applicazioni del mondo reale dove l'accuratezza è fondamentale. Il lavoro evidenzia che gli esempi che diamo a questi modelli non sono solo istruzioni per iniziare un compito, ma anche risorse preziose per controllare la qualità del lavoro che producono.