Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

Nel panorama in rapida evoluzione dell'intelligenza artificiale, i grandi modelli linguistici sono diventati strumenti potenti per generare testi, rispondere a domande e assistere in compiti complessi. Tuttavia, una sfida persistente rimane: questi sistemi a volte producono risposte dall'aspetto sicuro che sono però fattualmente errate, un fenomeno noto come allucinazione. Per gli utenti che si affidano a questi modelli per decisioni critiche, il pericolo non risiede solo nell'essere sbagliati, ma nell'essere sbagliati con assoluta certezza. Per affrontare questo problema, i ricercatori cercano da tempo modi per misurare l'incertezza di un modello, chiedendo essenzialmente al sistema quanto sia sicuro del proprio output. I metodi tradizionali spesso forniscono un singolo punteggio di confidenza per un'intera risposta, proprio come una previsione meteorologica che fornisce una singola probabilità per l'intera giornata. Eppure, una singola risposta può contenere un mix di fatti accurati e sottili errori, rendendo un singolo punteggio complessivo troppo approssimativo per essere utile a chi ha bisogno di verificare dettagli specifici prima di agire.

Uno studio recente condotto da Toghrul Abbasli e colleghi della Tsinghua University e altre istituzioni propone un approccio più granulare a questo problema. Invece di trattare una risposta come un unico blocco di testo, i ricercatori hanno sviluppato un metodo per scomporre ogni risposta nelle sue unità di informazione più piccole e indipendenti, che chiamano affermazioni atomiche (atomic claims). Assegnano poi un punteggio di confidenza specifico a ciascuna di queste singole affermazioni. Il team ha testato questa tecnica su diversi modelli linguistici moderni, inclusi sistemi di importanti sviluppatori, utilizzando due tipi distinti di set di domande: uno focalizzato sulla conoscenza fattuale generale e un altro progettato per trarre in inganno i modelli inducendoli ad accettare premesse false. Le loro scoperte suggeriscono che, isolando e calibrando la confidenza a livello di affermazione, è possibile creare un segnale molto più affidabile per i decisori. Questo approccio consente agli utenti di accettare le parti di una risposta che hanno un'alta probabilità di essere vere, segnalando al contempo frasi specifiche per un ulteriore controllo o rifiuto, offrendo una via pratica verso un'intelligenza artificiale più sicura e affidabile in ambienti ad alto rischio.

Il nucleo del lavoro dei ricercatori prevede una pipeline multi-fase che opera senza la necessità di modificare il funzionamento interno dei modelli linguistici stessi. Per prima cosa, il sistema genera una risposta alla domanda dell'utente. Successivamente, uno strumento ausiliario scompone questa risposta in brevi dichiarazioni autocontenute, come "Einstein propose la teoria della relatività" o "Questo avvenne nel 1905". Una volta decomposta la risposta, il sistema valuta ogni dichiarazione individualmente. Utilizza due segnali primari per determinare quanto il modello debba essere sicuro di ogni affermazione. Il primo segnale proviene dall'auto-valutazione del modello o dalla sua confidenza verbalizzata, dove il modello viene sollecitato a dichiarare quanto sia sicuro. Il secondo segnale si basa sulla coerenza; il sistema genera molteplici variazioni della risposta e controlla se la stessa affermazione appare in tutte di esse. Se un'affermazione si ripete in diversi tentativi, viene considerata più affidabile. Questi due segnali vengono poi combinati per produrre un punteggio di confidenza finale per ogni specifica affermazione.

Per garantire che questi punteggi siano significativi, i ricercatori hanno applicato un processo statistico chiamato calibrazione post-hoc. Questo passaggio regola i numeri grezzi della confidenza in modo che si allineino con la realtà. Ad esempio, se il sistema assegna una confidenza del 90 percento a un set di affermazioni, la calibrazione assicura che circa il 90 percento di quelle affermazioni siano effettivamente corrette. Lo studio ha testato questo framework su sei diversi modelli linguistici, che spaziano da sistemi open-source a modelli commerciali proprietari, attraverso migliaia di domande. I risultati hanno dimostato che questo approccio a livello di affermazione ha ridotto significativamente il tasso di errore nella stima della confidenza rispetto ai metodi che guardavano solo alla risposta nel suo insieme. Sulle domande fattuali, i punteggi calibrati sono diventati molto più accurati, il che significa che quando il sistema diceva di essere sicuro al 90 percento, era effettivamente corretto circa il 90 percento delle volte. Questa precisione permette a un utente umano di prendere una decisione concreta: possono fidarsi immediatamente delle affermazioni ad alta confidenza, indirizzando l'attenzione su quelle a bassa confidenza per la verifica.

Tuttavia, lo studio ha anche identificato un confine chiaro dove questo metodo incontra dei limiti. Quando le domande erano progettate con premesse false — trappole che assumono come fatto qualcosa di non vero — i modelli spesso generavano affermazioni fluide, sicure, ma del tutto errate. In questi scenari avversari, i punteggi di confidenza a livello di affermazione a volte non riuscivano a rilevare l'errore perché il modello era internamente coerente nel suo errore. I ricercatori hanno scoperto che, sebbene il loro metodo eccellesse nel distinguere risposte miste contenenti sia informazioni giuste che sbagliate, non poteva sempre superare un modello che era con sicurezza errato su un fatto fondamentale. In tali casi, lo studio suggerisce che i soli punteggi di confidenza sono insufficienti; un controllo esterno, come una ricerca di prove o un esame incrociato da parte di un altro sistema, è necessario per cogliere questi errori profondamente radicati.

L'implicazione pratica di questo lavoro è un cambiamento nel modo in cui potremmo interagire con l'intelligenza artificiale in contesti professionali. Invece di accettare o rifiutare un'intera risposta basandosi su un vago senso di fiducia, i decisori possono ora fare affidamento su una mappa dettagliata della affidabilità. Un rapporto medico generato da un'IA, ad esempio, potrebbe essere accettato per la sua struttura generale, mentre dettagli specifici sul dosaggio dei farmaci o sulla storia del paziente potrebbero essere segnalati per la revisione umana in base ai loro punteggi di confidenza individuali. I ricercatori sottolineano che questa tecnica funziona anche con i modelli "closed-box", dove i meccanismi interni sono nascosti, rendendola applicabile ai sistemi commerciali più avanzati attualmente in uso. Sebbene il metodo non risolva interamente il problema delle allucinazioni, specialmente quando i modelli vengono ingannati da assunzioni false, esso fornisce uno strumento robusto per gestire l'incertezza. Scomponendo l'output di un modello linguistico in pezzi verificabili, lo studio offre un modo per prendere decisioni ad alto rischio con una comprensione più chiara di ciò che può essere considerato affidabile e di ciò che richiede ulteriori indagini.