Nel mondo in rapida evoluzione dell'intelligenza artificiale, i grandi modelli linguistici si sono trasformati da semplici generatori di testo in sofisticati motori di ragionamento. Questi sistemi possono ora scomporre problemi complessi, consultare strumenti esterni e coordinare molteplici agenti digitali per risolvere compiti che un tempo richiedevano l'esperienza umana. Per rendere questi sistemi più affidabili, i ricercatori si affidano spesso a una strategia chiamata ridondanza: far risolvere lo stesso problema a diversi agenti e poi confrontare le loro risposte. Se gli agenti concordano, il sistema assume che la risposta sia corretta. Questo approccio è frequentemente abbinato a una fase di verifica, in cui un secondo set di agenti o strumenti controlla i passaggi intermedi del ragionamento per individuare errori prima di prendere una decisione finale. La speranza sottostante è che se un agente commette un errore, un altro lo intercetti, e se un verificatore commette un errore, un diverso verificatore lo corregga. Tuttavia, l'intero paracadute si regge su un'assunzione fragile: che questi diversi agenti e verificatori commettano errori in modo indipendente l'uno dall'altro.

Questa assunzione è sempre più difficile da difendere nel mondo reale. La maggior parte dei moderni sistemi IA è costruita utilizzando un piccolo numero di famiglie di modelli, che condividono gli stessi dati di addestramento, la stessa architettura sottostante e le stesse ricette di addestramento. A causa di questa eredità condivisa, tendono a commettere gli stessi errori nei medesimi modi. Quando un gruppo di agenti della stessa famiglia concorda su un fatto errato, non si tratta di un segno di consenso; è un segno di un'allucinazione condivisa. Se un sistema di verifica tratta questi errori identici e correlati come prove indipendenti, può diventare pericolosamente sicuro di una risposta errata. Il sistema effettivamente conta lo stesso errore più volte, gonfiando la sua certezza finché non è convinto di una falsità. Questo fenomeno crea un punto cieco dove gli stessi strumenti progettati per garantire la sicurezza finiscono per rinforzare gli errori.

Un team di ricercatori ha affrontato questa critica vulnerabilità con un nuovo framework chiamato CAVEAT, che sta per Correlation-Aware Verification Allocation (Allocazione della Verifica Consapevole della Correlazione). Invece di assumere che ogni agente e verificatore sia un osservatore indipendente, questo sistema modella esplicitamente il fatto che siano spesso correlati e inclini agli stessi fallimenti. I ricercatori hanno trattato il processo di verifica come un problema di gestione delle risorse. Hanno riconosciuto che in un mondo in cui controllare ogni singolo passaggio di una catena di ragionamento è troppo costoso, bisogna decidere quali affermazioni specifiche controllare, quale verificatore usare per ogni controllo e quando smettere di controllare. L'obiettivo è spendere un budget limitato di risorse computazionali nel modo più efficace possibile, garantendo che la risposta finale sia affidabile quanto il budget consente.

Il cuore del sistema CAVEAT è una mappa del processo di ragionamento. Quando più agenti risolvono un problema, il sistema scompone il loro output in singole affermazioni e le collega insieme in un grafo di dipendenza. Questa mappa mostra quali fatti sostengono quali conclusioni. Alcune affermazioni sono come le radici di un albero; se sono errate, l'intera risposta crolla. Altre sono come foglie; se sono errate, l'impatto è minimo. Il sistema assegna un peso a ogni affermazione in base a quanto la risposta finale dipenda da essa. Utilizza poi un modello statistico per stimare l'affidabilità di ogni verificatore disponibile, tenendo conto del fatto che i verificatori della stessa famiglia sono probabilmente soggetti allo stesso "scivolone" o errore. Ciò consente al sistema di calcolare il vero valore di chiedere a uno specifico verificatore di controllare una specifica affermazione. Se a un verificatore di una famiglia che ha già parlato viene chiesto di controllare un'affermazione, il sistema sa che la nuova risposta sarà probabilmente solo una ripetizione della vecchia, offrendo poca nuova informazione. Inveve, indirizza il budget verso una diversa famiglia di verificatori o uno strumento specializzato, come un programma che possa eseguire codice o un motore di ricerca che possa trovare fatti.

In una serie di test su sei diversi benchmark, che spaziano dal fact-checking al problem solving matematico a più fasi, i ricercatori hanno confrontato questo nuovo approccio con i metodi esistenti. Hanno scoperto che ignorare la correlazione tra agenti e verificatori portava a una significativa sovrastima della fiducia. I sistemi che assumevano l'indipendenza erano spesso erroneamente sicuri, riportando un'alta certezza per risposte errate. Al contrario, il sistema CAVEAT è riuscito a identificare quando un consenso era in realtà solo un errore condiviso. Dirigendo attentamente il budget di verifica verso i controlli più informativi, ha raggiunto lo stesso livello di accuratezza di un sistema che controllasse ogni singola affermazione con ogni singolo verificatore, ma lo ha fatto utilizzando solo circa un quinto del costo computazionale. In media, ha migliorato l'accuratezza di 3,1 punti percentuali rispetto ai migliori metodi esistenti con budget equivalente.

Forse più importante, il sistema ha risolto il problema della falsa fiducia. Nei test, i metodi tradizionali producevano risposte errate con alta fiducia quasi il 20% delle volte. Il sistema CAVEAT ha ridotto questo tasso a solo il 7,2%, il che significa che era molto meno probabile che affermasse con sicurezza una falsità. Ha anche reso i punteggi di fiducia del sistema molto più accurati, in modo tale che quando il sistema diceva di essere sicuro al 90%, era corretto il 90% delle volte. I ricercatori hanno dimostrato che questo approccio funziona anche quando gli agenti sono tutti della stessa famiglia o quando la maggioranza degli agenti concorda su un errore. Riconoscendo la natura condivisa degli errori, il sistema sa che deve cercare una prospettiva esterna piuttosto che chiedere nuovamente il voto allo stesso gruppo.

Lo studio ha anche rivelato che il modo in cui la verifica viene allocata conta tanto quanto l'importo di denaro speso per essa. Controllare semplicemente le affermazioni di cui gli agenti sembrano meno sicuri, o controllarle in ordine casuale, è stato molto meno efficace rispetto all'approccio mirato usato da CAVEAT. Il sistema ha imparato a dare priorità alle affermazioni che, se errate, causerebbero il maggior danno alla risposta finale, e a utilizzare gli strumenti più economici e diversificati per controllarle. Ad esempio, nei problemi matematici, utilizzerebbe un esecutore di codice veloce ed economico per controllare i passaggi aritmetici, riservando i modelli linguistici più costosi e lenti per i passaggi di ragionamento logico. Questa allocazione strategica ha permesso al sistema di interrompere i controlli precocemente una volta che era sufficientemente sicuro della risposta, risparmiando risorse senza sacrificare l'accuratezza.

I ricercatori hanno concluso che il futuro di un ragionamento affidabile dell'IA dipende dal riconoscere che i nostri strumenti non sono indipendenti. Proprio come un gruppo di persone cresciute nella stessa città potrebbe condividere le stesse تصورazioni, un gruppo di modelli IA addestrati sugli stessi dati condividerà gli stessi punti ciechi. Costruendo sistemi che comprendono queste connessioni e allocano le proprie risorse di conseguenza, possiamo creare un'IA che sia non solo più intelligente, ma anche più onesta su ciò che sa e su ciò che non sa. Il lavoro suggerisce che la strada verso un'intelligenza artificiale più affidabile non risiede nel semplice aggiungere più agenti al mix, ma nel comprendere le relazioni tra di essi e usare tale comprensione per verificare la verità in modo più efficiente.