From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers
Questo articolo valuta sistematicamente 12 modelli linguistici di grandi dimensioni come classificatori di archi causali diretti e riscontra che, sebbene esibiscano un elevato richiamo, essi soffrono di una significativa sovrappredizione, di una scarsa distinzione tra relazioni dirette e indirette e di una grave eccessiva fiducia nei giudizi errati, suggerendo che siano più adatti come fonti di priorità causali deboli piuttosto che come prove dirette affidabili della struttura causale.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
La scienza spesso cerca di comprendere non solo cosa accade, ma perché accada. Quando i ricercatori cercano di mappare le cause dietro un fenomeno — che si tratti di un virus che si diffonde in una popolazione o di un macchinario che si guasta in una fabbrica — costruiscono un diagramma di connessioni. In questo diagramma, una linea diretta da una cosa all'altra significa che la prima causa immediatamente la seconda. Se un virus porta a un'infezione, che poi porta a un test positivo, il virus causa il risultato del test solo indirettamente, attraverso l'infezione. Capire quali linee siano dirette e quali indirette è un puzzle difficile noto come scoperta causale. Per decenni, gli scienziati si sono affidati a complessi strumenti matematici e a grandi set di osservazioni per risolvere questo enigma, ma questi strumenti a volte faticano quando i dati sono scarsi o quando schemi diversi appaiono identici.
Negli ultimi anni, è emerso un nuovo tipo di strumento: i grandi modelli linguistici. Questi sono sistemi informatici addestrati su enormi quantità di testo che possono rispondere a domande, scrivere storie e ragionare su problemi. Poiché hanno letto molto, sembrano possedere una profonda riserva di conoscenza su come funziona il mondo, inclusi i modi in cui le cose si causano a vicenda. I ricercatori hanno iniziato a chiedersi se questi sistemi possano agire come guide esperte, dicci quali connessioni in un diagramma sono reali e dirette. La speranza era che questi modelli potessero fornire una scorciatoia, offrendo giudizi affidabili su causa ed effetto senza la necessità di condurre costosi esperimenti. Tuttavia, un nuovo studio suggerisce che, sebbene questi modelli siano bravi a percepire che due cose sono correlate, sono spesso terribili nel sapere esattamente come siano connesse, e sono frequentemente troppo sicuri di sé quando sbagliano.
Un team di ricercatori si è proposto di testare questa affidabilità trattando i grandi modelli linguistici come giudici di relazioni causa-effetto dirette. Hanno raccolto dodici diverse versioni di questi modelli, che vanno da sistemi più piccoli ed efficienti a quelli massicci e potenti. Hanno poi presentato ai modelli sei diversi scenari del mondo reale, ciascuno rappresentato da una mappa nota di cause ed effetti. Questi scenari coprivano campi diversi, dalla medicina, con condizioni come l'epatite e il COVID-19, ai processi industriali e ai sistemi ecologici. Per ogni coppia di variabili in queste mappe, i ricercatori hanno posto ai modelli una domanda semplice: Il primo elemento causa direttamente il secondo? I modelli dovevano rispondere sì o no e fornire un punteggio di confidenza, un numero che indica quanto si sentissero sicuri della propria risposta.
I risultati hanno rivelato un modello costante di eccessivo entusiasmo. I modelli tendevano a dire "sì" troppo spesso. Inve invece di disegnare una mappa sparsa con solo le connessioni dirette necessarie, i modelli producevano trame dense dove quasi tutto sembrava essere direttamente connesso a tutto il resto. Questo comportamento era così forte che, anche quando i ricercatori provavano diversi modi per porre le domande, i modelli non potevano essere facilmente addestrati per essere più selettivi. Identificavano correttamente che due cose erano correlate, ma fallivano nel distinguere tra una causa diretta e una indiretta. Ad esempio, se un virus causava un'infezione che causava la febbre, il modello spesso affermava che il virus causava direttamente la febbre, ignorando il passaggio intermedio. Questo errore avveniva in circa il 40 percento dei casi in cui la relazione era indiretta e nel 36 percento dei casi in cui la direzione era invertita.
Forse il reperto più preoccupante era la mancanza di autoconsapevolezza dei modelli riguardo ai propri errori. Quando i modelli commettevano questi errori strutturali, non esitavano. In più dell'80 percento dei casi in cui dichiaravano erroneamente l'esistenza di un legame diretto tra elementi indirettamente correlati, assegnavano un punteggio di confidenza di almeno l'80 percento. Non stavano solo indovinando; erano con la certezza di sbagliare. Lo studio ha anche esaminato se i modelli potessero essere affidati per distinguere tra un tentativo corretto e uno errato in base ai loro punteggi di confidenza. I ricercatori hanno scoperto che i numeri di confidenza che i modelli attribuivano a se stessi erano spesso inaffidabili. Un modello poteva dire di essere sicuro al 90 percento, ma quel numero non correlava effettivamente con la correttezza della risposta. L'unico metodo che mostrava un lieve miglioramento era porre ai modelli la stessa domanda in modi diversi e vedere se concordavano tra loro, ma anche questo metodo non era una soluzione perfetta.
I ricercatori hanno anche indagato se i modelli stessero semplicemente memorizzando le risposte alle domande del test che avevano già visto in precedenza. Hanno scoperto che, per un dataset specifico riguardante una condizione medica, diversi modelli performavano sospettosamente bene, suggerendo che avessero visto i dati durante il loro addestramento. Tuttavia, questa familiarità non spiegava la scarsa prestazione sugli altri cinque dataset, dove i modelli continuavano a lottare con gli stessi tipi di errori. Anche quando i ricercatori li costringevano a scegliere tra tre opzioni — causa diretta, causa inversa o nessun legame diretto — invece di due sole opzioni, i modelli non riuscivano comunque a migliorare significativamente. Continuavano a predire legami diretti dove non esistevano, dimostrando che il problema non era solo un difetto nel modo in cui le domande venivano poste, ma un limite fondamentale nel modo in cui questi sistemi comprendono la causalità.
In definitiva, lo studio conclude che, sebbene i grandi modelli linguistici siano strumenti potenti per generare idee, non dovrebbero essere trattati come prove definitive di come funziona il mondo. Devono essere visti meglio come fonti di suggerimenti "morbidi", offrendo un punto di partenza che deve essere controllato e validato da altri metodi. Possono dirci che due cose sono probabilmente connesse, ma non possono essere affidati per disegnare da soli le linee precise di una mappa causale. La confidenza che esprimono è spesso un riflesso dei loro dati di addestramento piuttosto che una vera misura della verità. Per scienziati e ingegneri che hanno bisogno di comprendere le precise meccaniche di causa ed effetto, affidarsi esclusivamente a questi modelli sarebbe come navigare in una città complessa con una mappa che collega ogni strada a tutte le altre; potrebbe sembrare completa, ma vi porterebbe fuori strada. La strada da seguire consiste nell'usare questi modelli per generare ipotesi che vengano poi rigorosamente testate, piuttosto che accettare i loro giudizi sicuri come risposte finali.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.