💻 computer science

Information Discernment in Large Language Models

Questo articolo introduce il framework Learn2Discern per rivelare che i grandi modelli linguistici falliscono costantemente nel pesare appropriatamente le informazioni in base all'affidabilità o alla veridicità della fonte, un limite critico che gli studi sugli utenti confermano eroda la fiducia e che persiste nonostante l'aumento delle dimensioni del modello, sebbene possa essere mitigato attraverso semplici interventi durante la fase di inferenza.

Autori originali: Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

Pubblicato 2026-07-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero. Hai la tua teoria su ciò che è accaduto, ma poi inizi a ricevere suggerimenti dal pubblico. Alcuni suggerimenti provengono da un agente di polizia esperto e onesto; altri da un noto bugiardo che vuole solo causare problemi. Alcuni suggerimenti ti aiutano ad avvicinarti alla verità, mentre altri ti fanno correre nella direzione sbagliata. La grande domanda è: il tuo cervello da detective sa come pesare questi suggerimenti? Ascolti di più l'agente onesto o ti lasci distrarre dalla voce più forte? Cambi idea quando un suggerimento ti aiuta, o rimani testardamente fedele al tuo sospetto originale anche quando hai torto?

Questo è esattamente il tipo di enigma che gli scienziati si pongono riguardo ai moderni "Large Language Models" (LLM). Questi sono programmi informatici super intelligenti che alimentano chatbot e motori di ricerca. Sono addestrati su una quantità massiccia di dati provenienti da Internet, ma devono anche cercare nuove informazioni per rispondere a domande che non conoscono ancora. Il problema è che Internet è un luogo rumoroso. È pieno di siti di notizie affidabili, ma è anche pieno di fake news, voci e idee popolari ma errate. Se un programma per computer non può distinguere tra una fonte attendibile e un bugiardo popolare, o se non può distinguere tra un indizio utile e uno fuorviante, potrebbe iniziare a diffondere disinformazione a milioni di persone. Questo articolo approfondisce se questi detective digitali siano effettivamente bravi a separare la verità dal rumore.

I ricercatori, un team dell'Università del Michigan, hanno creato un nuovo modo per testare questa abilità, che chiamano "discernimento dell'informazione". Hanno allestito un esperimento gigante che coinvolgeva 13 diversi modelli di IA e quasi 670.000 prove. Hanno posto ai modelli domande con risposte note, hanno dato loro una "prior" (ciò che il modello pensava prima) e poi hanno fornito loro una nuova affermazione proveniente da una fonte specifica. A volte la fonte era altamente affidabile, a volte era un sito web marginale. A volte la nuova affermazione era più vicina alla verità, e altre volte era totalmente errata. Volevano vedere se i modelli avrebbero aggiornato le loro risposte maggiormente per le buone fonti e per le affermazioni utili.

I risultati sono stati un po' uno shock. L'articolo ha scoperto che, nel complesso, questi modelli di IA sono terribili in questo tipo di discernimento. Si comportano quasi non meglio del caso quando si tratta di decidere quali fonti fidarsi. Infatti, i modelli erano due volte più propensi ad ascoltare una fonte solo perché era popolare (come un sito web con molti visitatori) piuttosto che perché era affidabile (come una testata giornalistica verificata). È come se il detective ignorasse l'agente di polizia e ascoltasse la persona con il megafono più grande. Inoltre, i modelli non sembravano preoccuparsi se una nuova informazione li aiutasse ad avvicinarsi alla verità o li spingesse lontano da essa; aggiornavano le loro convinzioni all'incirca nella stessa misura in entrambi i casi.

Il team ha anche controllato se rendere i modelli più grandi o più nuovi potesse risolvere il problema. Hanno scoperto che i modelli più nuovi e grandi erano leggermente migliori nel riconoscere la verità nelle affermazioni, ma non riuscivano comunque a imparare a distinguere tra fonti affidabili e non affidabili. Ciò suggerisce che rendere l'IA semplicemente più "intelligente" o addestrarla più a lungo non le insegna automaticamente a essere un pensatore critico riguardo alla provenienza delle informazioni. Tuttavia, c'era un lato positivo: i ricercatori hanno scoperto che trucchi semplici, come chiedere al modello di valutare l'affidabilità della fonte prima di rispondere, potevano migliorare significativamente le sue prestazioni.

Per assicurarsi che non si trattasse solo di un problema di informatica, i ricercatori hanno chiesto anche a 299 utenti reali cosa ne pensassero. Hanno scoperto che le persone ci tengono assolutamente a queste abilità. Quando agli utenti veniva detto che un chatbot ignorava le fonti affidabili o cambiava idea quando aveva già ragione, dicevano che si fiderebbero meno del bot e lo userebbero meno. Questo conferma che la capacità di discernere l'informazione non è solo una metrica tecnica; è un requisito fondamentale per costruire un'IA su cui le persone possano effettivamente fare affidamento.

In breve, l'articolo rivela che, sebbene i nostri attuali modelli di IA siano bravissimi nel recuperare informazioni, sono attualmente piuttosto ciechi quando si tratta di giudicare la qualità di tali informazioni. Tendono a seguire la popolarità invece della verità e faticano ad aggiornare le proprie convinzioni correttamente. Ma la buona notizia è che con alcune semplici istruzioni, possiamo aiutarli a vedere un po' meglio la luce, rendendoli strumenti più sicuri e utili per tutti.

Riepilogo Tecnico: Discernimento dell'Informazione nei Large Language Models

Problematica

Poiché i Large Language Models (LLM) funzionano sempre più come motori di risposta front-end che recuperano e sintetizzano informazioni esterne (ad esempio, tramite la Generative Retrieval-Augmented Generation o RAG), essi affrontano "conflitti di conoscenza" in cui le affermazioni esterne contraddicono i loro priori interni di addestramento. Una vulnerabilità critica sorge se i modelli non riescono a pesare adeguatamente l'evidenza esterna. Nello specifico, i modelli possono propagare disinformazione se aggiornano le proprie convinzioni equamente per fonti ad alta credibilità e per siti web marginali (un fallimento del discernimento della fonte) o se aggiornano equamente per affermazioni che li avvicinano alla verità rispetto a quelle che li allontanano da essa (un fallimento del discernimento della verità). Dato che gli esseri umani tendono a fidarsi eccessivamente degli output degli LLM, questi fallimenti nel pesare l'informazione esterna pongono un rischio significativo per l'affidabilità delle query mediate dall'IA.

Metodologia

Gli autori introducono Learn2Discern (L2D), un framework sperimentale e un benchmark progettati per misurare il discernimento dell'informazione sotto conflitti di conoscenza.

Design Sperimentale

Il core dell'esperimento prevede una procedura di elicitazione in tre fasi:

Elicitazione del Prior: Al modello viene posta una domanda ( $Q$ ) con una verità numerica di base ( $T$ ) per stabilire una credenza a priori ( $P_1$ ).
Iniezione del Conflitto: Un'affermazione ( $C$ ) viene generata perturbando la verità di base ( $C = T \times F$ , dove $F$ è un fattore di perturbazione) e attribuita a una fonte ( $S$ ) con affidabilità nota ( $R_s$ ) e popolarità ( $P_s$ ).
Elicitazione del Posterior: Il modello viene sollecitato: "S ha detto che la risposta è C. Cosa ne pensi ora?" per registrare la credenza a posteriori ( $P_2$ ).

Costruzione dei Dati

Il benchmark, Learn2Discern, comprende:

Domande: 4.248 domande numeriche derivate da benchmark esistenti (TriviaQA, NumerSense) e nuovi dataset longitudinali (General Social Survey, World Bank Development Indicators, query utente TREC) per mitigare la contaminazione dei dati.
Fonti: 132 fonti di notizie web stratificate per affidabilità (utilizzando la metrica PC1 di Lin et al.) e popolarità (Open PageRank), creando sei strati (3 livelli di popolarità $\times$ 2 livelli di affidabilità).
Scala: Il design combinatorio produce oltre 2,8 milioni di potenziali tuple sperimentali, con circa 670.000 prove condotte su 13 modelli.

Metriche

Il framework operazionalizza tre assiomi normativi in metriche interpretabili:

Discernimento della Fonte (SD): La correlazione di rango di Spearman ( $\rho$ ) tra l'entità dell'aggiornamento ( $\Delta = |P_1 - P_2|$ ) e l'affidabilità della fonte. Una correlazione positiva indica che il modello aggiorna maggiormente per le fonti affidabili.
Discernimento della Verità (TD): La correlazione di rango di Spearman tra l'entità dell'aggiornamento e il "miglioramento" ( $I$ ) dell'affermazione rispetto al prior ( $I = |P_1 - T| - |C - T|$ ). Una correlazione positiva indica che il modello aggiorna maggiormente quando l'affermazione lo avvicina alla verità.
Difesa Corretta: La probabilità che un modello mantenga la propria risposta quando il suo prior è corretto e la nuova affermazione è errata.

Validazione

Uno studio utente pre-registrato e con quote corrispondenti ( $n=299$ ) è stato condotto per validare gli assiomi. Gli utenti hanno confermato di sostenere questi principi e hanno riferito che le violazioni diminuirebbero la fiducia e l'utilizzo dei chatbot.

Contributi Chiave

Assiomi e Metriche: Definizioni formali di discernimento della fonte e della verità sotto conflitti di conoscenza, fornendo un modo standardizzato per misurare la vulnerabilità alla disinformazione.
Validazione Utente: Evidenza empirica che gli utenti reali degli LLM apprezzano queste proprietà di discernimento e che le violazioni impattano negativamente sulla fiducia e sull'adozione.
Dataset di Benchmark: Il rilascio di Learn2Discern, un dataset su larga scala che accoppia diverse domande numeriche con fonti web stratificate, consentendo test causali su come i modelli pesano i segnali di affidabilità e verità.
Risultati Empirici: Una valutazione completa di 13 modelli (vari per dimensione, recenza e architettura) che rivela fallimenti sistematici nel discernimento.

Risultati

Attraverso 13 modelli e quasi 670.000 prove, lo studio ha rilevato che:

Prestazioni Vicine al Caso: I modelli operano vicino al caso sia sulle metriche di discernimento della fonte che di verità. Non aggiornano costantemente di più per le fonti affidabili o per le affermazioni che migliorano la loro accuratezza.
Bias di Popolarità: I modelli si affidano alla popolarità della fonte circa due volte più che all'affidabilità della fonte ( $\rho_{pop} \approx 0,07$ vs $\rho_{rel} \approx 0,03$ ).
Scala del Modello e Recenza: Sebbene i modelli più grandi e recenti mostrino miglioramenti nel discernimento della verità e nella difesa corretta, essi non mostrano miglioramenti nel discernimento della fonte. Ciò suggerisce che il discernimento della fonte sia un punto cieco persistente che non viene risolto dall'aumento della complessità del modello.
Correlazione con l'Accuratezza del Prior: L'integrazione dell'evidenza esterna è più efficace sui dataset in cui i prior del modello sono già accurati. Quando i modelli sono inizialmente errati, spesso falliscono nell'integrare correttamente l'informazione esterna, talvolta allontanandosi ulteriormente dalla verità.
Efficacia dell'Intervento: Gli interventi durante l'inferenza (strategie di prompting) possono migliorare il discernimento. Nello specifico:
- Chiedere esplicitamente ai modelli di valutare l'affidabilità della fonte prima di aggiornare migliora il discernimento della fonte.
- I prompt di "difesa" (valutare se la risposta originale era corretta) migliorano la difesa corretta.
- Il ragionamento Chain-of-Thought (CoT) migliora le metriche legate alla verità.

Significato e Rivendicazioni

L'articolo sostiene che il discernimento dell'informazione sia una proprietà di allineamento fondamentale che acquista importanza man mano che gli LLM sostituiscono i motori di ricerca tradizionali. I risultati suggeriscono che gli attuali LLM mancano della capacità intrinseca di distinguere tra evidenze esterne di alta qualità e di bassa qualità, affidandosi invece a segnali superficiali come la popolarità.

Gli autori affermano con moderazione che, sebbene gli attuali modelli esibiscano fallimenti sistematici, tali deficit possono essere parzialmente affrontati attraverso interventi a basso costo durante l'inferenza (ad esempio, specifiche modifiche al prompting). Posizionano Learn2Discern come un banco di prova necessario per valutare e migliorare questa proprietà, notando che senza tale discernimento, l'integrazione dell'evidenza esterna rischia di degradare piuttosto che migliorare l'affidabilità dell'informazione ricevuta dagli utenti. Il lavoro evidenzia che il discernimento della fonte rimane una sfida specifica che la semplice scalabilità del modello non risolve, indicando la necessità di futuri lavori di fine-tuning o cambiamenti architettonici per codificare la conoscenza della affidabilità delle fonti.