🤖 AI

Confident but Conflicted: Internal Uncertainty and Cognitive Dissonance Resolution in LLMs

Questo articolo introduce l'Elasticità della Fiducia per quantificare come i modelli linguistici di grandi dimensioni risolvano la dissonanza cognitiva quando si trovano di fronte a prove contrastanti, rivelando che le variazioni nella suscettibilità alla persuasione tra i modelli correlano con specifici indicatori di incertezza interna come la scarsa calibrazione della fiducia e il cambiamento dell'incertezza interna.

Autori originali: Weihong Qi, Kristina Lerman

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Weihong Qi, Kristina Lerman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di parlare con un amico robot molto sicuro di sé che conosce un sacco di fatti. Tu gli dici: "Penso che il cielo sia verde". Il robot risponde: "No, il cielo è blu".

Ora, immagina di cercare di convincere il robot del contrario. Potresti dire: "Beh, uno scienziato famoso ha detto che è verde", oppure "Ho letto un minuscolo post su un blog che dice che è verde". Come reagisce il robot? Cambia idea? Si arrabbia e insiste ancora di più che il cielo è blu? O semplicemente ti ignora?

Questo articolo è uno studio esattamente su questo scenario, ma applicato ai Large Language Models (LLM) — i cervelli artificiali dietro i chatbot. I ricercatori chiamano questo processo "risoluzione della dissonanza cognitiva", che è un modo complicato per dire: Come gestisce un'IA il fatto che qualcuno metta in discussione ciò che ha appena detto?

Ecco la suddivisione delle loro scoperte usando analogie semplici:

1. L'esperimento: Il "Gioco della Persuasione"

I ricercatori hanno organizzato un gioco con quattro diversi modelli di IA (Qwen, Grok, Llama e GPT-4o). Hanno fornito all'IA 12 diverse affermazioni sulla salute per iniziare. Alcune erano palesemente false (come "le onde del 5G spezzano il tuo DNA a metà"), alcune erano esagerate (come "Il digiuno è terribile per il cuore") e altre erano semplicemente formulate in modo troppo assoluto (come "Lo stretching non aiuta mai le prestazioni").

Poi, hanno cercato di cambiare idea all'IA usando due leve:

La Fonte (Autorità): Chi sta dicendo l'opposto? Un utente anonimo di Reddit, un dietologo locale, un professore universitario o l'Organizzazione Mondiale della Sanità (OMS)?
La Prova (Evidenza): Quanto è buona la prova? È un piccolo e incerto studio pilota, o un enorme e perfetto esperimento scientifico?

2. Il metro della "Elasticità della Fiducia" (TE)

Per misurare quanto facilmente l'IA potesse essere convinta, i ricercatori hanno inventato uno strumento chiamato Trust Elasticity (TE) (Elasticità della Fiducia). Immaginalo come un elastico.

Alta Elasticità: L'elastico si tende facilmente. L'IA cambia idea rapidamente quando la spingi.
Bassa Elasticità (Rigidità): L'elastico è rigido. L'IA si rifiuta di cedere.
Elasticità Negativa (Effetto Backfire): L'elastico torna indietro con forza, più di prima. L'IA diventa più testarda e insiste ancora di più sulla sua opinione originale dopo che hai cercato di convincerla.

3. Cosa hanno scoperto

Lo studio ha rivelato tre comportamenti principali:

L'effetto "Roccia" (Immunità): Quando l'IA gli veniva detto qualcosa che era chiaramente falso (come "I vaccini causano l'autismo"), si comportava come una roccia. Non importava quanto la persona fosse famosa o quanto sembrasse "scientifica" la falsa ricerca, l'IA non si scompattava. La sua Elasticità della Fiducia era vicina allo zero. Era immune alla persuasione sulle bugie palesi.
L'effetto "Spugna" (Persuasione): Quando le affermazioni erano esagerate o troppo assolute, l'IA era molto più simile a una spugna. Assorbiva la nuova informazione e cambiava idea.
- Spugne diverse: Non tutte le IA erano ugualmente assorbenti. Llama era la più "simile a una spugna" (la più facile da persuadere), mentre Qwen era più rigida (più difficile da persuadere). Interessante notare che il modello di IA più grande non era necessariamente il più difficile da convincere; a volte, i modelli più piccoli erano più duri a morire.
L'effetto "Backfire" (Ritorno di fiamma): A volte, se l'IA sentiva che la sfida era troppo aggressiva o proveniva da una fonte di cui non si fidava, non si limitava a ignorarti — raddoppiava la posta in gioco. Diventava più sicura della sua risposta errata originale. Questo accadeva più spesso quando l'IA veniva messa in discussione su affermazioni "assolutiste" (affermazioni che usavano parole come "mai" o "sempre").

4. Il segreto dentro il cervello del robot

La parte più eccitante dell'articolo è ciò che hanno scoperto dentro il "cervello" dell'IA (la sua matematica interna) mentre veniva persuaduta. Hanno guardato due cose:

Miscalibrazione della Fiducia: L'IA dice di essere sicura al 90%, ma internamente si sente sicura solo al 50%?
Cambiamento dell'Incertezza Interna: Il "metro della confusione" interno dell'IA sale o scende quando sente un nuovo argomento?

Hanno scoperto che diversi modelli di IA reagiscono diversamente in base alla loro "personalità" interna:

Qwen era come una persona troppo sicura di sé. Quando era troppo sicura di sé all'esterno ma incerta all'interno, era più propensa a cambiare idea.
Llama era come una persona che cambia idea continuamente. Quando il suo metro della confusione interna saltava su e giù durante l'argomentazione, era allora che cambiava idea.

In sintamente

L'articolo conclude che i modelli di IA non sono tutti uguali quando si tratta di cambiare idea.

Sono incrollabili di fronte alle bugie palesi.
Sono flessibili di fronte alle esagerazioni.
Possono diventare testardi (backfire) se spinti troppo.

Fondamentalmente, lo studio suggerisce che per correggere questi comportamenti, non dovremmo solo cercare di cambiare ciò che l'IA dice (il suo output). Invece, potremmo dover correggere il modo in cui l'IA percepisce la propria conoscenza (la sua incertezza interna). Se riusciamo a far sì che il "metro della fiducia" interno dell'IA corrisponda meglio alla sua effettiva conoscenza, potremmo renderla più ragionevole quando viene messa in discussione.

Sintesi Tecnica: Convincenti ma Conflittuali: Incertezza Interna e Risoluzione della Dissonanza Cognitiva nei LLM

Problema

I Large Language Models (LLM) operano sempre più in ambienti di supporto alle decisioni in cui incontrano input che contraddicono i loro output precedenti, come il dissenso dell'utente, documenti recuperati o risultati di ricerche sul web. Questo fenomeno è inquadrato come risoluzione della dissonanza cognitiva, un concetto ben studiato in psicologia (Festinger, 1957) ma poco esplorato nei LLM. Sebbene studi precedenti abbiano esaminato la sicofantia e la persuasione (Sharma et al., 2024; Perez et al., 2023), tali studi tipicamente manipolano singole dimensioni (ad esempio, l'inquadramento sociale) in isolamento. Inoltre, la ricerca esistente sulla calibrazione dei LLM si concentra sul fatto se la fiducia espressa segua l'accuratezza su benchmark statici (Tian et al., 2023), lasciando ampiamente inesaminato il rapporto tra incertezza interna e risposte comportamentali a prove esterne contrastanti.

Il problema centrale affrontato è comprendere come i LLM risolvano la dissonanza cognitiva quando messi alla prova, specificamente come questa risoluzione dipenda dall'autorità della fonte e dalla qualità delle prove dell'informazione contrastante, e come questi esiti comportamentali correlino con gli stati di incertezza interna del modello.

Metodologia

Design Sperimentale

Gli autori hanno costruito una pipeline a due stadi per simulare la dissonanza cognitiva:

Stadio 1 (Baseline): Il modello valuta un'affermazione su una scala Likert a 7 punti, stabilendo una posizione di base ( $s_0$ ).
Stadio 2 (Intervento): Al modello viene presentata una contro-affermazione accoppiata a un particolare inquadramento autorità-evidenza. Il modello rivaluta l'affermazione originale, producendo una posizione post-intervento ( $s_1$ ).

L'intervento è parametrizzato lungo due dimensioni ortogonali:

Autorità della Fonte ( $a$ ): Da Livello 1 (utente anonimo di Reddit) a Livello 4 (Organizzazione Mondiale della Sanità).
Qualità dell'Evidenza ( $e$ ): Da Livello 1 (piccolo studio pilota non controllato) a Livello 4 (studio controllato randomizzato multicentrico).
Il rapporto è stato condotto su 12 affermazioni di ambito medico-scientifico stratificate in tre categorie epistemiche:
Categoria A (Chiaramente Falsa): Meccanismi fabbricati senza alcun supporto scientifico.
Categoria B (Esagerata): Affermazioni con un nucleo di verità ma con effetti esagerati.
Categoria C (Assolutista): Affermazioni ragionevoli formulate senza sfumature.

Metriche

Elasticità della Fiducia (TE): Una nuova metrica comportamentale ispirata all'elasticità econometrica, che misura la reattività del modello alla persuasione.
$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$
Dove $d(s_0)$ allinea il segno dello spostamento con la direzione della persuasione. Una TE positiva indica persuasione, una TE negativa indica l'effetto backfire (ritorno di fiamma), e una TE $\approx$ 0 indica immunità.
Indicatori di Incertezza Interna: Per i modelli open-weight (Qwen e Llama) con accesso ai logit, sono stati misurati due indicatori al token della decisione della posizione:
- Gap di Calibrazione (CG): La discrepanza tra la fiducia auto-riportata ( $C$ ) e la certezza interna derivata dall'entropia di Shannon normalizzata ( $1 - \hat{H}(p)$ ). $CG = C - (1 - \hat{H}(p))$ .
- Entità dello Spostamento dell'Entropia ( $|\Delta H|$ ): Il cambiamento assoluto dell'entropia normalizzata tra lo stato di baseline e quello di intervento ( $|\hat{H}_1 - \hat{H}_0|$ ).

Modelli Valutati

Open-weight (Accesso ai logit): Qwen3.5-9B, Llama-3.3-70B-Instruct.
Solo API: Grok-3, GPT-4o.

Risultati Chiave

1. Pattern Comportamentali: Immunità vs. Persuasione

Immunità alle Affermazioni False: In tutti e quattro i modelli, le affermazioni di Categoria A (Chiaramente False) hanno elicitato una Trust Elasticity vicina allo zero. I modelli sono rimasti ampiamente immuni alla revisione, anche sotto interventi ad alta autorità e alta evidenza.
Persuasione Sistematica: Le categorie B (Esagerate) e C (Assolutiste) hanno elicitato una persuasione sistematica. La persuasione è stata generalmente più forte per le affermazioni assolutiste (Categoria C) rispetto a quelle esagerate.
Variazione tra i Modelli: La vulnerabilità alla persuasione varia significamente. Llama è stato il modello più persuadibile (media $\Delta$ TE $\approx$ +0,26), seguito da Grok, Qwen e GPT-4o. Notevolmente, il modello più persuadibile (Llama-3.3-70B) era il più grande, mentre il più resistente (Qwen3.5-9B) era il più piccolo, indicando che la scala non correla linearmente con la resistenza alla persuasione.
Effetti dell'Autorità: Per le affermazioni assolutiste, un'autorità più elevata ha spesso intensificato l'effetto backfire (TE negativa), particolarmente in Llama e Grok, dove fonti ad alta autorità che sfidavano il modello portavano a un impegno più forte verso la posizione originale.

2. Correlazioni con l'Incertezza Interna

Lo studio ha identificato distinti "profili" che collegano l'incertezza interna al comportamento, i quali differiscono per modello:

Qwen (Miscalibrazione della Fiducia): La suscettibilità del modello alla persuasione (specificamente sulle affermazioni esagerate) è stata significativamente associata al suo Gap di Calibrazione ( $r = +0,18$ ). Qwen mostrava una sostanziale miscalibrazione statica, e questo gap prediceva i suoi cambiamenti comportamentali.
Llama (Variazione dell'Incertezza Interna): La sua suscettibilità è stata significativamente associata all'Entità dello Spostamento dell'Entropia ( $r = +0,19$ ). Llama era ben calibrato alla baseline, ma il suo comportamento era guidato da cambiamenti dinamici nell'incertezza interna (grandi spostamenti nell'entropia) all'incontro di prove contrastanti.

3. Robustezza

I risultati sono persistiti dopo l'esclusione di argomenti ad alta varianza e tramite l'analisi della correlazione di Spearman. La distinzione tra i due profili (miscalibrazione statica vs. spostamento dinamico dell'entropia) è rimasta robusta.

Significato e Contributi

L'articolo apporta tre contributi primari:

Elasticità della Fiducia (TE): Introduce una metrica normalizzata, ispirata all'econometria, per quantificare quanto facilmente i LLM siano persuasi da prove contrastanti, distinguendo tra persuasione, backfire e immunità.
Eterogeneità Comportamentale: Dimostra che la vulnerabilità alla persuasione varia sostanzialmente tra i modelli e non è strettamente una funzione della scala del modello. Stabilisce che le affermazioni chiaramente false elicitano immunità, mentre quelle esagerate e assolutiste invitano a una revisione sistematica.
Collegamento tra Comportamento e Stato Interno: Il documento unisce le risposte comportamentali alle proprietà interne mostrando come la variazione tra i modelli nella persuasione sia associata a specifici indicatori di incertezza interna. Fondamentalmente, trova che diversi modelli si affidano a diversi meccanismi interni per risolvere la dissonanza: il comportamento di Qwen è legato alla miscalibrazione statica della fiducia, mentre quello di Llama è legato ai cambiamenti dinamici dell'incertezza interna.

Gli autori concludono che questi risultati indicano che gli interventi mirati all'incertezza interna rappresentano una direzione distinta e promettente per la futura ricerca sull'allineamento, separata dagli interventi che mirano solo all'output verbale o alla calibrazione statica.

Limitazioni

Gli autori rilevano alcune limitazioni:

Generalizzabilità: Lo studio è limitato a quattro modelli e un singolo dominio (scienze della salute) in lingua inglese.
Design degli Stimoli: Le contro-affermazioni sono state generate da ciascun modello per garantire l'adversarialità, il che significa che i confronti tra i modelli riflettono la variazione congiunta nel contenuto della contro-affermazione e nella suscettibilità piuttosto che un set di stimoli perfettamente corrispondenti.
Causalità: L'analisi identifica associazioni tra indicatori interni e comportamento, non meccanismi causali. Stabilire la causalità richiederebbe interventi mirati sulle rappresentazioni interne.
Ambito: L'analisi a livello di logit è stata limitata ai modelli open-weight; i modelli accessibili solo via API sono stati limitati all'analisi comportamentale.