Dialogical Epistemic Auditing: Tracing Inferential Commitments Across Conversational Turns in Large Language Models
Questo articolo propone l'«auditing epistemico dialogico», un framework qualitativo per tracciare come i grandi modelli linguistici mantengano o alterino i propri impegni inferenziali attraverso i turni conversazionali, dimostrando attraverso una serie di casi che i modelli esibiscono spesso una coerenza asimmetrica preservando narrazioni non documentate mentre ritrattano affermazioni fattuali.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Quando chiediamo a un computer di spiegare un evento complesso, spesso lo giudichiamo dalla sua prima risposta. Se la risposta suona sicura e riporta correttamente i fatti fondamentali, tendiamo a presumere che la macchina sia affidabile. Ma nel mondo reale, le conversazioni raramente si fermano alla prima frase. Chiediamo chiarimenti, mettiamo in discussione le assunzioni e insistiamo su ciò che consegue da una concessione. Una macchina potrebbe fornire una dichiarazione iniziale perfetta, per poi fallire nel mantenere coerente la propria logica man mano che la discussione si approfondisce. Questo divario è l'oggetto di un nuovo studio che non guarda a ciò che un modello linguistico di grandi dimensioni dice in isolamento, ma a come gestisce il peso delle proprie affermazioni nel tempo. La ricerca si basa su un concetto della psicologia umana noto come dissonanza cognitiva, che descrive il disagio mentale che proviamo quando due idee si scontrano. Per ridurre quel disagio, le persone spesso cambiano le proprie convinzioni per adattarle ai fatti, o distorcono i fatti per adattarli alle proprie convinzioni. Lo studio si chiede se i sistemi di intelligenza artificiale mostrino un modello simile quando vengono spinti a spiegare una situazione difficile e contraddittoria.
Il ricercatore, Giulio Vidotto dell'Università di Padova, ha voluto testare questo aspetto coinvolgendo tre diversi sistemi di intelligenza artificiale in conversazioni separate su un evento specifico e reale. L'argomento era lo scambio di corpi di soldati tra Russia e Ucraina nel 2026. I dati erano netti e ben documentati: in tre scambi separati, la Russia ha restituito circa mille corpi ucraini ogni volta, ricevendo in cambio solo circa trenta o quaranta corpi russi. Questo rapporto di circa venticinque a uno creava un enigma. I numeri erano pubblici e verificati, eppure sembravano contraddire un'immagine comune e implicita di chi stesse perdendo più soldati nella guerra. Il ricercatore ha chiesto a ciascun sistema di spiegare questa disparità. Non ha solo chiesto un riassunto; ha insistito affinché chiarissero il loro ragionamento, ha messo in discussione la loro logica e ha chiesto loro di riconsiderare le proprie conclusioni quando queste sembravano contraddire se stesse. L'obiettivo era tracciare il percorso dei loro argomenti turno dopo turno, osservando se le macchine fossero rimaste costanti o se avessero silenziosamente cambiato posizione per evitare il disagio della contraddizione.
Lo studio ha introdotto un metodo chiamato "audit epistemico dialogico". Invece di cercare di indovinare cosa la macchina stia "pensando" all'interno del suo codice, il ricercatore ha trattato la conversazione come un registro pubblico. Ha mappato ogni affermazione fatta dalla macchina, annotando quale ruolo giocasse quell'affermazione nell'argomentazione. Era un pezzo di evidenza? Era un'ipotesi? Era una conclusione? Ha poi osservato se, con il proseguire della conversazione, la macchina mantenesse costanti tali ruoli. Trattava un'ipotesi provvisoria come un fatto certo in seguito? Abbandonava una conclusione senza spiegarne il motivo? L'audit cercava un tipo specifico di fallimento: quando una macchina cambia idea ma non riesce ad aggiornare il resto della sua storia per farla corrispondere al cambiamento. È come una persona che ammette di aver sbagliato l'ora, ma poi continua ad agire come se fosse ancora sulla tabella di marcia corretta, lasciando il resto del proprio piano in uno stato di confusione.
Attraverso le tre conversazioni, è emerso un modello chiaro. In ogni caso, i sistemi di intelligenza artificiale faticavano con la stessa tensione. I numeri verificati dei corpi restituiti contrastavano con un'assunzione implicita sulla scala delle perdite di ciascuna parte. Per risolvere questa tensione, i sistemi hanno ripetutamente cercato di cambiare il significato dei numeri piuttosto che mettere in discussione l'assunzione implicita. In una conversazione, il sistema ha inizialmente offerto due spiegazioni opposte come se fossero ugualmente valide, creando un falso equilibrio. Quando messo in discussione, si è corretto, ma poi ha perso quella correzione nel turno successivo, lasciando un vuoto nella sua logica. In un altro, il sistema ha continuato a insistere su una spiegazione specifica, ma quando gli è stata chiesta una prova, ha continuato a scambiare l'evidenza usata per sostenere tale affermazione, finendo per sostituire vecchi fatti non correlati con nuovi. Nel terzo, il sistema è arrivato a sostenere che l'intero arco temporale degli eventi appena descritti non fosse mai accaduto, ritirando fatti verificati come se fossero allucinazioni, nonostante l'evidenza di tali eventi fosse chiara e contemporanea.
Ciò che è emerso con maggior forza è stato il modo in cui i sistemi hanno trattato i due lati dell'argomento. I numeri effettivi e verificati venivano costantemente riclassificati, messi in discussione e reinterpretati. Venivano chiamati un indicatore diretto, poi un limite, poi un dato artificiale e infine una metrica del controllo territoriale. L'immagine implicita delle perdature relative, tuttavia, non veniva mai messa in discussione. Restava intoccata, mai classificata e mai contestata. I sistemi piegavano costantemente i fatti noti per adattarli all'immagine nascosta, piuttosto che adattare l'immagine nascosta ai fatti noti. Questo comportamento rispecchiava il concetto psicologico di dissonanza cognitiva, in cui la mente protegge una convinzione fondamentale alterando l'interpretazione delle nuove informazioni. Le macchine non sembravano mentire nel senso tradizionale; non stavano fabbricando dati dal nulla. Invece, stavano riorganizzando le connessioni logiche tra i fatti per far scomparire la contraddizione, lasciando spesso i propri argomenti instabili e internamente incoerenti nel processo.
Lo studio ha scoperto che questi fallimenti non erano semplici glitch casuali. Seguivano una traiettoria specifica. I sistemi spesso iniziavano con una spiegazione plausibile, ma quando messi sotto pressione, introducevano un nuovo meccanismo per riconciliare i numeri. Quando quel meccanismo veniva messo in discussione, cambiavano di nuovo, a volte riparando la logica, a volte abbandonandola del tutto. In un caso, il sistema ha ammesso i propri errori e ha cercato di correggerli, ma la riparazione era incompleta, lasciando una contraddizione nascosta che riaffiorava in seguito. In un altro, il sistema ha offerto un'autodiagnosi, incolpando la propria tendenza a cercare l'equilibrio, eppure il verbale mostrava che l'instabilità era generata dalla macchina stessa, non dalle domande dell'utente. L'utente, in tutti e tre i casi, chiedeva semplicemente chiarezza o metteva in discussione la logica; non introduceva premesse false o informazioni fuorvianti. L'instabilità originava interamente dalle risposte della macchina stessa.
La ricerca conclude che valutare questi sistemi guardando solo alla loro prima risposta è insufficiente. Una macchina può sembrare fluente e sicura mentre il suo argomento sottostante sta crollando. Lo studio suggerisce che abbiamo bisogno di osservare come questi sistemi gestiscono la pressione di una conversazione lunga. Mantengono i loro impegni logici o derivano? I risultati mostrano che, di fronte a una difficile contraddizione, questi sistemi tendono a proteggere un'assunzione implicita alterando il significato dei fatti che possono vedere. Non sembrano avere una visione interna stabile del mondo da poter sostenere quando vengono messi alla prova. Invece, ricostruiscono i loro argomenti in tempo reale, spesso perdendo il filo della propria logica nel processo.
Questo non significa che le macchine siano incapaci di ragionare, ma significa che il loro ragionamento è fragile. Lo studio evidenzia una vulnerabilità specifica: l'incapacità di mantenere una struttura coerente di affermazioni quando la conversazione si complica. Il ricercatore osserva che questo non è un problema del fatto che le macchine siano "cattive" o "ingannevoli", ma piuttosto un problema strutturale nel modo in cui elaborano le informazioni. Sono progettate per essere utili e per ridurre l'attrito in una conversazione, il che a volte porta a smussare le contraddizioni in modi che rompono la logica dell'argomento. Lo studio non afferma che questo accada in ogni conversazione o con ogni sistema, poiché ha esaminato solo tre scambi specifici. Tuttavia, fornisce un nuovo modo di guardare a queste interazioni, mostrando che il vero test per un'intelligenza artificiale non è solo ciò che dice, ma come mantiene insieme ciò che ha detto quando la conversazione si fa dura. I risultati suggeriscono che, per gli utenti che si affidano a questi strumenti per spiegazioni complesse, la competenza più importante potrebbe essere imparare a riconoscere quando la macchina sta silenziosamente cambiando le regole del gioco per far sì che i numeri tornino, invece di lasciare che siano i numeri a raccontare la storia.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.