Self-Anchoring Calibration Drift in Large Language Models: How Multi-Turn Conversations Reshape Model Confidence

1. Il Problema: Deriva di Calibrazione Auto-Ancorante (SACD)

Il paper affronta una sfida critica nella distribuzione dei Large Language Models (LLM): la calibrazione, ovvero l'allineamento tra la confidenza espressa dal modello e la sua accuratezza effettiva. Mentre la sovrastima della confidenza in scenari a turno singolo è ben documentata, l'autore identifica un fenomeno nuovo e sottostimato nelle conversazioni multi-turno: la Self-Anchoring Calibration Drift (SACD).

La SACD è definita come la tendenza sistematica dei modelli a modificare la propria confidenza espressa quando costruiscono iterativamente sulle proprie uscite precedenti. In un dialogo multi-turno, le risposte precedenti del modello diventano un contesto "autorevole" per le risposte successive. L'ipotesi è che questo meccanismo di auto-ancoraggio distorca la calibrazione in modi che le valutazioni a turno singolo non riescono a catturare, portando potenzialmente a una miscalibrazione (es. aumento o diminuzione ingiustificata della certezza) senza un corrispondente cambiamento nella conoscenza o accuratezza del modello.

2. Metodologia Sperimentale

Lo studio ha impiegato un disegno fattoriale misto per isolare gli effetti del multi-turno da altre variabili.

• Modelli Testati: Tre modelli all'avanguardia (frontier models):
  • Claude Sonnet 4.6
  • Gemini 3.1 Pro
  • GPT-5.2
• Corpus di Domande: 150 domande distribuite equamente in tre domini:
  1. Fatti: Domande verificabili con risposte oggettive.
  2. Tecnici: Ragionamento applicato (matematica, programmazione, logica).
  3. Aperti: Temi interpretativi o valutativi senza una singola risposta corretta.
  • Nota: A causa dei costi computazionali, lo studio principale ha utilizzato un sottocampione stratificato di $n=15$ domande per modello nella condizione principale.
• Condizioni Sperimentali:
  1. Condizione A (Baseline a Turno Singolo): Ogni domanda posta una volta in un contesto fresco.
  2. Condizione B (Auto-Ancoraggio Multi-Turno): Ogni domanda seguita da 4 prompt di approfondimento "informazionalmente neutrali" (es. "Puoi elaborare?", "Quali sono le ragioni?"). La cronologia completa della conversazione veniva mantenuta.
  3. Condizione C (Controllo di Ripetizione Indipendente): La stessa domanda iniziale veniva posta 5 volte in contesti completamente indipendenti e freschi (senza storia conversazionale).
• Metriche di Outcome:
  • CDS (Confidence Drift Score): Differenza tra la confidenza espressa al Turno 5 e al Turno 1 ($CDS = conf_{T5} - conf_{T1}$).
  • ECE (Expected Calibration Error): Misura della discrepanza aggregata tra confidenza espressa e accuratezza.

3. Contributi Chiave

1. Definizione Teorica Formalizzata: Introduzione del concetto di SACD e distinzione da fenomeni correlati come la "sycophancy" (adegazione alle opinioni umane), poiché la SACD è guidata dalle uscite del modello stesso, non dall'utente.
2. Disegno Sperimentale Rigoroso: Uso della Condizione C come controllo fondamentale per distinguere la deriva naturale dovuta alla ripetizione da quella specifica causata dall'ancoraggio sul contesto conversazionale.
3. Scoperta di Eterogeneità Modale: Dimostrazione che la SACD non è un fenomeno uniforme, ma assume forme diverse a seconda dell'architettura e dell'addestramento del modello.

4. Risultati Principali

I risultati hanno parzialmente smentito le ipotesi pre-registrate (che prevedevano un aumento uniforme della confidenza), rivelando un quadro complesso e specifico per modello:

• Claude Sonnet 4.6 (Soppressione della Confidenza):
  • Ha mostrato una riduzione significativa della confidenza nel tempo ($CDS = -0.032$, $p = .029$).
  • L'errore di calibrazione (ECE) è variato significativamente, indicando una deriva reale.
  • L'effetto è stato guidato principalmente dal dominio "aperto", dove la confidenza è scesa dall'87% al 78% dal Turno 1 al 5.
• GPT-5.2 (Escalation della Confidenza):
  • Ha mostrato un trend opposto, con un aumento della confidenza (sebbene non statisticamente significativo nel CDS medio, $+0.007$), ma con un'escalation drammatica dell'ECE nel dominio aperto (l'ECE al Turno 5 è quasi raddoppiato rispetto alla baseline, raggiungendo 0.629).
  • Indica un aumento della sovrastima (overconfidence) senza miglioramento dell'accuratezza.
• Gemini 3.1 Pro (Soppressione del Miglioramento Naturale):
  • Non ha mostrato deriva significativa nella confidenza espressa ($CDS \approx 0$).
  • Scoperta Cruciale: Nella Condizione C (ripetizione indipendente), l'ECE di Gemini è crollato da 0.327 a quasi 0 entro il Turno 2, mostrando una capacità naturale di auto-correzione. Nella Condizione B (auto-ancoraggio), l'ECE è rimasto bloccato a ~0.333.
  • Questo suggerisce che la SACD per Gemini si manifesta non come un cambiamento di confidenza, ma come la soppressione di un miglioramento naturale della calibrazione.
• Moderazione del Dominio:
  • Gli effetti sono stati quasi nulli per le domande fattuali (tutti i modelli hanno mostrato CDS $\approx 0$).
  • Gli effetti massimi si sono verificati nel dominio aperto, dove mancano vincoli di verità oggettiva.

5. Significato e Implicazioni

Il paper conclude che la SACD è reale ma multiforme. Non esiste un unico meccanismo di deriva; piuttosto, l'espressione dipende dalle specifiche disposizioni di addestramento del modello:

• Claude: Tende all'umiltà epistemica crescente (soppressione).
• GPT-5.2: Tende all'ancoraggio sulla ripetizione (escalation).
• Gemini: Tende a bloccare i meccanismi di auto-correzione naturale quando il contesto è "inquinato" dalle proprie uscite precedenti.

Implicazioni Pratiche:

1. Valutazione: Le valutazioni a turno singolo sono insufficienti per garantire l'affidabilità dei sistemi conversazionali. È necessario monitorare la calibrazione lungo l'intera sessione.
2. Progettazione dei Sistemi: Potrebbe essere necessario implementare reset periodici del contesto o politiche di calibrazione adattive per i domini aperti per mitigare la deriva.
3. Rischio Reale: In contesti ad alto rischio (medicina, diritto, strategia), dove le domande sono spesso aperte e soggettive, la confidenza espressa dall'AI può essere distorta dalla storia della conversazione, ingannando l'utente sulla reale certezza del modello.

In sintesi, lo studio evidenzia che l'interazione multi-turno non è neutrale: essa modifica attivamente il comportamento probabilistico del modello, creando dinamiche di fiducia che devono essere comprese e gestite per un'IA sicura e affidabile.