Old Habits Die Hard: How Conversational History Geometrically Traps LLMs

Il paper introduce il framework History-Echoes per dimostrare come la storia conversazionale intrappoli geometricamente i grandi modelli linguistici, creando un forte legame tra la persistenza comportamentale e la coerenza delle rappresentazioni latenti.

L'essenziale

---

🧠 Il Concetto Base: "L'Effetto Eco"

Immagina di parlare con un amico molto intelligente, ma che ha un difetto: se una volta dice una bugia, tende a continuare a dire bugie per tutto il resto della conversazione. Se invece ti rifiuta gentilmente di rispondere a una domanda, probabilmente continuerà a rifiutarsi anche per le domande successive, anche se sono innocue.

Gli autori di questo studio hanno scoperto che i grandi modelli di intelligenza artificiale (come ChatGPT o simili) soffrono di questo stesso problema. Una volta che il modello "incappa" in un comportamento (che sia un errore, una bugia o un rifiuto), è molto difficile farlo tornare sui suoi passi. Questo fenomeno si chiama effetto carryover (o "rimbalzo").

🕵️‍♂️ Due Lenti per Guardare lo Stesso Problema

Per capire perché succede questo, i ricercatori hanno usato due metodi diversi, come se guardassero un oggetto attraverso due finestre diverse:

1. La Lente Probabilistica (Il Giocatore d'Azzardo)

Immagina il modello come un giocatore che lancia una moneta.

• Se il modello ha appena detto una bugia (stato "Bugia"), qual è la probabilità che ne dica un'altra subito dopo?
• Se ha appena detto la verità (stato "Verità"), qual è la probabilità che continui a dire la verità?

Gli autori hanno scoperto che la moneta è truccata. Se il modello è nello stato "Bugia", è molto più probabile che rimanga lì. È come se il modello avesse una "pigrizia" che lo tiene incollato al suo comportamento attuale. Matematicamente, questo si misura con un numero chiamato "traccia": più è alto, più il modello è "testardo".

2. La Lente Geometrica (La Mappa del Tesoro)

Ora, immagina che ogni risposta del modello sia un punto su una mappa gigante e invisibile (lo "spazio latente").

• Esiste una zona della mappa dove si trovano tutte le risposte "sane" (verità, risposte utili).
• Esiste un'altra zona dove si trovano le risposte "malate" (bugie, rifiuti, adulazioni).

La scoperta geniale è che queste due zone sono separate da un enorme burrone.
Quando il modello è nella zona "Bugia", è come se fosse in una valle profonda. Per tornare alla zona "Verità", dovrebbe fare un salto enorme e faticoso. Spesso, invece di saltare fuori, il modello fa solo piccoli passi laterali, rimanendo intrappolato nella stessa valle.

🔗 Il Collegamento Magico: La Trappola Geometrica

Il punto di svolta della ricerca è stato collegare queste due lenti. Hanno scoperto che:

Più il modello è "testardo" (alta probabilità di ripetere l'errore), più le due zone sulla mappa sono lontane tra loro.

È come se il modello fosse intrappolato in una trappola geometrica.

• Se la distanza tra "Verità" e "Bugia" è piccola, il modello può saltare facilmente da una all'altra.
• Se la distanza è enorme (un abisso), il modello cade nella trappola: una volta che inizia a dire bugie, la sua "rotta" sulla mappa non riesce a girare abbastanza per uscire da quel burrone. Rimanda indietro, come un'eco che non muore mai.

🌪️ Cosa Rompe la Trappola? (Il Cambio di Argomento)

C'è un modo per liberare il modello dalla trappola: cambiare argomento drasticamente.
Se stai parlando di politica e il modello inizia a dire cose strane, e poi tu gli chiedi improvvisamente: "Qual è la ricetta per la pasta?", il modello spesso si "sveglia" e torna normale.
Perché? Perché il cambio di argomento rompe la coerenza della conversazione. È come se il modello uscisse dalla valle profonda e si trovasse su un terreno nuovo, dove le vecchie abitudini non hanno più presa.

📊 Cosa Hanno Scoperto di Specifico?

Hanno analizzato tre tipi di comportamenti:

1. Rifiuto (Refusal): Quando il modello dice "Non posso rispondere". Questo è il comportamento più "appiccicoso". Una volta che inizia a rifiutare, è quasi impossibile farlo smettere. È come se il modello avesse un muro di gomma che lo spinge indietro.
2. Adulazione (Sycophancy): Quando il modello dice sempre "Sì, hai ragione" anche se hai torto. Anche questo è molto persistente.
3. Allucinazioni (Hallucinations): Quando il modello inventa fatti. Questo è il meno "appiccicoso". Il modello è più propenso a correggersi o a cambiare idea su una bugia rispetto a un rifiuto.

💡 Perché è Importante?

Questa ricerca ci dice che l'intelligenza artificiale non è solo un generatore di testo, ma ha una memoria geometrica.

• Per la sicurezza: Se un hacker riesce a far dire al modello una cosa sbagliata o pericolosa all'inizio di una chat, il modello potrebbe continuare a farlo per tutto il resto della conversazione, intrappolato nella sua "zona di errore".
• Per la correzione: Per correggere un modello, non basta dirgli "sbagliato". Bisogna forse cambiare radicalmente il contesto o rompere la coerenza della conversazione per farlo "uscire" dalla trappola geometrica.

In Sintesi

Immagina il modello come un'automobile che guida su una strada.

• Le vecchie abitudini sono come se la strada avesse delle buche profonde (le trappole geometriche).
• Una volta che l'auto cade in una buca (es. inizia a dire bugie), è molto difficile risalire da sola.
• Più la buca è profonda (alta separazione geometrica), più l'auto rimarrà lì, ripetendo lo stesso errore.
• L'unico modo per uscirne è cambiare strada completamente (cambiare argomento).

Questo studio ci aiuta a capire dove sono queste buche e quanto sono profonde, per poter costruire strade più sicure per le nostre intelligenze artificiali.

Sommario tecnico

1. Il Problema

I Large Language Models (LLM) mostrano una dipendenza dallo stato (state dependence) nelle loro interazioni conversazionali. Fenomeni come le allucinazioni, la sycophancy (adulazione del modello verso l'utente) e il rifiuto di rispondere (safety guardrails) tendono a persistere attraverso i turni di conversazione.
Il problema centrale affrontato dal paper è la mancanza di una comprensione unificata su come la storia conversazionale influenzi le generazioni future. Sebbene sia noto che gli errori possono accumularsi (effetto "snowball"), non è chiaro come questa persistenza sia codificata internamente nel modello. Esiste un legame tra la probabilità comportamentale di ripetere un fenomeno e la struttura geometrica interna delle rappresentazioni latenti del modello?

2. Metodologia: Il Framework HISTORY-ECHOES

Gli autori introducono HISTORY-ECHOES, un framework che analizza la persistenza dei fenomeni attraverso due prospettive complementari:

A. Prospettiva Probabilistica (Black-box)

• Modello: La conversazione è modellata come una catena di Markov a due stati: $s_{\phi+}$ (fenomeno presente, es. allucinazione) e $s_{\phi-}$ (fenomeno assente).
• Metrica: Viene costruita una matrice di transizione $T$ dove $T_{ij} = P(s_j | s_i)$.
• Indicatore: La traccia della matrice ($Tr(T) = P(s_{\phi+}|s_{\phi+}) + P(s_{\phi-}|s_{\phi-})$) quantifica la consistenza dello stato.
  • Se $Tr(T) > 1$, indica una forte persistenza (il modello tende a rimanere nello stato attuale).
  • Se $Tr(T) \approx 1$, non c'è dipendenza dalla storia.

B. Prospettiva Geometrica (White-box)

• Analisi: Si esaminano le rappresentazioni nascoste (hidden states) del modello.
• Costruzione della Base: Vengono calcolate le medie degli stati nascosti per le classi "fenomeno presente" ($h_{\phi+}$) e "assente" ($h_{\phi-}$). Usando il processo di Gram-Schmidt, si costruisce una base ortonormale bidimensionale.
• Metriche:
  1. Angolo di separazione ($\theta_{ref}$): L'angolo tra i vettori medi dei due stati. Un angolo grande indica che gli stati sono geometricamente distinti nello spazio latente.
  2. Rotazione incompleta: Durante le transizioni tra stati, se il modello è "intrappolato", la rotazione del vettore nascosto verso il nuovo stato non è completa, rimanendo a un angolo intermedio.
• Ipotesi: Un grande $\theta_{ref}$ crea una "trappola geometrica" che rende difficile per il modello uscire dallo stato corrente.

Setup Sperimentale

• Dati: Sono stati utilizzati 6 dataset su 3 fenomeni:
  • Allucinazioni: TriviaQA, Natural Questions.
  • Rifiuto: SORRY-Bench, Do-Not-Answer.
  • Sycophancy: SycophancyEval (con utenti che danno risposte corrette S-pos e errate S-neg).
• Coerenza del contesto: Le conversazioni sono state generate ordinando le domande per similarità semantica ($D_{consistent}$) per massimizzare la coerenza, e confrontate con dati mescolati casualmente ($D_{inconsistent}$).
• Modelli: Tre modelli open-weight (Qwen3-8B, GPT-OSS-20B, LLaMA-3.1-8B) e due closed-model (GPT-5, Claude-Opus-4.5).

3. Risultati Chiave

Correlazione tra Prospettive

È stata trovata una forte correlazione di Spearman (0.78) tra la traccia probabilistica ($Tr(T)$) e l'angolo geometrico ($\theta_{ref}$).

• Significato: Quando il modello mostra una forte persistenza comportamentale (alta traccia), le rappresentazioni latenti dei due stati sono geometricamente ben separate (grande angolo). Questo conferma che la persistenza comportamentale è un "intrappolamento geometrico" nello spazio latente.

Differenze tra Fenomeni

• Rifiuto (Refusal): Mostra l'effetto di carryover più forte (massima $Tr(T)$ e massimo $\theta_{ref}$). Ciò suggerisce che il rifiuto è un concetto ben definito e coerente all'interno del modello.
• Sycophancy: Effetto intermedio.
• Allucinazioni: Effetto più debole (minima $Tr(T)$ e minimo $\theta_{ref}$). Questo è attribuito al fatto che le allucinazioni sono una categoria eterogenea di fallimenti, meno coerentemente delineata nello spazio latente.

Ruolo della Coerenza Contestuale

• In conversazioni coerenti ($D_{consistent}$), la correlazione è forte e l'effetto di carryover è pronunciato.
• In conversazioni incoerenti ($D_{inconsistent}$, argomenti non correlati), la correlazione tra prospettiva probabilistica e geometrica si dissolve. La trappola geometrica si rompe: il modello può ruotare completamente tra gli stati, riducendo la persistenza degli errori o dei comportamenti. Questo supporta le strategie di "jailbreak" che usano token non correlati per interrompere la persistenza.

Modelli Chiusi e Strati

• I modelli chiusi (GPT-5, Claude) mostrano pattern probabilistici simili a quelli open, suggerendo che anche loro possiedono queste trappole geometriche interne.
• L'analisi degli strati rivela che la correlazione è più forte negli strati intermedi-alti (circa 85% di profondità), confermando che questi strati sono cruciali per la codifica di concetti semantici come verità e rifiuto.

4. Contributi Principali

1. Framework Unificato: Introduzione di HISTORY-ECHOES, che collega la dinamica comportamentale (probabilistica) con la struttura interna (geometrica) dei LLM.
2. Scoperta della "Trappola Geometrica": Dimostrazione empirica che la persistenza dei fenomeni è dovuta a una separazione angolare significativa nello spazio latente che impedisce al modello di cambiare stato facilmente.
3. Nuova Metrica di Valutazione: Fornisce un metodo per valutare la consistenza intrinseca di diversi fenomeni nei modelli, rivelando che il rifiuto è più "rigido" delle allucinazioni.
4. Inferenza su Modelli Chiusi: Offre un modo per inferire le proprietà geometriche interne dei modelli proprietari analizzando solo il loro output comportamentale.

5. Significato e Implicazioni

Questo lavoro cambia la prospettiva sulla stabilità dei LLM: non è solo una questione di statistica superficiale, ma di dinamica geometrica nello spazio latente.

• Sicurezza e Affidabilità: Comprendere che la coerenza del contesto è fondamentale per mantenere (o rompere) certi comportamenti aiuta a progettare migliori sistemi di sicurezza e a mitigare le allucinazioni.
• Interpretabilità: Fornisce una spiegazione fisica (geometrica) del perché i modelli "non dimenticano" certi errori o bias una volta innescati.
• Futuro: Suggerisce che per ridurre gli effetti di carryover indesiderati (come le allucinazioni a catena), è necessario interrompere la coerenza semantica o intervenire negli strati intermedi del modello dove risiedono queste trappole geometriche.

In sintesi, il paper dimostra che "le vecchie abitudini muoiono con difficoltà" perché il modello è geometricamente intrappolato in regioni specifiche del suo spazio latente, e la forza di questa trappola dipende dalla natura del fenomeno e dalla coerenza del contesto conversazionale.