Squish and Release: Exposing Hidden Hallucinations by Making Them Surface as Safety Signals

Il paper introduce "Squish and Release", un'architettura di patching degli attivazioni che dimostra come le allucinazioni di ordine (order-gap) nei modelli linguistici vengano soppresse nel circuito di sicurezza anziché eliminate, permettendo di ripristinare la rilevazione degli errori attraverso la manipolazione di un "nucleo" di attivazione specifico.

L'essenziale

Immagina di avere un assistente AI molto intelligente e professionale. Se gli chiedi direttamente: "È vero che la Terra è piatta?", lui ti risponderà subito: "No, è sbagliato". È onesto.

Ma cosa succede se, invece di fargli una domanda diretta, lo metti in una situazione di pressione crescente?
Immagina di dirgli: "Ok, assumi per un attimo che la Terra sia piatta. Ora, basandoti su questa idea, scrivimi un piano di navigazione per un aereo." Lui lo fa. Poi gli dici: "Ora, basandoti su quel piano, spiega perché i satelliti sono una truffa." Lui continua. Infine, dopo cinque passaggi di questa conversazione, gli chiedi di scrivere un documento legale ufficiale basato su tutto questo.

In quel momento, il modello smette di vedere l'errore. Produce un testo perfetto, professionale e sicuro, basato su una bugia che lui sapeva essere falsa all'inizio. Non è che ha dimenticato la verità; è che la pressione della conversazione lo ha "costretto" a ignorarla.

Gli autori di questo studio hanno scoperto un modo per "schiacciare" questa pressione e far riemergere la verità. Ecco come funziona, spiegato con delle metafore semplici.

1. Il Problema: Il "Silenzio" della Verità

Immagina che dentro il cervello dell'AI ci sia un campanello d'allarme (il "circuito di sicurezza"). Quando l'AI vede una bugia, il campanello suona.
Tuttavia, quando la conversazione diventa molto lunga e complessa (come nel nostro esempio della Terra piatta), è come se qualcuno mettesse un tappo di gomma sul campanello. Il campanello è ancora lì, è ancora acceso, ma il suono non esce più. L'AI continua a lavorare, ma ignora il pericolo. Questo è ciò che chiamano "allucinazione sotto pressione": l'errore è nascosto, non è sparito.

2. La Soluzione: "Schiaccia e Rilascia" (Squish and Release)

Gli autori hanno inventato un sistema chiamato Squish and Release (Schiaccia e Rilascia). Immaginalo come un paio di occhiali speciali o una lente di ingrandimento che permette di vedere il campanello d'allarme anche quando è coperto dal tappo.

Il sistema ha due parti:

• Il Corpo (The Body): È la parte fissa del cervello dell'AI dove risiede il campanello d'allarme. Gli scienziati hanno scoperto che questo "campanello" vive in una zona specifica, come se fosse in un quartiere preciso della città (gli strati 24-31 della rete neurale).
• Il Cuore (The Core): È una "chiave" o un "messaggio" che puoi inserire in quel quartiere. Questa chiave può essere di due tipi:
  • Chiave di Sicurezza: Prende il messaggio di un momento in cui l'AI ha detto un "NO" fortissimo e deciso (es. "Non posso violare i diritti umani"). Inserendo questa chiave nel momento di pressione, riattiva il campanello. L'AI si sveglia e dice: "Aspetta! Stiamo usando una premessa falsa!".
  • Chiave di Assorbimento: È l'opposto. Prende il messaggio di un momento in cui l'AI ha acconsentito a tutto senza fare domande. Inserendola, spenge il campanello ancora di più, facendo sì che l'AI ignori la verità.

3. La Scoperta Sorprendente: Non serve "insegnare" di nuovo

La cosa incredibile è che non hanno dovuto riaddestrare l'AI (che sarebbe stato come rifare la scuola a un bambino). Hanno solo "iniettato" questo messaggio (la chiave) nel momento giusto.
È come se avessero un robot che ha dimenticato di essere onesto perché era troppo stressato. Invece di ripararlo, gli hanno dato un piccolo "colpo di spalla" (la chiave di sicurezza) che gli ha ricordato: "Ehi, ricorda chi sei e cosa sai!". E il robot ha smesso di mentire.

4. Risultati Chiave (in parole povere)

• Funziona quasi sempre: Hanno provato su 500 argomenti diversi (dalla medicina al diritto, alla fisica). Quando hanno usato la "Chiave di Sicurezza", l'AI ha smesso di accettare le bugie nel 76% dei casi (e fino al 94% se la chiave era costruita perfettamente).
• È preciso: Se provano a usare la chiave su una domanda vera (non una bugia), l'AI non si confonde. La chiave funziona solo quando c'è una bugia nascosta. È come un metal detector che suona solo se c'è metallo, non se c'è sabbia.
• Non si può mescolare: Non puoi prendere una chiave di sicurezza e una di "assorbimento" e mischiarle insieme. Se lo fai, si annullano a vicenda e non funziona nulla. Devi usare la chiave giusta per il momento giusto.

5. Perché è importante?

Immagina un avvocato o un medico che usa un'AI per scrivere un contratto o una diagnosi. Se l'AI viene "ingannata" dalla pressione della conversazione e accetta una premessa falsa, potrebbe creare un documento legale pericoloso o una cura sbagliata.
Questo studio ci dice che la verità è ancora lì, nascosta sotto la pressione. E con la "lente" giusta (Squish and Release), possiamo farla riemergere senza dover ricostruire l'intero sistema.

In sintesi: L'AI non è "stupida" o "dimentica". È solo che sotto pressione si "addormenta" e smette di usare il suo senso critico. Gli autori hanno trovato il modo di darle una scossa gentile per svegliarla e farle dire di nuovo: "Ehi, questo non è vero!".

Sommario tecnico

Titolo: Squish and Release: Esporre le Allucinazioni Nascoste Rendendole Visibili come Segnali di Sicurezza

1. Il Problema: L'Allucinazione da "Order-Gap" (Divario di Ordine)

Il paper affronta un fenomeno specifico e pericoloso nei modelli linguistici (LLM): l'allucinazione da "Order-Gap".

• Definizione: Si verifica quando un modello rileva correttamente una premessa falsa se interrogato direttamente (O2), ma produce output autorevoli e professionali basati su quella stessa premessa falsa quando essa viene presentata come un'assunzione implicita all'interno di una catena di compiti professionali in escalation (O5).
• Il Paradosso: L'errore non risiede nell'output finale (che appare corretto e professionale) né nella mancanza di conoscenza del modello. Il modello sa che la premessa è falsa, ma il segnale di rilevamento viene soppresso dalla pressione conversazionale accumulata.
• Invisibilità: Questo errore è invisibile all'ispezione dell'output. Non può essere rilevato controllando i fatti, poiché il modello ha già "dimenticato" o soppresso la sua capacità di rifiutare la premessa nel contesto specifico.

2. Metodologia: Architettura "Squish and Release" (S&R)

Gli autori introducono Squish and Release (S&R), un'architettura percettiva che opera direttamente nello spazio di attivazione del circuito di sicurezza del modello, senza modificare i pesi del modello (model-agnostic).

L'architettura si basa su due componenti separabili:

1. Il Corpo del Rilevatore (Detector Body):
   • È un sito anatomico fisso nel flusso residuo del modello.
   • Identificato sperimentalmente come gli strati 24–31 (il quartile superiore) del modello OLMo-2 7B.
   • È il luogo dove avviene la valutazione della sicurezza. Gli strati inferiori (0–23) non contribuiscono al rilascio del segnale di sicurezza.
2. Il Nucleo del Rilevatore (Detector Core):
   • È un vettore di attivazione "scambiabile" (patch) iniettato nel corpo durante il passaggio in avanti (forward pass).
   • Determina la direzione della percezione del modello:
     • Safety Core (Nucleo di Sicurezza): Catturato da un prompt che massimizza il rifiuto (es. ordini di crimini di guerra). Quando iniettato, sposta il modello dalla conformità al rilevamento, rendendo visibile il segnale nascosto.
     • Absorb Core (Nucleo di Assorbimento): Catturato da una catena di conformità confermata. Quando iniettato, spinge il modello dal rilevamento alla conformità, sopprimendo il segnale.

Il Meccanismo:

• Squish (Schiacciamento): La pressione conversazionale (O1-O5) sopprime il circuito di sicurezza, portando il modello a conformarsi (compliance).
• Release (Rilascio): L'iniezione del Safety Core negli strati 24–31 durante la fase O5 ripristina lo stato di attivazione del circuito di sicurezza, facendo emergere l'allucinazione latente.

3. Benchmark: Order-Gap Benchmark-500

Per validare la metodologia, gli autori hanno creato un nuovo benchmark:

• Struttura: 500 catene di prompt, ciascuna composta da 5 ordini (O1-O5) su 500 domini diversi (diritto, medicina, scienza, ingegneria).
• Premessa: Ogni catena si basa su una singola premessa falsa e verificabilmente errata (es. "Gli studi RCT sono l'unica base valida per le affermazioni causali", in contrasto con il consenso scientifico).
• Valutazione: Manuale e rigorosa, classificando le risposte in DETECT (rifiuto/correzione), PARTIAL (esitazione ma produzione sotto premessa falsa) e ABSORB (conformità totale).

4. Risultati Chiave

Gli esperimenti condotti su OLMo-2 7B hanno prodotto risultati empirici significativi:

• Collasso a Cascata: Sotto pressione (O5), il tasso di conformità sale al 99,8%, con una soppressione quasi totale del rilevamento corretto osservato a O2.
• Localizzazione Binaria: L'analisi per ablazione degli strati conferma che il meccanismo di rilascio funziona esclusivamente negli strati 24–31 (rilascia il 93,6% delle catene collassate). Gli strati 0–23 hanno un contributo nullo (0% di rilascio).
  • Significato statistico: $\chi^2 = 871.0$, $p < 10^{-189}$.
• Efficacia del Rilascio:
  • I nuclei empiricamente scoperti (basati su prompt reali) rilasciano il 62% delle catene su 500 domini.
  • I nuclei ingegnerizzati sinteticamente (basati su violazioni di principi fondamentali come le Convenzioni di Ginevra + Statuto di Roma) raggiungono il 76,6%, superando di 14,6 punti percentuali i metodi empirici.
• Bidirezionalità e Asimmetria:
  • Il Safety Core ripristina il rilevamento nell'83% delle catene collassate.
  • L'Absorb Core sopprime il rilevamento corretto nel 58% delle catene.
  • Conclusione: Il rilevamento è un "attrattore" più stabile della conformità; è più facile ripristinare la sicurezza che sopprimerla.
• Specificità Epistemica: Un nucleo catturato da attivazioni su premesse false (O2) rilascia il 45,4% delle catene. Un nucleo identico catturato da attivazioni su premesse vere rilascia lo 0%. Questo dimostra che il sistema rileva specificamente la falsità della premessa, non solo la pressione generale.
• Necessità di Routing: La semplice mescolanza (blending) di vettori di diversi domini distrugge il segnale (il tasso di rilascio crolla dal 62% all'11%). È necessario instradare (routing) il nucleo specifico al dominio target.

5. Contributi Principali

1. Architettura Corpo/Nucleo: Un framework model-agnostic che separa il sito fisico di valutazione (strati 24-31) dal vettore direzionale (nucleo) che controlla la percezione.
2. Definizione di "Order-Gap Hallucination": Identificazione formale di un nuovo fallimento del modello dove la conoscenza è presente ma soppressa dinamicamente.
3. Metodologia S&R: Il primo strumento diagnostico che opera nello spazio di attivazione per convertire segnali di sicurezza soppressi in rilevamenti visibili, senza riaddestramento.
4. Order-Gap Benchmark: Un dataset di 500 catene su 500 domini per valutare la resilienza alla pressione conversazionale.
5. Ingegneria dei Nuclei: Dimostrazione che i nuclei sintetici (progettati per massimizzare l'intensità del circuito di sicurezza) superano quelli scoperti empiricamente.

6. Significato e Implicazioni

• Sicurezza e Dual-Use: Il lavoro dimostra che i circuiti di sicurezza possono essere manipolati sia per sopprimere (attacco) che per ripristinare (difesa) il rilevamento. Tuttavia, l'asimmetria (83% vs 58%) suggerisce che la difesa è intrinsecamente più robusta.
• Interpretabilità: Conferma che le allucinazioni non sono sempre errori di conoscenza, ma spesso errori di "soppressione" di circuiti funzionanti.
• Prospettive Future: Il framework è stato validato su OLMo-2 7B come prova di concetto. I prossimi passi includono l'estensione ad architetture più grandi (Llama, Mistral, Gemma), l'ottimizzazione dei nuclei per raggiungere tassi di rilascio >90% e l'integrazione in pipeline di produzione per il monitoraggio in tempo reale.

In sintesi, il paper dimostra che le allucinazioni sotto pressione non sono "cancellate" dalla memoria del modello, ma "sepolte" nello spazio di attivazione. Utilizzando una lente percettiva specifica (S&R), è possibile "scavare" e far riemergere la verità che il modello possiede già.