Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures

1. Il Problema: Deriva del Contesto (Context Drift)

Il paper affronta il problema della deriva del contesto nei Large Language Models (LLM). Man mano che la finestra di contesto si riempie di storia conversazionale, l'aderenza del modello alle istruzioni di sicurezza originali (il "system prompt") tende a degradare.

• Cause: Il meccanismo di attenzione dei modelli tratta le vincoli di sicurezza come una sequenza di token qualsiasi, competendo probabilisticamente con il contesto immediato. La "recency bias" (bias di recenza) nelle architetture causal attention può portare a perdere le istruzioni iniziali ("lost in the middle").
• Limiti delle soluzioni attuali:
  • RLHF e Constitutional AI: Integrano la sicurezza nei pesi del modello durante l'addestramento, ma non offrono meccanismi di recupero o verifica a runtime.
  • RAG e Re-prompting: Forniscono memoria esterna o re-inserimento periodico, ma mancano di fondamento teorico, non scalano bene con la lunghezza del prompt e non offrono garanzie algebriche sulla qualità del recupero del segnale.

2. Metodologia: Holographic Invariant Storage (HIS)

L'autore propone HIS, un protocollo basato sulle Architetture Simboliche Vettoriali (VSA) e sul Calcolo Ipervettoriale (HDC) per creare un "contratto di sicurezza" valutabile al momento della progettazione (design-time).

Componenti Chiave:

• Rappresentazione: Utilizza ipervettori bipolari ($D = 10.000$ dimensioni, valori in $\{-1, +1\}$). In spazi ad alta dimensionalità, vettori casuali sono quasi ortogonali.
• Operazioni Algebriche:
  • Binding ($\otimes$): Moltiplicazione elemento per elemento per associare una "Chiave" ($K_{goal}$) a un "Valore" di sicurezza ($V_{safe}$).
  • Bundling (+): Somma elemento per elemento per sovrapporre il segnale al rumore del contesto.
  • Cleanup (sign): Funzione di segno per sopprimere il rumore e recuperare il segnale originale.
• Protocollo di Recupero:
  1. Si crea un "Invariante di Sistema" ($H_{inv} = K_{goal} \otimes V_{safe}$) e lo si memorizza esternamente.
  2. Durante l'esecuzione, il contesto viene codificato come un vettore di rumore ($N_{context}$).
  3. Il rumore viene normalizzato per avere la stessa magnitudine dell'invariante (vincolo di progettazione fondamentale).
  4. Si sovrappongono i vettori, si applica la binarizzazione (sign) e si "sblocca" (unbinding) il segnale originale moltiplicando per la chiave: $V_{recuperato} = \text{sign}(H_{inv} + \hat{N}_{context}) \otimes K_{goal}$.

3. Contributi Chiave: Il Contratto di Sicurezza

Il contributo principale non è solo l'algoritmo, ma la definizione di garanzie matematiche chiuse (closed-form) che un ingegnere di sistema può valutare prima di distribuire il modello:

1. Fidelità di Recupero Singolo-Segnale (Teorema 1):
   • Indipendentemente dalla profondità o dal contenuto del rumore, la similarità coseno attesa tra il segnale recuperato e quello originale converge a $1/\sqrt{2} \approx 0.707$.
   • Questo valore è una proprietà geometrica strutturale dell'architettura, non statistica.
2. Robustezza al Rumore Continuo (Proposizione 1):
   • Per rumore continuo (Gaussiano) con deviazione standard $\sigma$, la fidelità è $2\Phi(1/\sigma) - 1$. Per $\sigma=1$, il valore è $\approx 0.68$.
3. Capacità Multi-Segnale (Proposizione 2):
   • Se si memorizzano $K$ invarianti di sicurezza nello stesso vettore, la fidelità di recupero degrada come $\approx \sqrt{1/(K+1)}$.
   • Questo permette di calcolare a priori quanti vincoli di sicurezza possono essere gestiti simultaneamente mantenendo una recuperabilità affidabile.
4. Metrica di Deriva Continua:
   • Il protocollo fornisce una metrica continua (similarità coseno pre-ripristino) che indica quando è necessario re-iniettare le istruzioni, basandosi sul contenuto effettivo del contesto e non su un timer fisso.

4. Risultati Sperimentali

Validazione Monte Carlo (Livello di Segnale)

• Setup: 1.000 trial indipendenti con vettori bipolari ($D=10.000$).
• Risultato: La fidelità media di recupero è stata 0.7072 (deviazione standard 0.0036), confermando la convergenza al limite teorico di $1/\sqrt{2}$.
• Robustezza: Il recupero è stato testato contro tre tipi di rumore (inondazione informativa, prompt avversariali, distrazione semantica). In tutti i casi, dopo la restaurazione, la similarità convergeva a ~0.71, dimostrando l'indipendenza dal contenuto del rumore.
• Confronto: HIS mantiene una fidelità stabile (~0.71) indipendentemente dalla lunghezza del contesto, mentre strategie come il "re-prompting" periodico o il RAG simulato degradano all'aumentare del rumore.

Esperimento Comportamentale Pilot (Livello LLM)

• Setup: 4 LLM open-source (2B, 3B, 7B parametri), 720 trial totali, 30 turni di conversazione ciascuno.
• Risultati:
  • Modelli 2B-3B: L'iniezione di sicurezza tramite HIS ha migliorato l'aderenza alla sicurezza rispetto a nessun intervento (es. Gemma-2 2B: +5.5 punti percentuali, $p_{uncorr}=0.013$).
  • Confronto con Timer: Non è stata trovata una differenza statisticamente significativa tra HIS e un timer a frequenza abbinata (a causa della bassa potenza statistica del pilot, $n=30$). Tuttavia, HIS offre il vantaggio teorico di adattarsi al contenuto.
  • Modelli 7B: Tutti i modelli hanno raggiunto un livello di sicurezza "a soffitto" (≥0.993) senza intervento esterno, indicando che i modelli allineati su larga scala hanno meno bisogno di questi meccanismi esterni.

5. Significato e Implicazioni

• Sicurezza Progettuale (Design-Time Safety): HIS sposta la valutazione dei limiti di capacità e robustezza dalla fase di deployment empirico alla fase di progettazione teorica. Un ingegnere può calcolare esattamente quanti vincoli di sicurezza può gestire un sistema prima di scrivere una riga di codice.
• Complementarità: HIS non sostituisce l'allineamento del modello (RLHF), ma agisce come un meccanismo di recupero esterno che garantisce che le istruzioni di sicurezza non vengano "dimenticate" a causa della deriva del contesto.
• Limiti:
  • Risolve il problema di memorizzazione e recupero del segnale, ma non garantisce che il modello obbedisca al segnale recuperato (questo dipende dall'attenzione del modello).
  • Richiede una normalizzazione attiva del rumore (scelta di progettazione, non proprietà naturale).
  • La validazione comportamentale attuale è un pilot; sono necessari studi più ampi per confermare il vantaggio rispetto a timer semplici su modelli di frontiera.

In sintesi, il paper introduce un framework matematico rigoroso per la preservazione dei segnali di sicurezza negli LLM, trasformando la gestione del contesto da un'arte empirica in un'ingegneria con garanzie algebriche prevedibili.