🤖 AI

Can Transformer Memory Be Corrupted? Investigating Cache-Side Vulnerabilities in Large Language Models

Questo articolo introduce il Malicious Token Injection (MTI), un framework che dimostra come la perturbazione della cache key-value durante l'inferenza possa corrompere sistematicamente i modelli linguistici transformer, rivelando l'integrità della cache come una vulnerabilità critica e precedentemente trascurata nella sicurezza dei modelli linguistici di grandi dimensioni (LLM).

Autori originali: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Pubblicato 2026-02-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Elias Hossain, Swayamjit Saha, Somshubhra Roy, Ravi Prasad

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Grandi Dimensioni (LLM) come uno studente brillante e veloce nel pensare che sta sostenendo un esame lungo. Per rispondere a una domanda, questo studente non guarda solo la domanda attuale; deve ricordare tutto ciò che ha scritto finora per mantenere la coerenza della sua risposta. Nel mondo dell'IA, questa "memoria" è chiamata KV Cache (Key-Value Cache). È un blocco note digitale dove il modello conserva le parti più importanti della conversazione, così da non dover rileggere l'intero libro ogni volta che vuole scrivere la parola successiva.

Questo articolo, intitolato "Can Transformer Memory Be Corrupted?", pone una domanda spaventosa ma semplice: Cosa succede se qualcuno scarabocchia segretamente su quel blocco note mentre lo studente sta sostenendo l'esame?

Ecco la scomposizione delle loro scoperte utilizzando analogie quotidiane:

1. La debolezza nascosta: Il blocco note "invisibile"

Di solito, ci preoccupiamo che gli hacker cambino i libri di testo dello studente (i dati di addestramento del modello) o lo ingannino con una domanda strana (prompt injection). Ma questo articolo ha scoperto un modo diverso, più subdolo, per rompere il sistema.

I ricercatori si sono resi conto che il "blocco note" (la KV Cache) è spesso lasciato senza protezione. Anche se i libri di testo e le domande d'esame sono blindati, un attaccante che riesce a entrare nel computer che esegue il modello può modificare sottilmente i numeri su quel blocco note.

L'analogia: Immaginate uno chef che cucina uno stufato complesso. La ricetta è sicura e gli ingredienti sono freschi. Ma se un sabotatore si intrufola e scambia silenziosamente un pizzico di sale con dello zucchero mentre lo chef sta assaggiando la pentola, l'intero piatto potrebbe andare storto, anche se lo chef non ha cambiato la ricetta o gli ingredienti.

2. L'attacco: "Malicious Token Injection" (MTI)

Gli autori hanno creato uno strumento chiamato MTI V.1 per testare questo. Non hanno rotto il modello; hanno solo "spinto" la memoria. Hanno provato tre modi principali per disturbare il blocco note:

La spinta "Statica" (Rumore Gaussiano): Aggiungere un po' di statica casuale o disturbo alla memoria, come alzare leggermente il volume di una radio finché le parole non diventano confuse.
L' "Erogatore" (Azzeramento): Cancellare interamente parti specifiche della memoria, come usare un pennarello rosso su una pagina di appunti.
La "Torsione" (Rotazione): Girare la memoria di lato. L'informazione è ancora lì, ma punta nella direzione sbagliata, confondendo la comprensione del modello.

3. I Risultati: Piccoli tocchi, grandi disastri

I ricercatori hanno testato questo su popolari modelli di IA (come GPT-2 e LLaMA-2). Hanno scoperto che anche piccoli cambiamenti, quasi invisibili, alla memoria causavano grandi problemi:

Confusione: Il modello ha iniziato a indovinare parole che non avrebbe dovuto. È diventato meno sicuro di sé e più propenso a inventare fatti (allucinazioni).
Fallimento del compito:
- Compiti semplici: Quando gli veniva chiesto di indovinare se una frase fosse felice o triste, il modello si confondeva e iniziava a sbagliare.
- Compiti complessi: Quando gli veniva chiesto di trovare un fatto specifico in un lungo documento (come una domanda di cultura generale), il modello falliva completamente. Era come se lo studente avesse dimenticato come leggere la domanda.
- Il "Test dell'Agente": Quando l'IA agiva come un robot che cerca di pianificare una serie di passaggi (come prenotare un volo), la corruzione della memoria la faceva perdere la strada e scegliere le azioni sbagliate.

4. Il "Perché": Come si diffonde

L'articolo spiega la matematica dietro questo in modo semplice: l'IA decide quale parola dire dopo guardando la sua memoria. Se la memoria è leggermente errata, l'attenzione dell'IA si sposta.

L'analogia: Immaginate di cercare un amico in una stanza affollata. Guardate una mappa (la memoria). Se qualcuno disegna una piccola linea sbagliata sulla mappa, potreste guardare nell'angolo sbagliato. Una volta che guardate nell'angolo sbagliato, tutto il vostro piano per il resto della serata cade a pezzi. L'articolo dimostra che queste "piccole linee" sulla mappa possono matematicamente garantire che l'attenzione dell'IA venga deviata.

5. Possiamo ripararlo? (Le Difese)

I ricercatori hanno provato alcuni interventi rapidi per vedere se potevano fermare l'attacco:

Pulire il blocco note: Cancellare periodicamente la memoria.
Randomizzare gli appunti: Nascondere casualmente parti della memoria per vedere se il modello riesce ancora a indovinare.
Levigare il rumore: Fare la media dei numeri per rimuovere la "statica".

Il Verdetto: Questi interventi hanno aiutato un po', ma non sono stati una cura magica. Hanno fermato il peggior danno, ma se l'attacco era forte o continuava a verificarsi, il modello falliva comunque. È come mettere un cerotto su un taglio; aiuta, ma non ferma il coltello dal tagliare più a fondo se l'attaccante continua a provare.

Il Punto Fondamentale

Questo articolo non dice che l'IA sia rotta o che non dobbiate usarla. Invece, suona un campanello d'allarme per le persone che costruiscono e proteggono i sistemi di IA.

Il Messaggio Principale: Siamo stati molto bravi a proteggere il "cervello" dell'IA (i dati di addestramento) e la sua "bocca" (i prompt di input), ma abbiamo ampiamente ignorato la sua "memoria a breve termine" (la KV Cache). Se un attaccante riesce a entrare nel computer che esegue l'IA, può corrompere quella memoria e rendere l'IA inaffidabile, confusa o pericolosa, anche senza cambiare una singola riga di codice.

Gli autori chiedono un nuovo tipo di sicurezza che tratti questo "blocco note" come una zona critica di sicurezza che deve essere difesa con la stessa severità del resto del sistema.

Sintesi Tecnica: Investigazione delle Vulnerabilità del Cache nelle Grandi Modellazioni di Linguaggio

Definizione del Problema
Sebbene i Large Language Models (LLM) siano sempre più protetti attraverso salvaguardie a livello di prompt e allineamento durante l'addestramento, il loro stato interno durante l'inferenza rimane una superficie di attacco poco esaminata. Nello specifico, la cache Key-Value (KV), che memorizza le rappresentazioni intermedie dell'attenzione per accelerare la decodifica autoregressiva, introduce una memoria interna persistente che influenza direttamente le predizioni future. A differenza del prompt injection (che opera all'interfaccia di input) o del weight poisoning (che richiede l'accesso durante l'addestramento), le perturbazioni lato cache operano interamente dopo la tokenizzazione e l'embedding. Questi attacchi aggirano i filtri a livello di input e i controlli di allineamento, modificando le chiavi memorizzate in cache, potenzialmente influenzando le distribuzioni di attenzione e propagando errori nelle predizioni a valle senza alterare i parametri del modello o i prompt di input.

Metodologia: Il Framework MTI V.1
Per investigare questa vulnerabilità, gli autori introducono MTI V.1 (Malicious Token Injection), un framework modulare che formalizza le perturbazioni lato cache. Il framework tratta la cache KV come un confine di robustezza distinto e definisce un modello di minaccia in cui un avversario con accesso al tempo di inferenza può perturbare le chiavi in cache in layer e istanti temporali selezionati senza modificare input o pesi.

Il framework caratterizza le perturbazioni lungo tre assi:

Magnitudo della Corruzione: La forza della perturbazione iniettata.
Frequenza di Iniezione: Quanto spesso le perturbazioni vengono applicate durante i passi di decodifica.
Posizionamento del Layer: Quali layer del transformer vengono targetizzati.

Lo studio impiega tre meccanismi di corruzione canonici:

MTI-Gaussian: Inietta rumore stocastico additivo (campionato da una distribuzione Gaussiana) nelle chiavi in cache.
MTI-Zeroing: Rimuove interamente le chiavi in cache, simulando una cancellazione catastrofica.
MTI-Rotation: Applica trasformazioni ortogonali alle chiavi in cache, alterandone l'allineamento angolare con le query pur preservando la magnitudo del vettore.

Inoltre, viene utilizzato empiricamente una variante ottimizzata (Algoritmo 1) per calcolare le perturbazioni che massimizzano un obiettivo avversariale tramite la salita del gradiente, sebbene ciò sia distinto dalle perturbazioni non adattive e a norma limitata utilizzate nell'analisi teorica.

Analisi Teorica
Il documento fornisce un'analisi teorica che limita come le perturbazioni della cache con norma limitata si propagano attraverso i meccanismi di attenzione.

Limite Perturbazione-Logit: La deviazione nei punteggi di attenzione scala linearmente sia con la magnitudo della perturbazione ( $\epsilon$ ) che con la norma della query ( $\|q_t\|_2$ ). La risultante deviazione nei logit non normalizzati è limitata da $\|\Delta z_t\|_2 \leq \|q_t\|_2 \cdot \epsilon$ .
Stabilità Softmax: Sotto assunzioni di logit limitati, la mappatura softmax è Lipschitz continua. Ciò consente di tradurre le deviazioni dei logit in cambiamenti controllati nella distribuzione dell'attenzione e nelle probabilità di output.
L'analisi stabilisce che la corruzione della cache limitata induce deviazioni limitate nelle distribuzioni di attenzione e nei logit del prossimo token, caratterizzando le tendenze di sensibilità nel caso peggiore.

Risultati Sperimentali
Il framework è stato valutato su modelli GPT-2 Medium, LLaMA-2 7B e Gemma-7B su diversi benchmark, inclusi la classificazione del sentiment (SST-2), la risposta estraente a domande (SQuAD, HotpotQA), la sintesi (CNN/DailyMail) e pipeline di ragionamento agentico.

Effetti a Livello di Token: Le perturbazioni della cache inducono spostamenti distribuzionali (misurati tramite divergenza KL) di un ordine di grandezza superiore alla variazione stocastica. Ad esempio, la corruzione basata sulla rotazione su GPT-2 ha prodotto una divergenza KL di 0,57 e un calo del 16,7% nell'accuratezza Top-1.
Degradazione dei Task a Valle: La sensibilità varia in base al task. Mentre SST-2 ha mostrato una robustezza moderata, SQuAD (estrazione di risposte) ha mostrato un fallimento catastrofico, con punteggi F1 crollati da 77,4 a 7,2 sotto identiche perturbazioni. Ciò suggerisce che i task che richiedono un preciso allineamento dei token e un ragionamento a contesto lungo sono altamente sensibili.
Generazione Aumentata dal Recupero (RAG): Le perturbazioni applicate al contesto recuperato hanno degradato significativamente la fedeltà del grounding e aumentato i tassi di allucinazione, indicando che le pipeline RAG dipendono criticamente dall'integrità della cache durante la fase di evidenza.
Pipeline Agentiche: Nei framework ReAct e di tipo AutoGPT, il ragionamento a ciclo chiuso ha mostrato una resilienza parziale a perturbazioni lievi, sebbene tale robustezza fosse limitata a regimi blandi.
Studi di Ablazione: La vulnerabilità è governata dall'interazione tra posizionamento del layer, forza della perturbazione e persistenza temporale. I layer di livello intermedio sono risultati essere costantemente più vulnerabili rispetto ai layer iniziali o profondi. La corruzione continua ha causato una degradazione maggiore rispetto agli schemi intermittenti, indicando che le perturbazioni della cache sono statevoli e si accumulano nel tempo.
Difese: Sono state valutate difese leggere (Cache Reset, Randomizzazione del Dropout Mask, Smoothing dell'Attenzione). Sebbene abbiano preservato l'accuratezza di base sotto perturbazioni lievi con un overhead di runtime minimo, non sono state sufficienti come salvaguardie autonome contro corruzioni persistenti o forti.

Significatività e Rivendicazioni
Il documento sostiene che la corruzione della cache al tempo di inferenza rappresenta una minaccia sistematica alla affidabilità, calibrazione e grounding delle moderne pipeline di LLM. I principali contributi includono:

Formalizzazione di un Modello di Minaccia: Identificazione dell'integrità della cache KV come un confine di robustezza critico e poco esplorato, e formalizzazione della perturbazione lato cache come un modello di minaccia fondato per l'IA affidabile.
Limiti Teorici: Fornitura di limiti teorici che caratterizzano come la corruzione della cache limitata si propaghi alle distribuzioni di attenzione e ai logit di output.
Evidenza Empirica: Dimostrazione del fatto che le perturbazioni della cache inducono spostamenti distribuzionali e fallimenti nei task attraverso la modellazione del linguaggio, il RAG e il ragionamento agentico, anche quando prompt e pesi rimangono invariati.
Utilità Diagnostica: Suggerimento che le perturbazioni controllate della cache possono servire non solo come modello di minaccia, ma anche come strumento diagnostico per analizzare la sensibilità dell'attenzione e la dinamica interna del modello.

Gli autori concludono che, sebbene le difese semplici offrano una mitigazione parziale, sono necessari meccanismi espliciti di integrità della cache o strategie di monitoraggio per un deployment robusto. Il lavoro posiziona l'integrità della cache al tempo di inferenza come un "confine di robustezza di prima classe" per la ricerca futura nell'IA affidabile, sottolineando che questi risultati caratterizzano un confine di robustezza piuttosto che asserire un'esploitabilità universale in tutti gli scenari di deployment.