Sintesi Tecnica: Firme di Traiettoria Forense per il Rilevamento del Avvelenamento della Memoria degli Agenti

Definizione del Problema

Il documento affronta la sfida del rilevamento di attacchi di avvelenamento della memoria persistente nei Large Language Model (LLM) agent. A differenza dell'EDR (Endpoint Detection and Response) classico, che analizza le tracce dei processi, la sicurezza degli agenti LLM manca di metodologie consolidate per identificare specifici canali di attacco utilizzando solo i log osservabili. Le difese esistenti richiedono spesso l'accesso agli store di memoria (es. MemLineage), agli interni white-box del modello (es. analisi delle attivazioni) o a livelli di recupero pre-iniezione (es. RAG Sanitizer), imponendo requisiti infrastrutturali che molti operatori non possono soddisfare.

La minaccia specifica modellata è un Attacco a Trigger Ritardato (DTA): un avversario inietta un'istruzione malevola tramite un documento recuperato via RAG, che l'agente memorizza nella memoria persistente. In una sessione successiva, l'agente recupera questa regola memorizzata ed esegue un'azione malevola (es. esfiltrazione di email). Il vincolo del rilevatore è rigoroso: osserva solo la sequenza di chiamate agli strumenti (tool-call) e i relativi timestamp, senza accesso ai contenuti della memoria, ai pesi del modello o ai messaggi dell'utente.

Metodologia

Modello di Minaccia e Assunzioni

Lo studio assume un'architettura in cui la memoria persistente è accessata esclusivamente attraverso operazioni di recupero osservabili (chiamate agli strumenti). Le informazioni di routing dell'attaccante sono memorizzate come valore nella memoria, richiedendo una specifica chiamata allo strumento recall fact per recuperare l'indirizzo di destinazione prima che possa essere eseguita una chiamata send email. Ciò contrasta con gli attacchi di prompt-injection, in cui la regola è incorporata direttamente nel prompt dell'utente.

Dataset

L'valutazione utilizza 2.520 esecuzioni etichettate derivanti da un esperimento fattoriale che copre:

• 9 Modelli: Da 7B a 120B di parametri (famiglie Qwen, GLM, GPT-OSS).
• 7 Condizioni di Difesa: Includendo Minimizer, Sanitizer, RAG Sanitizer, Prompt Hardening e Memory Sandbox.
• Etichette: 1.919 successi di attacco (l'esfiltrazione è avvenuta) e 601 sessioni non esfiltrate (avvelenate ma difese). Il classificatore distingue tra esecuzioni di attacco riuscite e non riuscite all'interno del braccio DTA.

Ingegneria delle Caratteristiche (Feature Engineering)

Le caratteristiche vengono estratte esclusivamente dalla sessione di trigger (S4) per evitare la fuga di etichette (label leakage). Lo studio definisce 19 caratteristiche di traiettoria basate sull'ordine e sul conteggio delle chiamate agli strumenti:

• Conteggi (Counts): Frequenze di chiamata grezze (es. recall count, send count).
• Strutturali: Indicatori binari come recall before send (si è verificato un recupero prima della prima invio?) e send without recall (invio senza recupero).
• Transizioni: Conteggi di bigrammi di chiamate consecutive (es. list poi recall, draft poi send).
• Punti di Ingresso: L'identità del primo strumento chiamato nella sessione.

Classificazione e Valutazione

Tre classificatori (Regressione Logistica, Random Forest, Gradient Boosted Trees) sono stati addestrati utilizzando una validazione incrociata k-fold stratificata. La metrica primaria è il Recall (minimizzare i falsi negativi/attacchi non rilevati), con l'AUC-ROC come metrica secondaria. La valutazione include test di hold-out leave-one-model-out e sonde su modelli frontier (GPT-4.1).

Risultati Chiave e Conclusioni

1. Scoperta di un Invariante Comportamentale

La scoperta centrale è un invariante comportamentale meccanicamente forzato: gli attacchi di avvelenamento della memoria tramite canale che hanno successo devono mostrare una chiamata recall fact prima della chiamata send email. Questa non è una correlazione statistica, ma una necessità strutturale; senza recuperare l'indirizzo di routing memorizzato, l'agente non può completare l'esfiltrazione.

• Prestazioni della Regola Semplice: Un rilevatore basato esclusivamente sulla transizione recall before send raggiunge un AUC = 0,9563.
• Robustezza Meccanicistica: Sopprimere questa transizione interrompe l'attacco, poiché l'agente non può recuperare l'indirizzo di destinazione.

2. Firma Sovradeterminata

L'attacco lascia una firma distribuita su molteplici canali comportamentali indipendenti, non solo sul singolo evento di recupero.

• Prestazioni del Classificatore Completo: Una Random Forest che utilizza tutti i 19 parametri raggiunge un AUC = 0,9904 (BCa 95% CI [0,987, 0,993]) con un Recall di 0,9838.
• Studio di Ablazione: Rimuovendo tutte le caratteristiche relative al recupero (9 caratteristiche), l'AUC rimane invariato a 0,9904. Ciò conferma che la firma è sovradeterminata; la dipendenza dell'attacco dal recupero delle informazioni innesca una cascata di cambiamenti comportamentali a valle (es. conteggi di draft, conteggi di invio, pattern di transizione) che sono rilevabili anche senza le esplicite caratteristiche di recupero.

3. Generalizzazione tra i Modelli

L'invariante si generalizza tra le famiglie di modelli e le scale di parametri (7B–120B):

• Validazione Hold-Out: Su 6 dei 9 modelli tenuti fuori dal training, il classificatore ha raggiunto un AUC = 1,000.
• Eccezioni:
  • qwq:32b (AUC=0,000): Un fallimento di tipo "implicit-bypass" dove il modello utilizza un fallback RAG senza chiamare recall fact, bypassando interamente il canale di memoria.
  • qwen2.5:14b (AUC=0,083): Un'inversione distributiva dove le sessioni non-attacco chiamano aggressivamente il recupero per verificare dati benigni, imitando la firma dell'attacco (sebbene il Recall rimanga 1,000).
  • qwen3.5:122b (AUC=0,750): Ambiguità di etichetta dovuta a sessioni "sleeper" dove il modello memorizza ma rifiuta di eseguire la regola.
• Modelli Frontier: Il classificatore, addestrato solo su modelli open-source, ha ottenuto un Recall = 1,000 sulle sonde GPT-4.1 senza necessità di riaddestramento.

4. Confini di Deployment ed Evasione

• Rilevamento Prefix-Only: Un classificatore strettamente basato sul prefisso (che opera prima dell'evento send) raggiunge un AUC = 0,934, suggerendo che il blocco in tempo reale è fattibile con una degradazione moderata.
• Confine di Evasione: Gli attacchi di prompt-injection (dove la regola è nel prompt, non nella memoria) producono una traiettoria distinta con recall before send = 0. Il rilevatore assegna loro correttamente un punteggio basso (media 0,541), consentendo ai responsabili degli incidenti di distinguere gli attacchi di avvelenamento della memoria dagli attacchi di prompt-injection usando solo i log delle chiamate agli strumenti.
• Falsi Negativi: Tutti i 31 falsi negativi sono originati dalla condizione di difesa Memory Sandbox (dove recall fact viene rimosso dallo schema degli strumenti) o dall'architettura specifica di bypass implicito di qwq:32b.

Significato e Rivendicazioni

Il documento afferma che il contributo principale è la scoperta empirica di un invariante comportamentale stabile e sovradeterminato nelle traiettorie di esecuzione degli agenti, piuttosto che l'architettura del classificatore stesso.

• Utilità Forense: Il rilevatore opera come un "IDS dello spazio degli stati" per gli attacchi tramite canale di memoria, richiedendo solo i log delle chiamate agli strumenti (un livello di deployment inferiore rispetto all'ispezione della memoria o degli interni del modello).
• Attribuzione del Canale: Permette di distinguere tra attacchi di avvelenamento della memoria e attacchi di prompt-injection basandosi esclusivamente sui log delle operazioni.
• Robustezza Strutturale: Il rilevamento si basa su una caratteristica (recall before send) che è meccanicamente forzata dalla dipendenza dal recupero delle informazioni dell'attacco. Un avversario non può sopprimere questa caratteristica senza rompere l'attacco o cambiare il vettore di attacco in prompt-injection.
• Generalizzabilità: La firma si trasferisce tra le famiglie di modelli e le scale di parametri senza riaddestramento, indicando che riflette il meccanismo dell'attacco piuttosto che comportamenti specifici del modello.

Gli autori posizionano questo lavoro come uno strumento di audit forense che integra i meccanismi di prevenzione, fornendo rilevamento ad alta confidenza e attribuzione per incidenti in cui le difese di prevenzione (come Memory Sandbox) potrebbero fallire o dove l'attacco è già avvenuto.