Riepilogo Tecnico: Caught in the Act(ivation)

Definizione del Problema

Gli agenti basati su Large Language Model (LLM) operano frequentemente combinando un contesto fidato (che contiene credenziali sensibili come chiavi API o password) con contenuti recuperati non fidati all'interno di una singola finestra di contesto. Questa architettura crea una vulnerabilità all'Iniezione di Prompt Indiretta (IPI), in cui un payload avversario nel contenuto non fidato può reindirizzare l'agente per esfiltrare le credenziali.

Le difese esistenti operano principalmente a livello di testo:

• I filtri di input esaminano il contenuto non fidato prima che raggiunga il modello.
• I monitor di output scansionano il testo generato alla ricerca di pattern di credenziali.

Questi approcci soffrono di limitazioni strutturali: la rilevazione a livello di output può essere elusa tramite codifiche (Base64, Unicode), parafrasi o perdite a basso tasso distribuite su più turni di conversazione. La rilevazione a livello di input fatica con il problema della generalizzazione delle formulazioni avversarie. Il documento sostiene che l'esfiltrazione di credenziali richieda il monitoraggio a tre livelli distinti: accesso interno al modello, credenziali canarino piantate e perdita cumulativa della conversazione.

Metodologia: L'Agentic Immune System (AIS)

Gli autori propongono AIS, un prototipo di ricerca che integra tre meccanismi di difesa complementari:

1. CIFT: Rilevamento dell'Attivazione Pre-Output

• Obiettivo: Rilevare comportamenti di ricerca di credenziali prima che venga emesso qualsiasi token di output, superando la necessità di analizzare il testo finale.
• Meccanismo:
  • Il sistema registra hook forward sugli ultimi $K$ layer del transformer (default $K = \lfloor 0.25 \cdot L_{total} \rfloor$).
  • Invece di analizzare posizioni statiche delle credenziali (che sono causalmente mascherate dalle query a valle nei modelli decoder-only), CIFT aggrega gli stati nascosti in posizioni di readout ($R_t$) che si verificano dopo sia il contesto segreto che la query/payload corrente.
  • Calcola un Causal Flow Score (CFS) utilizzando una deviazione di Mahalanobis di queste feature aggregate rispetto a un baseline benigno.
  • Un probe non lineare leggero (MLP) mappa il CFS a un logit di rilevamento.
• Vincolo Chiave: Questo metodo richiede l'accesso white-box alle attivazioni del modello.

2. DP-HONEY: Generazione di Honeytoken Calibrati

• Obiettivo: Rilevare tentativi di esfiltrazione piantando credenziali "canarino" che siano statisticamente indistinguibili da quelle reali ma che attivino avvisi se trapelano.
• Meccanismo:
  • Generazione: Gli honeytoken vengono generati utilizzando modelli di caratteri specifici per formato (bigrammi) addestrati con Differential Privacy (DP) (rumore di Laplace aggiunto alle tabelle di conteggio) per evitare che gli attaccanti possano distinguerli in base ad artefatti statistici.
  • Rilevamento: Un rilevatore a livello di testo scansiona gli output alla ricerca di questi canarini.
  • Calibrazione: La soglia di rilevamento è determinata tramite Split Conformal Prediction per garantire un tasso di falsi positivi controllato senza la necessità di una regolazione manuale, assumendo l'scambiabilità.
• Logica: Se un attaccante non può distinguere le credenziali reali dagli honeytoken, la probabilità di attivare un canarino è proporzionale al rapporto tra gli honeytoken e il totale delle credenziali visibili.

3. NIMBUS: Contabilità della Perdita Cumulativa

• Obiettivo: Rilevare l'esfiltrazione multi-turno in cui un attaccante rilascia piccole quantità di informazioni (ad esempio, un carattere per turno) che individualmente appaiono innocue ma che cumulativamente rivelano un segreto.
• Meccanismo:
  • Tratta l'esfiltrazione multi-turno come un problema di flusso di informazioni.
  • Utilizza un critico InfoNCE per stimare un punteggio di perdita per turno (in bit) basato sull'informazione mutua tra l'output e il contesto segreto, condizionato dalla cronologia della conversazione.
  • Mantiene un budget di perdita cumulativa ($\hat{I}_{cum}$). Se lo score accumulato supera una soglia, il sistema attiva azioni (avviso, sanificazione o blocco).
• Limitazione: Lo stimatore fornisce un segnale pratico (un limite inferiore appreso) piuttosto che un limite superiore formale sulla rilascio di informazioni.

Contributi Chiave

1. Studio Empirico dei Probe di Attivazione: Ha dimostrato che le feature di attivazione negli LLM open-weight possono separare i prompt benigni dai prompt di ricerca credenziali con alta accuratezza, anche sotto trasformazioni di codifica tenute fuori dal set (held-out), senza fare affidamento su posizioni statiche dei segreti.
2. Honeytoken con Disciplina Statistica: Ha adattato la modellazione differenzialmente privata e la calibrazione conforme alla generazione e al rilevamento degli honeytoken, chiarendo le garanzie e i limiti statistici dei canarini.
3. Monitor della Perdita Cumulativa: Ha introdotto un prototipo (NIMBUS) per tracciare la perdita stimata attraverso i turni di conversazione, mostrando come possa rilevare attacchi che i detector per singolo turno mancano.

Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli open-weight (Qwen-2.5, Llama-3.1, Mistral-7B) e un piccolo benchmark sintetico multi-turno interno.

• Performance di CIFT: Su un set a turno singolo tenuto fuori, CIFT ha raggiunto un AUROC di 0.998 e un F1 di 0.990 su Qwen-7B, superando significativamente i baseline a livello di testo (es. Substring, Fuzzy, Semantic Embedding) che degradavano sotto varie codifiche (Base64, Hex, ROT13, ecc.).
• Performance di DP-HONEY: Ha raggiunto precisione e recall perfette in un piccolo set di scenari. La calibrazione conforme ha rimoso la necessità di regolazione manuale della soglia mantenendo una copertura di 0.998.
• Performance di NIMBUS: Su una suite sintetica di 50 conversazioni (20 turni ciascuna), NIMBUS ha rilevato il 90% degli attacchi a basso tasso, mentre i baseline per turno (come LlamaGuard) hanno rilevato solo il 12%. NIMBUS ha catturato con successo attacchi in cui i singoli turni rimanevano al di sotto delle soglie di rilevamento.
• Sistema Integrato: L'intera pipeline AIS (combinando tutti e tre) ha raggiunto un tasso di rilevamento di 0.94 con un Tasso di Falsi Positivi (FPR) di 0.018 sui benchmark a turno singolo.

Significato e Dichiarazioni

Il documento posiziona questi risultati come preliminari ma indicativi di un necessario cambiamento nel design della sicurezza degli agenti.

• Modestia nelle Dichiarazioni: Gli autori dichiarano esplicitamente che AIS è un prototipo di ricerca, non una difesa pronta per la distribuzione. Il benchmark multi-turno è piccolo e sintetico; il metodo di attivazione richiede l'accesso white-box; e NIMBUS fornisce un segnale pratico piuttosto che un limite di sicurezza formale.
• Direzione del Design: Il contributo primario è stabilire una direzione di ricerca suggerendo che una difesa efficace contro l'esfiltrazione di credenziali debba combinare:
  1. Monitoraggio pre-output (stati interni del modello).
  2. Rilevamento di canarini calibrati (honeytoken statisticamente disciplinati).
  3. Contabilità temporale della perdita (flusso di informazione cumulativo).
• Limitazioni Riconosciute: Il sistema non gestisce attualmente le credenziali passate attraverso argomenti di chiamata a strumenti strutturati (un importante punto cieco), si affida ad assunzioni di scambiabilità per la calibrazione e richiede l'accesso white-box per la sua componente più efficace (CIFT).

Il documento conclude che, sebbene gli attuali filtri a livello di testo siano insufficienti contro esfiltrazioni sofisticate, multi-turno o codificate, un approccio multi-livello che monitora l'accesso interno, i canarini piantati e il flusso cumulativo offre una strada promettente per mettere in sicurezza gli agenti LLM.