Riepilogo Tecnico: AgentSecBench

Enunciato del Problema

Gli agenti basati su Modelli Linguistici di Grandi Dimensioni (LLM) integrano istruzioni attendibili, record recuperati e osservazioni degli strumenti in un unico canale generativo. Questa scelta architetturale confonde il flusso dei dati con l'autorità: stringhe non attendibili (ad esempio, documenti recuperati o output degli strumenti) possono influenzare risposte contenenti segreti o proposte di azione, anche quando nessuna politica applicativa autorizza tale influenza. A differenza dei programmi convenzionali, dove i sistemi di tipi e i controlli di accesso impongono la distinzione tra istruzione e dati, gli agenti LLM spesso si affidano al testo all'interno del prompt di sistema per definire questi confini. Il documento identifica un divario critico: mentre il testo del prompt può descrivere un confine di sicurezza, non lo impone intrinsecamente. Di conseguenza, un avversario che controlla osservazioni non attendibili può aggirare i vincoli di politica, portando a iniezioni di prompt, fughe di dati privati e utilizzo non autorizzato di strumenti.

Metodologia

Il documento introduce AgentSecBench, un'istanza empirica di un framework formale di sicurezza progettato per misurare e distinguere tra annotazione del prompt e confini di sicurezza imposti.

Framework Formale

Gli autori definiscono la non interferenza dall'intento all'esecuzione con fughe consentite. Il concetto fondamentale coinvolge tre "giochi" che condividono una struttura crittografica: un avversario seleziona un'osservazione non attendibile, una difesa trasforma il canale osservabile e un distinguitore valuta un evento di output non autorizzato.

1. Gioco di Integrità dell'Istruzione: Verifica se un'istruzione avversaria incorporata in un documento può sovrascrivere una richiesta benigna dell'utente.
2. Gioco di Riservatezza del Recupero: Verifica se un segreto (canarino) assegnato a un tenant al di fuori dell'ambito di autorizzazione del chiamante può essere trapelato tramite il contesto recuperato.
3. Gioco di Integrità delle Capacità: Verifica se un'osservazione dello strumento può indurre la selezione di un'azione vietata dalla politica dell'utente.

Il framework distingue tra proiezioni di politica (operazioni matematiche che rimuovono caratteristiche non autorizzate dallo spazio di input o di azione) e annotazioni del prompt (avvisi testuali o delimitatori che lasciano i dati non autorizzati visibili al modello).

Design Sperimentale

• Modelli: Gli esperimenti sono stati condotti su Qwen3-0.6B e Qwen3-1.7B.
• Difese: Sono state valutate sei classi di difesa:
  1. Nessuna difesa (baseline).
  2. Indurimento dei delimitatori (annotazione del prompt).
  3. Filtraggio tramite classificatore (corrispondenza di pattern pre-generazione).
  4. Attivazione RAG consapevole della provenienza (proiezione del contesto di recupero).
  5. Attivazione degli strumenti con privilegio minimo (proiezione degli output degli strumenti).
  6. Stack combinato (composizione delle precedenti).
• Metriche:
  • Vantaggio Avversario ($\widehat{Adv}$): La differenza nei tassi di violazione tra controlli avversari e controlli benigni accoppiati.
  • Chiusura del Canale ($\widehat{C}$): Un indicatore binario che misura se il marcatore o la capacità non autorizzata designata è stata rimossa dall'input prima della generazione.
  • Utilità Benigna: Un proxy lessicale per il completamento del compito su input benigni.
• Protocollo: La valutazione utilizza distinguitori a corrispondenza esatta (ad esempio, stringhe canarino specifiche come BETA CANARY 0000 o token di azione come CALL SEND EXTERNAL EMAIL 0000) per garantire una verità fondamentale inequivocabile. Il benchmark evita giudici basati su LLM per evitare di introdurre ulteriore varianza dipendente dal modello.

Contributi Chiave

1. Definizione Formale: Definizione della non interferenza dall'intento all'esecuzione con fughe consentite per agenti che combinano istruzioni attendibili con osservazioni non attendibili.
2. Distinzione di Sicurezza: Separazione esplicita tra istruzioni a livello di testo (annotazioni del prompt) e confini di sicurezza imposti (proiezione della provenienza e restrizione delle capacità). Il documento sostiene che l'annotazione si basa sulla conformità del modello, mentre l'imposizione rimuove il canale avversario.
3. Tre Giochi di Sicurezza: Istanza dell'isolamento di istruzioni, segreti e capacità come proiezioni di politica, fornendo stimatori per il vantaggio avversario, la fuga RAG e la chiusura del canale.
4. Traccia di Valutazione: Implementazione di un sistema di valutazione che registra sia gli eventi di esito che la specifica classe di imposizione che ha prodotto il contesto difeso, consentendo la disarticolazione della resistenza comportamentale dalla effettiva chiusura del canale.
5. Analisi Empirica: Collegamento del rischio residuo osservato al fatto che un simbolo o una capacità non autorizzata sia stata rimossa prima della generazione, dimostrando che la riduzione del rischio non implica sempre la chiusura del canale.

Risultati

La valutazione di 576 esecuzioni (su 3 giochi, 6 difese, 2 modelli) ha prodotto le seguenti intuizioni:

• Chiusura del Canale vs Vantaggio: La difesa Combinata ha raggiunto il 100% di chiusura del canale e lo 0% di vantaggio avversario. Al contrario, l'indurimento dei delimitatori (annotazione del prompt) ha raggiunto lo 0% di chiusura del canale ma ha ridotto il vantaggio a 0,438 (leggermente superiore alla baseline di 0,375).
• Efficacia della Difesa:
  • L'attivazione consapevole della provenienza ha chiuso con successo il canale di recupero per il gioco della riservatezza (0% di fughe) ma non è riuscita a chiudere il canale delle capacità nel gioco degli strumenti.
  • L'attivazione con privilegio minimo ha chiuso il canale delle capacità (0% di violazioni) ma non ha influenzato le fughe di recupero.
  • Il filtraggio ha raggiunto una chiusura parziale (54,2%) e ha ridotto il vantaggio a 0,042.
• Interpretazione: Una difesa può ridurre il tasso di successo dell'attacco osservato (ASR) lasciando aperto il canale avversario (affidandosi al modello per ignorare l'input). Al contrario, una difesa che chiude il canale (rimuovendo la caratteristica non autorizzata) fornisce una garanzia più forte e imponibile, sebbene possa comunque richiedere una validazione post-generazione per prevenire l'invenzione da parte del modello dell'obiettivo vietato.

Significato e Affermazioni

Il documento afferma che AgentSecBench fornisce un metodo di valutazione orientato alla sicurezza che sposta il focus dal ranking dei template di prompt alla verifica dell'imposizione dei confini di sicurezza.

• Annotazione vs Imposizione: Il contributo principale è la dimostrazione che il testo del prompt può descrivere un confine, ma solo la proiezione della provenienza, la restrizione delle capacità e la validazione dell'output possono imporlo.
• Chiusura Misurabile: Il framework introduce la "chiusura del canale" come variabile misurabile. Ciò permette ai ricercatori di distinguere tra una difesa che rimuove con successo un'osservazione non autorizzata (imposizione) e una che semplicemente riduce la probabilità che il modello agisca su di essa (annotazione).
• Affermazioni Modeste: Gli autori dichiarano esplicitamente che gli esperimenti con marcatori esatti sono "un'istanza osservabile" e non rivendicano una sicurezza semantica esaustiva. L'uso di marcatori esatti (canarini) funge da testimonianza sufficiente per la violazione della politica, ma sottostima le violazioni semantiche (ad esempio, segreti parafrasati). I risultati stabiliscono l'insicurezza per i giochi specifici testati; le non-violazioni non certificano una non-interferenza illimitata.

In conclusione, il documento sostiene che la progettazione di agenti sicuri richiede una proiezione esplicita delle osservazioni e una validazione delle capacità insieme alle istruzioni in linguaggio naturale, piuttosto che affidarsi alle sole istruzioni per definire il perimetro di sicurezza.