Riepilogo Tecnico: AgentRedBench e AgentRedGuard

1. Definizione del Problema

Il documento affronta l'iniezione di prompt indiretta negli agenti basati su Large Language Model (LLM) che operano tramite integrazioni di tool-use (ad es. Gmail, Salesforce, Jira). A differenza della tradizionale iniezione di prompt, dove l'utente inserisce direttamente testo malevolo, l'iniezione indiretta si verifica quando un agente legge contenuti da un'integrazione di terze parti (un'operazione di "lettura") che un avversario esterno ha avvelenato. L'agente esegue quindi azioni ("scritture") basate su questo contenuto non attendibile, rischiando di esporre dati o eseguire operazioni non autorizzate.

Gli autori sostengono che i benchmark e le difese esistenti siano insufficienti per tre ragioni:

1. Copertura Limitata: I benchmark esistenti coprono solo un manipolo di integrazioni, mentre gli agenti in produzione interagiscono con un vasto pool di strumenti SaaS distinti.
2. Contenuto di Attacco Statico: La maggior parte dei benchmark riproduce payload di attacco fissi. Non riescono a catturare il comportamento dinamico dell'attaccante, in cui il payload viene adattato per ogni esecuzione in base allo schema specifico dell'integrazione e al feedback ricevuto.
3. Disallineamento dei Dati di Addestramento: Le difese open-source (ad es. Llama Guard, WildGuard) sono addestrate su dialoghi in stile chat, non sulla specifica distribuzione di contenuti di risposta dei tool che gli agenti consumano effettivamente. Ciò crea un punto cieco in cui le difese non riescono a rilevare pattern avversari incorporati nelle risposte delle API.

2. Metodologia

AgentRedBench (Il Benchmark)

Gli autori introducono AgentRedBench, un benchmark di redteaming dinamico guidato da LLM, progettato per misurare queste minacce.

• Ambito: Copre 215 scenari sottili di "autorizzazione sotto-specificata" attraverso 24 integrazioni enterprise suddivise in nove famiglie funzionali (ad es. comunicazioni, CRM, HRIS).
• Tassonomia dell'Attacco: Il benchmark si concentra su attacchi che sfruttano il confine dell'autorizzazione dell'utente piuttosto che su espliciti comandi "ignora le istruzioni precedenti". Definisce cinque tipi di attacco:
  • Tipi Attivi: output_channel_url_relay (inserimento di URL dell'attaccante in riassunti), destination_hijack (sostituzione dei destinatari delle email) e content_hijack (sostituzione dei corpi dei messaggi).
  • Tipi di Delega di Confine: tool_argument_hijack e tool_family_creep (tentativo di aggiungere argomenti o chiamare tool adiacenti), che fungono da baseline per ciò che i modelli riescono a resistere con successo.
• Generazione Dinamica: A differenza dei benchmark statici, il contenuto dell'attacco è generato per ogni esecuzione da un LLM attaccante. L'attaccante è condizionato dallo schema dell'integrazione, dal tipo di attacco specifico e dal feedback di un giudice relativo ai tentativi precedenti. Ciò garantisce che il payload sia personalizzato sulla struttura della risposta del tool specifico.
• Pipeline di Valutazione: Il sistema utilizza un orchestratore per iniettare contenuti avvelenati in stati di integrazione simulati (mock). Un agente target tenta di completare un compito benigno dell'utente. Un LLM judge valuta la traccia per successo (attacco eseguito), successo parziale o fallimento.

AgentRedGuard (La Difesa)

Gli autori propongono AgentRedGuard, un meccanismo di difesa addestrato specificamente sulla distribuzione dei contenuti avversari delle risposte dei tool.

• Architettura: A differenza delle difese basate su LLM, AgentRedGuard è un classificatore di testo fine-tuned (utilizzando un modello MiniLM da 23 milioni di parametri). Gli autori sostengono che il rilevamento al livello di integrazione dipenda dal riconoscimento di firme superficiali (ad es. marcatori di log di audit, pattern di domini specifici) piuttosto che da un profondo ragionamento semantico, rendendo un classificatore leggero più efficiente ed efficace.
• Dati di Addestramento: Il modello è addestrato su un corpus di risposte dei tool avversarie estratte dalle tracce del benchmark, accoppiate con un corpus "hard-negative" benigno derivato da output reali di strumenti enterprise (HRIS, ATS, CRM).
• Strategia di Generalizzazione: Per prevenire la memorizzazione, il set di addestramento esclude quattro integrazioni specifiche (Slack, Linear, Salesforce, Calendar) e tiene da parte specifici tipi di attacco per testare la generalizzazione cross-integrazione e cross-tipo di attacco.

3. Risultati Chiave

Vulnerabilità degli Agenti Senza Difesa

In un panel di otto modelli (Anthropic, OpenAI, Google), l'Attack Success Rate (ASR) senza alcuna difesa è grave:

• Range: L'ASR varia dal 32,1% (Claude Sonnet 4.6) all'81,4% (Gemini 3 Flash).
• Allineamento vs Scala: Il documento nota che la resistenza è guidata dall'addestramento all'allineamento piuttosto che dalla scala del modello. Ad esempio, all'interno di Anthropic, Sonnet 4.6 è significativamente più resistente (32,1%) rispetto a Haiku 4.5 (79,5%), nonostante Haiku sia un modello più piccolo.
• Fallimento delle Baseline: Le difese open-source esistenti (Llama Guard 3, PromptGuard 2, WildGuard, ProtectAI) non riescono a rilevare efficacemente questi attacchi quando applicate al contenuto della risposta dei tool. Ad esempio, PromptGuard 2 ha ottenuto uno 0,00% di True Positive Rate (TPR) sul set di test tenuto da parte, e Llama Guard 3 ha ottenuto solo lo 0,15% di TPR.

Efficacia di AgentRedGuard

AgentRedGuard mitiga significativamente la minaccia mantenendo bassi gli oneri:

• Riduzione dell'ASR: Riduce l'ASR complessivo del panel dal 69,9% al 2,4%.
• Metriche di Performance:
  • True Positive Rate (TPR): 99,75% sui dati tenuti da parte cross-integrazione.
  • False Positive Rate (FPR): 0,37% su un corpus benigno con forma di produzione.
  • Latenza: Aggiunge una mediana di 9,5 ms per ogni risposta del tool su CPU comuni, senza richiedere GPU.
• Generalizzazione: Il modello mantiene alte prestazioni sulle integrazioni su cui non è mai stato addestrato (cross-integrazione) e sui tipi di attacco esclusi dal suo addestramento (cross-attack-type), confermando che apprende marcatori superficiali generalizzabili piuttosto che memorizzare esempi specifici.

4. Significato e Rivendicazioni

Il documento sostiene che AgentRedBench e AgentRedGuard rappresentino un cambiamento necessario nel modo in cui la sicurezza degli agenti viene valutata e difesa:

1. Valutazione Dinamica: Il lavoro dimostra che i benchmark statici sottostimano la minaccia. La generazione di attacchi dinamici, condizionata dallo schema, rivela vulnerabilità che i payload fissi non colgono.
2. Spostamento della Distribuzione (Distribution Shift): Il principale fallimento delle difese esistenti è uno spostamento della distribuzione; esse sono addestrate su dati di chat, non su dati di risposta dei tool. AgentRedGuard dimostra che un classificatore addestrato specificamente sulla distribuzione del livello di integrazione può rilevare questi attacchi sottili con un'accuratezza quasi perfetta.
3. Difesa Pratica: Utilizzando un classificatore leggero invece di un grande LLM, la difesa è implementabile con latenza e costi minimi, rendendola valida per l'intercettazione in tempo reale nel ciclo di chiamata dei tool.
4. Scienza Aperta: Gli autori rilasciano apertamente il codice sorgente, gli schemi di integrazione e i pesi del modello AgentRedGuard. Tuttavia, per preservare la validità del benchmark nel tempo, il set di scenari canonici è protetto attraverso un canale mediato dai manutentori per evitare che gli scenari entrino nei corpora di addestramento (il che renderebbe le metriche ASR prive di senso a causa della memorizzazione).

Il documento conclude che, sebbene l'addestramento all'allineamento fornisca una base di resistenza (come visto in Sonnet 4.6), le difese al tempo dell'inferenza come AgentRedGuard sono essenziali per l'adozione su larga scala degli agenti LLM in ambienti multi-integrazione non affidabili. La superficie di attacco a catena multi-integrazione rimane una frontiera aperta per la ricerca futura.