Sintesi Tecnica: Imparare a iniettare: Prompt Injection automatizzata tramite Reinforcement Learning

Definizione del Problema

L'iniezione di prompt (prompt injection) rappresenta una vulnerabilità critica per gli agenti basati su Large Language Models (LLM), in cui istruzioni avversarie incorporate in contenuti esterni (ad es. email, documenti) dirottano il comportamento dell'agente per eseguire azioni non autorizzate o esfiltrare dati. Sebbene gli attacchi di jailbreak automatizzati siano progrediti, essi si basano sull'ottimizzazione della "compliance" (ad es. la generazione di un prefisso affermativo come "Certamente, posso aiutarti"). Al contrario, l'iniezione di prompt richiede che il modello emetta una specifica chiamata a uno strumento con un corrispondenza esatta dei parametri (ad es. send_email(to="attacker@evil.com")).

Questa distinzione crea una sfida fondamentale di ottimizzazione:

1. Ricompense Discrete e Sparse: Il segnale di successo è binario (0 o 1). Suffix campionati casualmente quasi mai attivano la specifica chiamata allo strumento, lasciando gli ottimizzatori standard senza un gradiente da seguire.
2. Disallineamento dell'Obiettivo: I metodi esistenti di jailbreak automatizzato (come GCG o TAP) ottimizzano la compliance, che è un povero indicatore per la precisa esecuzione delle chiamate agli strumenti richiesta negli attacchi di iniezione.
3. Dipendenza dallo Sforzo Manuale: Gli attuali metodi efficaci dipendono ancora pesantemente da red-teamers umani e prompt creati manualmente, limitandone la scalabilità.

Metodologia: AutoInject

Gli autori propongono AutoInject, un framework di reinforcement learning (RL) black-box progettato per apprendere suffix avversari per l'iniezione di prompt. L'innovazione principale risiede nella conversione del segnale di successo binario e sparso in una ricompensa densa e apprendibile, adatta all'ottimizzazione RL.

1. Formulazione del Problema

La generazione dell'attacco è modellata come un Processo Decisionale di Markov (MDP):

• Stato: L'obiettivo dell'iniezione, il contesto del task dell'utente e i token generati finora.
• Azione: Selezione del prossimo token dal vocabolario.
• Ricompensa: Un punteggio composito fornito solo alla fine di un episodio, composto da:
  • $r_{sec}$: Punteggio di sicurezza (1 se l'obiettivo iniettato viene eseguito, 0 altrimenti).
  • $r_{util}$: Punteggio di utilità (1 se l'originale task dell'utente viene completato, 0 altrimenti).
  • $r_{pref}$: Un punteggio di feedback denso basato sul confronto.

2. Ricompensa Densa tramite Feedback Basato sul Confronto

Per affrontare la scarsità della ricompensa, AutoInject introduce un modello di feedback basato sul confronto appreso.

• Meccanismo: Il sistema mantiene un suffix di riferimento ($x^*$), il miglior suffix performante visto finora. Per ogni nuovo suffix candidato ($x$), un modello di feedback (un LLM) viene interrogato con l'obiettivo dell'iniezione, il contesto e entrambi i suffix.
• Processo: Il modello di feedback esegue un ragionamento chain-of-thought per determinare quale suffix sia più probabile che abbia successo, outputtando un'etichetta di preferenza binaria.
• Estrazione del Segnale: Le log-probabilità dei token dell'etichetta vengono estratte e normalizzate per produrre un punteggio di preferenza continuo ($r_{pref}$).
• Valore: Anche se sia il candidato che il riferimento falliscono l'esecuzione dell'iniezione, il modello di feedback può assegnare un punteggio più alto al candidato se appare più plausibile o meglio allineato con l'obiettivo. Ciò fornisce un segnale denso e monotono che guida l'agente RL attraverso lunghi tratti di ricompensa di sicurezza pari a zero.

3. Ottimizzazione della Policy

La policy di attacco è addestrata utilizzando la Group Relative Policy Optimization (GRPO) su un modello da 1.5B di parametri (Qwen2.5-1.5B).

• Vantaggio Relativo: Invece di apprendere una funzione di valore assoluta, GRPO campiona un gruppo di $K$ completamenti per lo stesso input e calcola i vantaggi relativi basati sui loro reward compositi.
• Reward Composito: $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$. Il peso $\gamma$ per il feedback di confronto è pianificato dinamicamente, partendo da un valore alto per fornire gradienti iniziali e diminuendo man mano che i segnali di vero successo ($r_{sec}$) diventano disponibili.
• Modalità di Attacco: Il framework supporta:
  • Attacchi Online basati su Query: Ottimizzazione entro un budget di query per un target specifico.
  • Suffix Trasferibili Offline: Addestramento su task/modelli surrogati e trasferimento del suffix appreso a target non visti senza richiedere l'accesso all'utilità durante l'impiego.

Contributi Chiave

1. Formulazione RL per l'Iniezione: Un nuovo approccio RL che converte il segnale binario di prompt injection in una ricompensa densa tramite feedback di confronto appreso, permettendo un'efficace ottimizzazione GRPO dove i metodi standard falliscono.
2. Doppia Capacità di Attacco: Un framework unificato che supporta sia l'ottimizzazione online basata su query, sia i suffix trasferibili addestrati offline che non richiedono l'accesso all'utilità durante l'impiego.
3. Valutazione Esaustiva: Test estesi sul benchmark AgentDojo su sette modelli di produzione (inclusi GPT-5-nano, Claude-3.5-Sonnet e Gemini-2.5-Flash) e un modello di difesa specializzato (Meta-SecAlign-70B).
4. Preservazione dell'Utilità: Dimostrazione che la policy appresa può massimizzare il successo dell'attacco preservando o addirittura migliorando l'utilità del task originale dell'utente, a differenza di molti attacchi basati su template che interrompono il comportamento dell'agente.

Risultati Sperimentali

Valutato sul benchmark AgentDojo, AutoInject dimostra miglioramenti statisticamente significativi (test di McNemar, $p < 0.05$) rispetto ai baseline esistenti:

• vs. Template Attacks: AutoInject supera significativamente i template creati da umani (ad es. "Direct", "Ignore Previous"). Su Gemini-2.5-Flash, AutoInject ha raggiunto un Attack Success Rate (ASR) del 58.00% rispetto a un picco del 23.60% per i template.
• vs. Baseline basate su Ottimizzazione: Supera GCG, TAP, attacchi adattivi casuali e ricerca evolutiva. Notevolmente, sul robusto modello GPT-5-nano, AutoInject ha raggiunto un ASR dell'11.49%, mentre il miglior attacco basato su template è riuscito solo al 1.60%.
• Preservazione dell'Utilità: In molti casi, la "Utility Under Attack" di AutoInject ha superato la baseline benigna (ad es. 90.20% vs. 80.41% su GPT-5-nano), indicando che i suffix appresi eseguono con successo l'iniezione senza interrompere la funzione primaria dell'agente.
• Evasione della Difesa: Contro Meta-SecAlign-70B (un modello raffinato specificamente per resistere alla prompt injection), gli attacchi basati su template sono falliti completamente (0% ASR), mentre AutoInject ha raggiunto un ASR del 21.88%.
• Trasferibilità: I suffix appresi si sono trasferiti con successo su modelli e task non visti. Negli scenari di trasferimento cross-task, AutoInject ha superato significativamente la baseline di trasferimento RL-Hammer su quattro modelli su cinque, nonostante l'uso di significativamente meno query di addestramento (260 vs. 3.900).

Significato e Rivendicazioni

Il paper stabilisce un baseline automatizzato per la prompt injection, rivelando un divario critico tra le attuali difese basate sulla preferenza e gli attaccanti adattivi basati sull'ottimizzazione.

• Limiti delle Difese Statiche: I risultati suggeriscono che le difese basate sul pattern matching statico o sull'ottimizzazione delle preferenze (come Meta-SecAlign) sono insufficienti contro attacchi strutturati e adattivi. Gli autori osservano che, sebbene queste difese neutralizzino i template noti, falliscono contro i suffix appresi che sfruttano vulnerabilità differenti.
• Il Fenomeno "Allelujah": Lo studio ha osservato pattern di token ricorrenti e apparentemente privi di senso (ad es. "allelujah") nei suffix di successo che si trasferivano tra i modelli, suggerendo la scoperta di regolarità statistiche nei dati di pretraining che correlano con i comportamenti di compliance.
• Implicazioni per la Sicurezza: Gli autori sostengono che le strategie di iniezione automatizzate e che preservano l'utilità rappresentano un vettore di minaccia più pericoloso, poiché consentono agli avversari di compromettere gli agenti senza la conoscenza dell'utente. Concludono che i paradigmi difensivi devono evolversi per tenere conto di queste strategie adattive e automatizzate, richiedendo potenzialmente cambiamenti architettonici come "plan-then-execute" o difese basate sulla deliberazione che richiedano la conferma dell'utente per operazioni sensibili.

Il paper non sostiene di aver risolto la vulnerabilità, ma piuttosto di aver esposto l'insufficienza delle attuali difese automatizzate contro attacchi guidati da RL, esortando la comunità a sviluppare misure di sicurezza più robuste e adattive.