Sintesi Tecnica: Difesa contro gli Attacchi di Prompt Injection Adattivi tramite l'Allineamento dei Task basato sul Ragionamento

1. Problema

Il documento affronta la Prompt Injection Indiretta (PI), una vulnerabilità di sicurezza negli agenti basati su LLM in cui gli avversari incorporano istruzioni malevole in dati di terze parti (ad es. pagine web, risposte API) recuperati dall'agente. A differenza del jailbreaking, dove l'input dell'utente è avversario, la PI coinvolge un task affidabile dell'utente ($t_u$) che viene dirottato da dati non attendibili ($o_t$) contenenti un task avversario ($t_{adv}$).

Gli autori identificano una lacuna critica nelle difese attuali: mentre i metodi esistenti ottengono bassi tassi di successo degli attacchi (ASR) su benchmark statici, la loro robustezza crolla sotto attacchi adattivi in cui l'attaccante ottimizza l'iniezione contro la difesa implementata. Il documento traccia questo fallimento in due modalità specifiche:

1. Fallimento a livello di Osservazione: Le difese esistenti (prompting, filtraggio, conoscenza segreta e basate su addestramento) decidono in base al fatto che un'osservazione assomigli a pattern di iniezione noti. Esse falliscono nel verificare se la successiva azione dell'agente sia effettivamente allineata con il task affidabile dell'utente. Ciò permette agli attaccanti di riformulare le iniezioni (ad es. "Camuffamento Lessicale" o "Continuazione Fantasma") per bypassare il riconoscimento di pattern pur preservando l'obiettivo dell'attacco.
2. Fallimento dell'Addestramento Avversario (Mode Collapse): Le difese basate su addestramento che utilizzano esempi avversari spesso soffrono di "mode collapse" (collasso del modello). Anche quando utilizzano attaccanti adattivi (ad es. RL-Hammer), gli esempi generati tendono a convergere su poche strategie di riformulazione di successo. Di conseguenza, il difensore impara a bloccare template specifici piuttosto che generalizzare allo spazio più ampio delle strategie di iniezione, rimanendo vulnerabile a tattiche di riformulazione non viste.

2. Metodologia: RETA

Gli autori propongono RETA (REasoning-enabled Task Alignment), una difesa in due fasi basata sull'addestramento, progettata per imporre l'allineamento del task attraverso il ragionamento esplicito e un addestramento avversario diversificato.

Principi di Progettazione

1. Ragionare sull'Allineamento del Task, non sui Pattern: Invece di rilevare pattern di iniezione, il difensore deve ragionare se le chiamate agli strumenti pianificate ($c_{t+1}$) seguono logicamente dal task affidabile dell'utente ($t_u$).
2. Addestrare per la Copertura delle Strategie: L'addestramento avversario deve premiare la scoperta di strategie diverse per la riformulazione dell'attacco, non solo istanze di successo di una singola strategia.
3. Reinforcement Learning Avversario (RL): La difesa è un problema a livello di traiettoria. Il difensore deve ottimizzare su rollout completi per garantire sia la sicurezza (rifiuto di $t_{adv}$) che l'utilità (completamento di $t_u$).

Fase I: Generazione di Esempi Avversari tramite Red-Teaming

Questa fase genera un set diversificato di esempi avversari per addestrare il difensore.

• Policy dell'Attaccante ($\pi_A$): Un modello attaccante genera stringhe di iniezione ($d_{adv}$) e una traccia di ragionamento che spiega la strategia di riformulazione.
• Ricompensa di Diversità tramite Dictionary-Learning: Per prevenire il mode collapse, il sistema mantiene un dizionario di strategie rotante.
  • Un LLM ausiliario estrae un "record della strategia" (nome e spiegazione) da ogni iniezione riuscita.
  • Un algoritmo di apprendimento del dizionario (utilizzando lo sparse coding) apprende le primitive da questi record.
  • Una nuova iniezione riceve un'alta ricompensa di diversità se il suo record di strategia è scarsamente spiegato dal dizionario corrente (ovvero, rappresenta una nuova strategia di attacco).
  • Il dizionario viene aggiornato periodicamente per includere strategie di successo sottospiegate.
• Risultato: Viene raccolto un dataset ($D_{RT}$) di attacchi di successo e strategicamente diversificati.

Fase II: Reinforcement Learning Avversario

Questa fase addestra la policy del difensore ($\pi_D$) utilizzando il dataset della Fase I.

• Inizializzazione: Il difensore viene prima sottoposto a fine-tuning (SFT) su "casi limite" in cui impara a emettere un Ragionamento di Allineamento al Task ($\rho_t$) prima delle chiamate agli strumenti. Questo ragionamento deve soddisfare due condizioni:
  • C1: Identificare esplicitamente il contenuto nell'osservazione che tenta di reindirizzare l'agente.
  • C2: Giustificare che le chiamate agli strumenti pianificate sono derivabili esclusivamente dal task affidabile $t_u$.
• Ottimizzazione RL: Il difensore è ottimizzato utilizzando la Group reward-Decoupled Normalization Policy Optimization (GDPO). La funzione di ricompensa combina:
  • Ricompensa di Sicurezza ($r_{sec}$): 1 se il task dell'attacco non viene completato.
  • Ricompensa di Utilità ($r_{utl}$): 1 se il task dell'utente viene completato.
  • Ricompensa di Ragionamento ($r_{CoT}$): Valutata da un giudice in base a quanto il ragionamento generato soddisfi C1 e C2.
• Obiettivo: La policy impara a rifiutare i task iniettati mantenendo l'utilità, guidata dalla traccia di ragionamento esplicita.

3. Contributi Chiave

1. Evidenza Empirica della Sovrastima dei Benchmark Statici: Gli autori dimostrano che i benchmark statici sovrastimano significativamente la robustezza della difesa. In quattro paradigmi di difesa (Prompting, Filtering, Secret-Knowledge, Training) e due modelli, l'ASR è aumentato in media di 15,8 punti percentuali passando da attacchi statici ad attacchi adattivi.
2. Identificazione dei Modelli di Fallimento Strutturale: Il documento isola due cause radici per questo divario:
   • Decisioni a livello di osservazione che ignorano l'allineamento del task.
   • Distribuzioni di addestramento avversario che mancano di copertura strategica a causa del mode collapse.
3. Proposta di RETA: Un nuovo framework di difesa che impone l'allineamento del task tramite il ragionamento e utilizza ricompense di diversità basate sul dictionary-learning per garantire un'ampia copertura delle strategie di iniezione durante l'addestramento.

4. Risultati

Gli autori hanno valutato RETA sul benchmark AgentDojo utilizzando i modelli Qwen3-4B-Instruct e Llama-3.1-8B-Instruct contro sei famiglie di attacchi adattivi black-box (inclusi TAP, Strategy, Genetic Search e RL-Hammer).

• Tasso di Successo dell'Attacco (ASR): RETA ha ridotto l'ASR per tutti gli attacchi adattivi valutati al di sotto del 10%.
  • ASR medio su Qwen3-4B: 2,92%.
  • ASR medio su Llama-3.1-8B: 3,75%.
• Preservazione dell'Utilità:
  • Utilità sotto Attacco (UA): RETA ha preservato la maggior parte dell'utilità sotto attacco, superando significativamente i baseline che spesso sacrificano il task dell'utente per ottenere la sicurezza.
  • Utilità Benigna (BU): RETA ha mantenuto alte prestazioni sugli input puliti, mostrando una degradazione minima rispetto ai modelli non difesi.
• Ablazione: Gli esperimenti hanno confermato che l'aggiunta del Ragionamento di Allineamento al Task (CoT) all'addestramento avversario riduce significativamente l'ASR su dati non visti (ad es., dal 40,0% al 27,5% contro Genetic Search) e recupera l'utilità benigna.

5. Significato e Rivendicazioni

Il documento sostiene che la robustezza statica è insufficiente contro gli attaccanti adattivi nel contesto della prompt injection indiretta. Argomenta che il campo deve passare dal "riconoscimento di pattern" alla "verifica dell'allineamento del task".

La significatività di RETA risiede nella sua capacità di:

• Generalizzare oltre i template di iniezione specifici addestrandosi su esempi avversari strategicamente diversificati.
• Imporre l'integrità del task richiedendo all'agente di giustificare le proprie azioni rispetto al task affidabile dell'utente, piuttosto che limitarsi a filtrare il testo sospetto.
• Raggiungere un trade-off sicurezza-utilità superiore, bloccando con successo gli attacchi adattivi senza sacrificare la capacità dell'agente di completare i compiti legittimi.

Gli autori inquadrano modestamente il loro lavoro come una soluzione ai modelli di fallimento specifici delle difese attuali, notando che, sebbene RETA funzioni bene contro gli attacchi adattivi testati, il problema della PI rimane un'area di ricerca attiva in cui gli attaccanti potrebbero continuare a evolversi.