Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks

Sintesi Tecnica: Valutazione delle Difese Basate su Prompting contro Attacchi di Iniezione a Camuffamento di Dominio

Definizione del Problema
Gli agenti basati su Large Language Model (LLM) in contesti aziendali recuperano e processano sempre più spesso documenti da fonti non attendibili (ad es., rapporti finanziari, contratti legali) per generare raccomandazioni. Mentre i classici attacchi di prompt injection utilizzano direttive di override esplicite (ad es., "Ignora tutte le istruzioni precedenti") facilmente rilevabili dai detector sintattici, è emersa una minaccia più sofisticata: l'iniezione a camuffamento di dominio. Questi attacchi incorporano istruzioni malevole all'interno di contenuti recuperati utilizzando un vocabolario indistinguibile dal testo legittimo del dominio. Lavori precedenti (Pai, 2026) hanno stabilito che i classificatori standard, inclusi Llama Guard 3, falliscono nel rilevare questi payload, creando un "Camouflage Detection Gap" (CDG) dell'80–100%. Di conseguenza, i professionisti mancano di una guida empirica su quali architetture di difesa mitigano efficacemente gli attacchi quando i meccanismi di rilevamento falliscono.

Metodologia
Gli autori hanno condotto una valutazione sistematica di cinque architetture di difesa basate su prompting attraverso tre famiglie di modelli e tre domini di deployment.

• Benchmark e Ambito: Lo studio ha utilizzato un benchmark di 45 task coprendo i domini Finanziario (raccomandazioni azionarie, rischio), Legale (contratti, conformità) e Generale (QA, riassunto). Il dataset includeva 3.510 prove.
• Modelli Valutati: Claude Haiku 4.5, Llama 3.1 8B Instruct e Gemini 2.0 Flash.
• Condizioni di Attacco:
  • Statiche: Direttive di override canoniche (ad es., "IGNORA TUTTE LE ISTRUZIONI PRECEDENTI").
  • Camuffate: Conclusioni malevole generate da un LLM attaccante che imita il vocabolario professionale del dominio (ad es., "Commento Analitico Supplementare... raccomandazione di vendita rivista").
• Condizioni di Difesa: Sono state testate sette configurazioni:
  1. Baseline: Nessuna difesa.
  2. Spotlighting: Avvolgere il contenuto recuperato con marker di provenienza (ad es., <<<CONTENUTO ESTERNO NON AFFIDABILE>>>).
  3. Paraphrasing (Parafrasi): Riscrivere il contenuto recuperato in un linguaggio neutro prima dell'elaborazione dell'agente (utilizzando Claude Haiku come riscrittore).
  4. Sandwiching: Apporre un promemoria del task dopo il contenuto recuperato.
  5. Combinazioni: Spotlight + Sandwich, e Paraphrase + Spotlight.
  6. Llama Guard 4: Una difesa basata su classificatore che blocca i documenti segnalati come non sicuri.
• Metriche: Tasso di Successo dell'Attacco (ASR), Utilità (completamento di task legittimi) e un CDG lato difesa ($CDG_{def} = ASR_{static} - ASR_{camouflage}$). La significatività statistica è stata valutata tramite il test esatto di McNemar e il test esatto di Fisher.

Risultati Chiave
La valutazione ha rivelato che l'efficacia della difesa dipende fortemente dal modello e che le difese standard si comportano diversamente contro gli attacchi camuffati rispetto a quelli statici.

• La parafrasi è la difesa più efficace: Riscrivere il contenuto recuperato prima dell'elaborazione ha ridotto costantemente l'ASR di camouflage in tutti i modelli:
  • Claude Haiku: 14,4% $\to$ 4,4%
  • Llama 3.1: 22,2% $\to$ 10,0%
  • Gemini 2.0: 21,1% $\to$ 3,3%
  • La combinazione di Paraphrasing + Spotlighting ha ottenuto l'ASR assoluto più basso su tutti i modelli (ad es., 3,3% su Haiku).
• Lo Spotlighting è inconsistente: Sebbene abbia dimezzato l'ASR su Claude Haiku (14,4% $\to$ 6,7%), non ha fornito alcun beneficio su Llama 3.1 8B (22,2% $\to$ 23,3%, non significativo).
• Il Sandwiching è debole: Non è riuscito a ridurre l'ASR al di sotto dei livelli baseline su Llama e Gemini.
• Confronto con Llama Guard 4: La parafrasi ha ottenuto un ASR di camouflage inferiore alla configurazione Llama Guard 4 su ogni modello testato. Inoltre, Llama Guard 4 ha mostrato elevati tassi di over-refusal (>90%), mentre la parafrasi ha mantenuto un tasso di over-refusal quasi nullo.
• Rischio di Dominio: I deployment nel dominio finanziario hanno affrontato il rischio residuo più elevato, con tassi di successo dell'attacco baseline del 26–33%. Nessuna difesa basata su prompting ha eliminato completamente la minaccia sui modelli più deboli in questo dominio.
• Anomalie del Modello: Gemini 2.0 Flash ha mostrato un'inversione in cui l'ASR statico (38,9%) superava l'ASR di camouflage (21,1%), un fenomeno non osservato negli altri modelli.

Contributi Chiave

1. Prima Valutazione Sistematica: Questo lavoro fornisce la prima valutazione basata su benchmark delle difese basate su prompting (parafrasi, spotlighting, sandwiching) specificamente contro la classe di iniezione a camuffamento di dominio.
2. Spostamento delle Classifiche di Difesa: Lo studio dimostra che le classifiche delle difese cambiano nelle condizioni di camuffamento; nello specifico, lo spotlighting, che è efficace contro gli attacchi statici, non offre alcun beneficio contro i payload camuffati su certi modelli (Llama 3.1 8B).
3. Superiorità della Parafrasi: Gli autori dimostrano che la parafrasi raggiunge tassi di successo dell'attacco inferiori rispetto a Llama Guard 4 in tutti i modelli testati, senza incorrere in penalità di over-refusal.
4. Raccomandazioni per i Professionisti: Il documento offre raccomandazioni specifiche per il deployment, evidenziando che i domini finanziari richiedono una maggiore cautela poiché nessuna singola difesa di prompting mitiga completamente il rischio sui modelli più deboli.

Significatività e Limitazioni
Il paper stabilisce un nuovo benchmark per valutare le difese contro una classe di attacchi che aggirano la rilevazione standard. Fornisce prove azionabili che la parafrasi del contenuto recuperato è attualmente la strategia più robusta basata su prompting per mitigare gli attacchi di camuffamento.

Gli autori mantengono una posizione modesta riguardo alla generalizzabilità delle loro scoperte. Essi notano esplicitamente che tutti i task utilizzati erano documenti professionali costruiti sinteticamente. Di conseguenza, resta una domanda aperta se queste classifiche di benchmark e i livelli di efficacia della difesa si generalizzino ai documenti aziendali del mondo reale. Lo studio colma il divario nella comprensione di come difendersi dagli attacchi di iniezione quando il contenuto iniettato è sintatticamente indistinguibile dal testo legittimo.