Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

Sintesi Tecnica: SCOUT – Ragionamento Pre-hoc per l'Allocazione Adattiva dei Detector

Problema
I detector di prompt-injection sono intrinsecamente eterogenei; ogni detector eccelle su specifici segmenti di categorie di attacco (ad esempio, regole lessicali, sonde di attenzione, classificatori leggeri) pur fallendo su altri. I sistemi di difesa esistenti si affidano tipicamente a pipeline fisse, come un singolo detector o una cascata statica, il che costringe ogni richiesta a passare attraverso i punti ciechi di un determinato detector. Inoltre, la difesa più accurata, un giudice LLM (ad esempio, GPT-4o), comporta una latenza proibitiva (circa 1,5 secondi per richiesta) rispetto ai detector leggeri (da meno di un millisecondo a decine di millisecondi). La sfida centrale è bilanciare la sicurezza (intercettare gli attacchi) con l'utilità (minimizzare la latenza e mantenere i tassi di passaggio dei contenuti benigni) senza vincolarsi ai limiti di un singolo detector o all'alto costo di un giudizio LLM sempre attivo.

Metodologia: Framework SCOUT
Gli autori propongono SCOUT (Scalable and Controllable Outcome-prediction for Uncertainty-aware Triage), un framework che inquadra la difesa come un problema di allocazione del detector per ogni singola input. Inveve di una cascata fissa, SCOUT decide dinamicamente quali detector eseguire per ogni specifica richiesta e se scalare verso un giudice LLM.

Il sistema opera attraverso tre componenti principali:

1. Impronte Digitali (Fingerprints) dei Detector e Recupero:

   • SCOUT mantiene un set fisso di input "ancora" (Anchor-400) che rappresentano diverse strutture di iniezione.
   • Per ogni detector nel pool, viene costruita un'impronta digitale registrando il suo comportamento (verdetto, correttezza e latenza) su questi anchor.
   • In fase di inferenza, per una nuova richiesta $x$, il sistema recupera i top-$K$ anchor più simili basandosi sulla struttura dell'iniezione (categoria, strategia di occultamento, carrier, meccanismo) piuttosto che sul contenuto tematico. Questo recupero è agnostico rispetto al detector.

2. Predittore di Esito (Ragionamento Pre-hoc):

   • Un piccolo modello linguistico (Qwen3-4B) funge da predittore. Prende come input i record delle impronte digitali recuperate e il campione target.
   • Utilizzando un processo di addestramento in due fasi (Supervised Fine-Tuning con razionali distillati a posteriori seguito da Group Relative Policy Optimization), il predittore stima due valori per ogni detector $D$ sull'input $x$:
     • Correttezza Predetta ($pred\_corr$): Se $D$ classificherà correttamente $x$.
     • Latenza Predetta ($pred\_lat$): Quanto tempo impiegherà $D$ per l'esecuzione.
   • Il predittore è addestrato per emettere una catena di ragionamento (Chain-of-Thought) prima della predizione strutturata, il che migliora la calibrazione.

3. Triage Consapevole dell'Incertezza (Routing):

   • Selezione del Sottoinsieme: Il router filtra il "pool leggero" di detector, mantenendo solo quelli dove $pred\_corr = 1$.
   • Voto Pesato sulla Fiducia: I detector selezionati vengono eseguiti in parallelo. I loro voti vengono aggregati utilizzando un peso di fiducia che mescola l'evidenza locale (accuratezza sugli anchor recuperati) e i priori globali (accuratezza complessiva).
   • Gate di Escalation: Se il voto pesato è incerto (accordo $< \tau$), il sistema valuta l'escalation a un giudice LLM. Fondamentalmente, l'escalation avviene solo se il predittore stima anche che il giudice sia affidabile per quel particolare input.
   • Controllo della Latenza: Poiché il predittore stima la latenza, il sistema può prevedere il tempo totale di esecuzione (wall-clock time) per qualsiasi soglia $\tau$ prima di eseguire la richiesta. Gli operatori possono impostare $\tau$ per soddisfare un budget di latenza specifico.

Contributi Chiave

• Riformulazione della Difesa: Il paper sposta il paradigma dai pipeline di rilevamento fissi all'allocazione del detector per singolo input, permettendo al sistema di abbinare il detector alla specifica categoria di attacco dell'input.
• Il Framework SCOUT: Un'architettura innovativa che combina impronte digitali comportamentali, un piccolo predittore di esiti e una regola di routing controllabile. Permette a nuovi detector di unirsi al pool senza necessità di riaddestramento (richiede solo un singolo passaggio sugli anchor per generare l'impronta).
• Benchmark SCOUT-450: Un nuovo benchmark di valutazione arricchito con iniezioni strutturalmente complesse e rivolte ad agenti (specificamente la categoria hidden_tricky) che i vecchi benchmark sottorappresentano. Include 255 campioni di attacco e 195 campioni benigni.
• Controllabilità: Il sistema espone una singola soglia operativa ($\tau$) che scambia la sicurezza con la latenza, con la capacità di prevedere il costo totale di esecuzione in anticipo.

Risultati
Valutato su SCOUT-450 e tre benchmark esterni (BIPIA, IPI, IHEval), SCOUT dimostra miglioramenti significativi rispetto ai baseline:

• Frontiera Sicurezza-Utilità: Su SCOUT-450, al punto operativo principale ($\tau=0.875$), SCOUT riduce l'Attack Success Rate (ASR) del 46% e la latenza totale di wall-clock del 40% rispetto a un giudice GPT-4o sempre attivo.
• Accuratezza: SCOUT raggiunge un'accuratezza di 0,933, superando il miglior singolo detector (PIGuard, 0,669) e il giudice sempre attivo (GPT-4o, 0,924).
• Utilità Benigna: Sebbene SCOUT comporti un calo di 5,1 punti nell'utilità benigna rispetto al giudice sempre attivo (0,928 vs 0,979), mantiene un alto throughput riducendo significativamente la latenza.
• Generalizzazione: Il sistema si trasferisce a benchmark esterni (BIPIA, IPI, IHEval) senza riaddestramento, adattandosi a diverse distribuzioni di attacco tramite la riallocazione dei detector. Ad esempio, su BIPIA, riduce la latenza di 3,7 volte rispetto al giudice GPT-5.1 mantenendo un'alta accuratezza.
• Ablazioni: Lo studio conferma che il guadagno deriva dalla capacità del predittore di calibrare le stime di affidabilità (superando i predittori non-LLM come KNN/MLP) e dalla strategia di allocazione per singolo input (superando le cascate a fiducia uniforme).

Significatività e Rivendicazioni
Il paper sostiene che SCOUT offra una soluzione scalabile e controllabile alla difesa contro il prompt injection.

• Scalabilità: L'aggiunta di un nuovo detector richiede solo la generazione della sua impronta digitale sull'insieme di anchor; non è necessario il riaddestramento del retriever, del predittore o del router.
• Controllabilità: Gli operatori possono regolare il sistema per un budget di latenza o un obiettivo di sicurezza specifico utilizzando l'unica soglia $\tau$, con il sistema che prevede il costo in anticipo.
• Consapevolezza dell'Eterogeneità: Riconoscendo che nessun singolo detector è universalmente forte, SCOUT sfrutta i diversi punti di forza di un pool eterogeneo, indirizzando i casi difficili al giudice LLM solo quando necessario e quando il giudice è previsto come affidabile.

Gli autori riconoscono i limiti, notando che SCOUT non può superare la capacità collettiva del pool di detector disponibile e che la sua efficacia dipende dal fatto che l'insieme di anchor copra gli assi strutturali della distribuzione di test. Notano inoltre che il framework non difende attualmente contro attaccanti adattivi che prendono di mira il router stesso.