Riepilogo Tecnico: Un Framework di Sicurezza a Livelli contro il Prompt Injection nei Chatbot Basati su RAG

1. Definizione del Problema

Il prompt injection è identificato come la vulnerabilità più critica nelle implementazioni di Large Language Models (LLM), in particolare all'interno delle architetture di Retrieval-Augmented Generation (RAG). A differenza degli attacchi di injection del software tradizionale che sfruttano bug di parsing, il prompt injection sfrutta la proprietà architettonica fondamentale degli LLM: l'incapacità di distinguere tra istruzioni attendibili (system prompt) e dati non attendibili (input dell'utente o documenti recuperati) all'interno di un singolo flusso di token.

Le difese esistenti sono insufficienti perché operano in fasi isolate della pipeline di inferenza:

• I filtri di input non possono ispezionare i documenti recuperati, lasciando i sistemi vulnerabili al prompt injection indiretto (dove payload malevoli sono incorporati nei documenti della base di conoscenza).
• I monitor di output non possono impedire che i payload malevoli raggiungano il modello in primo luogo.
• Gli approcci basati sulla gerarchia delle istruzioni spesso richiedono il fine-tuning del modello o si affidano a segnali strutturali che i modelli potrebbero non rispettare in modo affidabile.

Di conseguenza, i chatbot basati su RAG rimangono vulnerabili sia all'injection diretta (tramite l'input dell'utente) che all'injection indiretta (tramite documenti della base di conoscenza avvelenati), portando a rischi quali l'hijacking del persona, l'aggiramento delle policy, l'esfiltrazione dei dati e la generazione di contenuti dannosi.

2. Metodologia: Il Framework a Tre Livelli

Gli autori propongono un framework di difesa a tre livelli, agnostico rispetto al modello, progettato per intercettare gli attacchi in punti distinti della pipeline di inferenza senza modificare l'LLM sottostante. Il sistema opera come middleware.

Livello 1: Screening dell'Input

Questo livello opera sull'input grezzo dell'utente prima del recupero o dell'assemblaggio del contesto. Utilizza due meccanismi complementari:

• Rilevamento Basato su Pattern: Un motore di regole confronta l'input normalizzato con una libreria curata di firme di injection (ad es., "ignore previous instructions", "repeat system prompt"). Gestisce tecniche di offuscamento come la codifica Base64 e la codifica URL.
• Rilevamento di Anomalie Semantiche: Un classificatore semantico specializzato (utilizzando un backbone sentence-transformer) valuta gli input per l'intento avversario. Questo cattura formulazioni inedite e attacchi parafrasati che eludono le firme basate su regole.
• Disposizione: Gli input vengono passati (con un flag di anomalia), sanificati (segmenti corrispondenti sostituiti) o bloccati.

Livello 2: Assemblaggio del Contesto con Vincoli di Privilegio

Questo livello affronta la causa principale dell'injection: la finestra di contesto piatta. Impone una gerarchia esplicita delle istruzioni durante l'assemblaggio del contesto, prima dell'inferenza dell'LLM:

• Tier di Privilegio:
  1. Tier Operatore (Massimo): Istruzioni del system prompt.
  2. Tier di Recupero (Intermedio): Documenti recuperati (trattati come dati di riferimento, non come istruzioni eseguibili).
  3. Tier Utente (Minimo): Query dell'utente.
• Meccanismo: I segmenti di contesto sono annotati con tag di provenienza ([SYS], [RET], [USR]). Un meta-istruzione viene preposta al prompt, istruendo il modello a rifiutare le direttive provenienti da fonti di tier inferiore che contrastano con le istruzioni di tier superiore.
• Scansione: I chunk dei documenti recuperati vengono scansionati alla ricerca di pattern di override espliciti prima di essere ammessi nel contesto.

Livello 3: Audit dell'Output

Questo livello funge da rete di sicurezza finale, verificando la risposta del modello prima della consegna:

• Motore di Regole di Policy: Verifica l'output rispetto a specifici predicati, inclusi:
  • Similitudine con il System Prompt: Controlli di similarità del coseno per rilevare l'esfiltrazione di dati (leakage del system prompt).
  • Rilevamento di Ruolo/Token: Identificazione di token di jailbreak (ad es., "DAN").
  • Contenuti Dannosi: Utilizzo di un classificatore (Llama Guard 2) per rilevare output non sicuri.
• Rilevamento del Drift Semantico: Misura la distanza del coseno tra la risposta live e una risposta di riferimento conforme al persona per rilevare manipolazioni comportamentali.
• Escalation: Le risposte che attivano predicati ad alto rischio vengono bloccate o scalate per la revisione umana.

Ciclo di Audit Continuo

Una componente trasversale che aggrega log strutturati da tutti i livelli. Supporta:

• Alerting: Rilevamento di tentativi di probing avversari sostenuti o campagne coordinate.
• Retraining: Alimentazione dei veri positivi e falsi positivi confermati nuovamente nel classificatore semantico del Livello 1 per adattarsi a nuovi pattern di attacco emergenti.

3. Contributi Chiave

1. Modello di Minaccia Formale: Definisce un modello di avversario black-box per i chatbot RAG, coprendo vettori di injection diretta e indiretta e tre obiettivi specifici dell'attaccante: Override delle Istruzioni (IO), Esfiltrazione dei Dati (DE) e Manipolazione del Comportamento (BM).
2. Architettura di Difesa a Tre Livelli: Un framework coordinato che combina lo screening dell'input, l'assemblaggio del contesto con vincoli di privilegio e l'audit dell'output. È il primo a valutare i contributi combinati e individuali di questi meccanismi contro sia l'injection diretta che quella indiretta.
3. Valutazione Controllata: Una valutazione completa su 5.080 campioni (benigni e avversari) su tre diversi LLM (GPT-4o, Llama 3 8B, Mistral 7B).
4. Ablazione e Analisi degli Errori: Quantifica il contributo marginale di ogni livello e identifica i meccanismi di bypass residui, fornendo una tabella di marcia per miglioramenti futuri.

4. Risultati Sperimentali

Il framework è stato valutato contro una baseline non difesa, baseline a singolo livello e un sistema di guardrail pubblicato (NeMo Guardrails).

• Riduzione del Tasso di Successo dell'Attacco (ASR): Il framework completo a tre livelli ha ridotto l'ASR medio macro dal 71,4% (non difeso) all'11,3%.
  • Ciò rappresenta una riduzione di 60,1 punti percentuali rispetto alla baseline.
  • Ha superato la migliore baseline a singolo livello (Livello 3 solo, 38,6%) di 27,3 punti percentuali.
  • Ha superato NeMo Guardrails (35,1%) di 23,8 punti percentuali.
• Tasso di Falsi Positivi (FPR): Il framework ha mantenuto un FPR del 4,8%, che è inferiore a NeMo Guardrails (8,4%) e paragonabile al solo Livello 1 (5,1%).
• Overhead di Latenza: La latenza mediana end-to-end dell'overhead è stata di 61,2 ms, dominata dalle operazioni di encoding semantico. Questo rientra nel budget operativo per i chatbot interattivi.
• Insight dall'Ablazione:
  • L'effetto combinato dei tre livelli ha superato la somma dei contributi individuali.
  • Il Livello 2 (Vincolo di Privilegio) è stato trovato capace di sopprimere i falsi positivi nei livelli successivi (Livello 3) filtrando le injection prima che raggiungano l'auditor di output.
  • Nessun sottoinsieme di due livelli ha fornito una copertura equivalente al framework completo.

5. Significato e Rivendicazioni

L'articolo sostiene che il prompt injection sia una vulnerabilità strutturale che non può essere risolta solo con l'aggiornamento dei modelli; i modelli più forti (ad es., GPT-4o) hanno mostrato solo una resistenza marginalmente migliore rispetto ai modelli più piccoli quando non difesi, poiché la capacità di seguire le istruzioni correla con la suscettibilità alle istruzioni iniettate.

Il significato primario del lavoro è la dimostrazione che la difesa deve essere distribuita attraverso l'intera pipeline di inferenza:

• La stratificazione è necessaria, non solo benefica: Le injection dirette e indirette entrano in punti diversi, richiedendo difese posizionate in quegli specifici punti di ingresso.
• L'agnosticismo rispetto al modello è critico: Il framework funziona senza modificare i pesi dell'LLM, rendendolo implementabile su diverse famiglie di modelli.
• Protezione Complementare: L'interazione tra i livelli (ad es., il Livello 2 che riduce il carico sul Livello 3) crea una postura di sicurezza che è superiore alla somma delle sue parti.

Gli autori riconoscono i limiti, tra cui il modello di attaccante black-box statico, l'attenzione alle query a turno singolo (gli attacchi multi-turno rimangono un rischio residuo) e la sensibilità delle soglie ai cambiamenti di distribuzione. Posizionano il framework come una base pratica per proteggere i sistemi RAG, con la necessità di lavori futuri per affrontare l'accumulo multi-turno e le istruzioni implicite nei documenti recuperati.