Riepilogo Tecnico: Zero-Shot Embedding Drift Detection (ZEDD)

1. Definizione del Problema

Gli attacchi di prompt injection rappresentano una vulnerabilità critica per le applicazioni basate su Large Language Model (LLM), in cui input avversari sfruttano canali indiretti (ad esempio, email, contenuti generati dagli utenti) per aggirare le protezioni di allineamento e indurre output dannosi. Nonostante i progressi nell'allineamento dei modelli tramite Reinforcement Learning from Human Feedback (RLHF), i modelli allo stato dell'arte rimangono suscettibili sia ad attacchi avversari manuali che automatizzati. I meccanismi di difesa esistenti soffrono spesso di limitazioni significative: dipendono da un elevato overhead computazionale, richiedono il riaddestramento specifico per il task, necessitano dell'accesso interno al modello o utilizzano filtri basati su regole inefficienti. Esiste un urgente bisogno di un meccanismo di rilevamento robusto, generalizzabile e leggero che operi senza una conoscenza preventiva di specifici pattern di attacco.

2. Metodologia: Zero-Shot Embedding Drift Detection (ZEDD)

Gli autori propongono ZEDD, un framework che rileva le prompt injection quantificando gli spostamenti semantici (semantic shifts) nello spazio degli embedding tra input benigni (puliti) e sospetti (iniettati). L'intuazione fondamentale è che le prompt avversarie inducono sottili derive semantiche nelle rappresentazioni vettoriali, anche quando il testo superficiale appare benigno.

La Pipeline ZEDD

Il sistema opera attraverso tre fasi primarie:

1. Estrazione degli Embedding:

   • Il framework utilizza modelli encoder sottoposti a fine-tuning (nello specifico Sentence-BERT All-MPNET-Base-V2, Llama 3 8B Instruct, Mistral 7B Instruct e Qwen 2 7B Instruct) per generare rappresentazioni vettoriali per coppie di prompt.
   • Durante una fase preliminare di fine-tuning, l'encoder impara a distinguere tra coppie "clean-clean" e "injected-clean", ottimizzando lo spazio degli embedding per catturare meglio le differenze tra input benigni e avversari. Questo fine-tuning viene eseguito una sola volta, consentendo il deployment zero-shot successivamente.

2. Misurazione della Deriva (Drift):

   • La deriva semantica è calcolata utilizzando la Similarità del Coseno. Il punteggio di deriva $D$ tra un prompt pulito $x$ e un candidato prompt $x'$ è definito come:
     $$Drift(x, x') = 1 - \frac{f(x) \cdot f(x')}{||f(x)|| \cdot ||f(x')||}$$
   • Un punteggio di deriva più elevato indica una maggiore deviazione semantica, suggerendo una potenziale injection.

3. Flagging e Soglia:

   • Per classificare i prompt senza etichette di ground truth durante l'inferenza, ZEDD impiega un approccio ensemble utilizzando Gaussian Mixture Modeling (GMM) e Kernel Density Estimation (KDE).
   • GMM: Adatta una distribuzione a due componenti ai punteggi di deriva. La componente con la media inferiore corrisponde alle coppie clean-clean (bassa deriva), mentre la media superiore corrisponde alle coppie injected-clean (alta deriva).
   • Fallback KDE: Se il GMM non converge, il sistema passa a KDE per identificare picchi e valli della distribuzione.
   • Ottimizzazione della Soglia: La soglia decisionale è calibrata tramite ricerca binaria iterativa per mantenere un limite rigoroso del tasso di falsi positivi (FPR) del 3%, puntando a un tasso di flagging complessivo di circa il 50%.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Un Framework di Rilevamento Zero-Shot: Un metodo di rilevamento delle prompt injection basato sulla deriva degli embedding che non richiede il riaddestramento del target LLM, non richiede l'accesso interno al modello e non richiede una conoscenza preventiva di specifici tipi di attacco.
2. Meccanismo di Flagging Statistico: L'integrazione di GMM e KDE per analizzare le distribuzioni degli embedding, segnalando efficacementamente i prompt iniettati e minimizzando i falsi positivi.
3. Valutazione Empirica Esaustiva: Una valutazione estesa che dimostra come la deriva degli embedding funga da segnale robusto e trasferibile attraverso diverse architetture di LLM, superando i metodi tradizionali in termini di velocità e accuratezza.

4. Risultati Sperimentali

Gli autori hanno valutato ZEDD sul dataset LLMail-Inject, una collezione ri-annotata di 51.603 coppie allineate che copre cinque categorie di injection: Jailbreak, System Leak, Task Override, Encoding Manipulation e Prompt Confusion.

• Metriche di Performance: Su tutti i modelli testati (Llama 3, Mistral, Qwen 2 e Sentence-BERT), ZEDD ha ottenuto:
  • Accuratezza: Compresa tra circa il 90,75% (Sentence-BERT) e il 95,55% (Mistral 7B).
  • Precisione: Superiore al 95% per la maggior parte degli encoder basati su LLM (fino al 96,58% per Mistral).
  • Tasso di Falsi Positivi (Clean FPR): Mantenuto al di sotto del 3% per la maggior parte dei modelli (ad esempio, 2,2% per Qwen 2, 2,3% per Mistral), con un limite conservativo che garantisce bassi falsi allarmi sugli input benigni.
• Efficienza: Il processo di fine-tuning per ogni modello ha richiesto circa 15–18 minuti su una GPU NVIDIA B200. La fase di rilevamento opera con una latenza minima, rendendola adatta ad applicazioni sensibili alla latenza.
• Vantaggio Comparativo: I risultati indicano che ZEDD supera i modelli esistenti in precisione e F1 score, offrendo al contempo un footprint computazionale significativamente più leggero.

5. Significato e Limitazioni

Significato:
Il documento posiziona ZEDD come uno strato di difesa critico e leggero che si integra perfettamente nei pipeline LLM esistenti. Evitando la necessità di riaddestramento del modello o accesso interno, affronta il divario di scalabilità nella protezione dei sistemi basati su LLM contro minacce avversarie adattive. Gli autori ne sottolineano l'utilità come "prima linea di difesa" che bilancia un alto rilevamento dell'accuratezza con l'efficienza operativa.

Limitazioni e Lavori Futuri:
Gli autori riconoscono diverse limitazioni:

• Dipendenza dagli Embedding: L'efficacia di ZEDD è legata alla qualità del modello di embedding scelto; se un modello di embedding non riesce a catturare le sfumature semantiche di un prompt specifico, il rilevamento potrebbe fallire.
• Scalabilità: Sebbene efficiente, il metodo potrebbe richiedere approcci adattivi per gestire dimensioni dei modelli variabili e dataset più ampi in modo efficiente.
• Evasione Avversaria: Esiste il rischio che attacchi altamente sofisticati possano essere manipolati specificamente per aggirare il rilevamento della deriva a livello di embedding.
• Direzioni Future: Gli autori intendono esplorare il Few-Shot learning per migliorare l'accuratezza (sebbene ciò possa compromettere la natura leggera del sistema), utilizzare approcci adattivi per il risparmio delle risorse e testare il framework su diversi formati di dati oltre alle email.

In conclusione, ZEDD offre una soluzione pratica e agnostica rispetto al modello per la crescente minaccia delle prompt injection, fornendo un meccanismo scalabile per proteggere le applicazioni LLM con un minimo sforzo ingegneristico.