Riepilogo Tecnico: MIPIAD – Difesa contro Attacchi di Iniezione di Prompt Indiretti Multilingue

Enunciato del Problema

L'iniezione indiretta di prompt rappresenta una vulnerabilità critica nei sistemi di Modelli Linguistici su Grande Scala (LLM) che utilizzano strumenti e l'Architettura di Generazione Aumentata dal Recupero (RAG). A differenza delle iniezioni dirette, dove istruzioni malevole sono incorporate nella query dell'utente, le iniezioni indirette nascondono le istruzioni all'interno di documenti recuperati, email, tabelle o codice. Questa minaccia è aggravata in contesti multilingue, dove i sistemi devono elaborare lingue, domini e stili di formattazione misti. Le difese esistenti spesso non generalizzano attraverso le lingue o mancano di una valutazione su benchmark multilingue realistici e su larga scala. La sfida specifica affrontata è il rilevamento di queste istruzioni incorporate prima che raggiungano l'LLM vittima, in particolare nelle lingue a risorse limitate come il bengalese, dove il trasferimento cross-linguale delle firme di sicurezza è scarsamente compreso.

Metodologia

Gli autori propongono MIPIAD (Difesa contro Attacchi di Iniezione di Prompt Indiretti Multilingue), un quadro di difesa completo valutato su inglese e bengalese. La metodologia consta di tre componenti principali:

1. Costruzione del Benchmark (Dataset MIPIAD)

Per colmare la mancanza di dati multilingue, gli autori hanno costruito un massiccio benchmark sintetico contenente 1,43 milioni di campioni.

• Fonte: I modelli sono stati derivati dal benchmark BIPIA (Yi et al., 2023).
• Traduzione: NLLB-200 di Meta è stato utilizzato per tradurre i modelli di attacco e i contesti dei task dall'inglese al bengalese.
• Famiglie di Task: Il dataset copre cinque tipi di task: email, tabella, QA (domanda e risposta), abstract e codice.
• Strategia di Iniezione: I testi di attacco sono stati iniettati all'inizio, a metà o alla fine dei contesti.
• Integrità dei Dati: Per prevenire la fuoriuscita di informazioni, le divisioni di addestramento e test sono state partizionate a livello di contesto, garantendo categorie di attacco e varianti mutualmente esclusive tra i set.

2. Architettura di Rilevamento

Il nucleo della difesa è un approccio ibrido che combina segnali neurali e lessicali:

• XLPID (Rilevatore di Iniezione di Prompt Cross-Linguale): Un classificatore di sequenza basato su un backbone Qwen2.5-1.5B congelato. Utilizza LoRA (Adattamento a Bassa Rango) con rango 16 e $\alpha=32$ mirato agli strati $q\_proj$ e $v\_proj$ per un fine-tuning efficiente.
• Baseline Lessicali: Modelli di machine learning tradizionali che utilizzano feature TF-IDF (10.000 n-grammi principali, dimensioni 1–3) combinati con Macchine a Vettori di Supporto (SVM) e Regressione Logistica (LR).
• Meta-Ensemble: Il quadro integra questi flussi tramite:
  • Fusione Tardiva Ibrida: Una combinazione ponderata delle probabilità XLPID ($p_t$) e delle probabilità TF-IDF ($p_l$), ottimizzata tramite ricerca a griglia ($\alpha \in [0, 1]$).
  • Stacking e Boosting: Stacking di regressione logistica e alberi potenziati da gradiente che elaborano le probabilità dei modelli base.

3. Pipeline di Valutazione

La valutazione segue un processo in quattro fasi:

1. Classificazione della Difesa: Il classificatore MIPIAD scansiona gli input. Se malevoli, viene aggiunta un'avviso di sicurezza in preambolo.
2. Esecuzione della Vittima: I prompt vengono inviati agli LLM vittime (sette modelli testati, inclusi varianti di Qwen, Gemma e BanglaLLaMA).
3. Giudizio: Un ensemble di LLM giudici valuta le risposte per il Tasso di Successo dell'Attacco (ASR) e l'utilità.
4. Aggregazione delle Metriche: Le metriche finali includono ASR, Utilità Benigna (BU), Utilità Sotto Attacco (UA) e Parità Cross-Linguale (CLP), che misura il divario di prestazioni tra inglese e bengalese.

Contributi Chiave

Il documento delinea quattro contributi specifici:

1. Pipeline Multilingue Unificata: Una pipeline di generazione dati che crea un dataset da 1,43 milioni di campioni per l'iniezione indiretta di prompt tra inglese e bengalese, coprendo cinque distinte famiglie di task.
2. XLPID: Un rilevatore cross-linguale che utilizza un fine-tuning LoRA efficiente in termini di parametri su backbone LLM robusti.
3. Strategie Meta-Ensemble: Integrazione innovativa di probabilità basate su transformer con priori lessicali espliciti TF-IDF tramite fusione tardiva e boosting.
4. Validazione Empirica: Dimostrazione che l'ibridazione supera i modelli neurali isolati, ottenendo un guadagno F1 di 2,7 punti (0,9205 contro 0,8939) e riducendo significativamente il divario di prestazioni cross-linguale.

Risultati

Gli esperimenti hanno prodotto diverse scoperte critiche:

• Competitività Lessicale: Sorprendentemente, i segnali lessicali da soli sono stati forti. TF-IDF + SVM ha raggiunto un F1 di 0,77, suggerendo che i modelli sintetici contengono artefatti lessicali rilevabili.
• Superiorità Ibrida: L'ensemble Ibrido (XLPID + TF-IDF) ha ottenuto il miglior punteggio F1 complessivo di 0,9205, superando il XLPID autonomo (0,8939). L'ensemble Boosting ha raggiunto il più alto AUROC (0,9378).
• Robustezza Cross-Linguale: I modelli neurali autonomi (XLPID) hanno mostrato un divario di prestazioni più ampio tra inglese e bengalese (CLP = 0,9322). I metodi ensemble hanno ridotto questo divario (CLP $\approx$ 0,9479), con encoder multilingue che hanno raggiunto una quasi parità (CLP > 0,99).
• Impatto a Valle: Applicato a sette LLM vittime, la difesa ha ridotto il Tasso di Successo dell'Attacco (ASR) per tutti i modelli in entrambe le lingue.
  • Riduzioni Maggiori: Osservate in Qwen3.5-9B (ASR ridotto di 0,30 in inglese) e BanglaLLaMA-3-8B.
  • Preservazione dell'Utilità: L'Utilità Benigna (BU) è rimasta stabile (entro $\pm 0,05$), indicando che la difesa non degrada significativamente le prestazioni dei task legittimi.
• Analisi delle Vulnerabilità: La difesa è stata più efficace contro la Distribuzione di Malware e i Cifrari di Sostituzione, ma ha faticato con gli attacchi di Sostituzione Emoji e Mining di Criptovalute, che sono rimasti le vulnerabilità più persistenti.

Significato e Limitazioni

Significato:
Il documento afferma che MIPIAD fornisce la prima valutazione end-to-end della vittima per una difesa contro l'iniezione indiretta cross-linguale. Dimostra che l'ibridazione di segnali neurali e lessicali è una strategia superiore per la sicurezza, riparando efficacemente i punti ciechi neurali nei pattern a bassa frequenza mantenendo al contempo un'alta utilità. Il quadro è progettato per l'estendibilità, capace di supportare oltre 200 lingue tramite NLLB-200 e backbone adattabili senza cambiamenti architetturali.

Affermazioni Modeste e Limitazioni:
Gli autori riconoscono esplicitamente diversi vincoli:

• Distribuzione Sintetica: Il dataset è derivato da modelli BIPIA. Le alte prestazioni su questo benchmark potrebbero non tradursi completamente ad attacchi avversari reali che coinvolgono riformulazioni adattive o trucchi di codifica nuovi.
• Squilibrio di Classe: Il set di test utilizza un rapporto attacco/benigno di 10:1, mentre il traffico reale potrebbe essere 225:1 o superiore. Sotto una distribuzione naturale, anche un tasso di falsi positivi dell'1% potrebbe segnalare la maggior parte delle query legittime, rendendo la precisione critica.
• Artefatti di Traduzione: I campioni bengalesi sono stati tradotti automaticamente. Gli autori notano che l'output della traduzione automatica potrebbe preservare le direttive di iniezione con meno fedeltà rispetto ad attacchi scritti da umani o introdurre artefatti lessicali che gonfiano le prestazioni del classificatore.
• Ambito Linguistico: Sebbene l'architettura supporti oltre 200 lingue, la validazione empirica è attualmente limitata strettamente all'inglese e al bengalese.

In conclusione, MIPIAD stabilisce una base solida per la difesa multilingue contro l'iniezione indiretta di prompt, dimostrando che combinare un fine-tuning neurale efficiente con feature lessicali tradizionali offre una via pratica ed efficace per proteggere i sistemi RAG e gli agenti in ambienti linguistici diversificati.