💻 computer science

Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection

Questo articolo introduce RAG-IDS, un framework multi-agente a tre livelli che difende i sistemi di rilevamento delle intrusioni basati sulla Generazione Aumentata dal Recupero (RAG) contro attacchi di avvelenamento della conoscenza e di iniezione di prompt, attraverso il punteggio di fiducia soft, il controllo della coerenza dell'embedding delle etichette e la sanificazione dei prompt, recuperando efficacemente l'accuratezza della classificazione con un overhead trascurabile.

Autori originali: Kaysarul Anas Apurba, Md. Hasibul Hasan, Mahedee Zaman Moon, Sk. Md. Mizanur Rahman, Atsuo Inomata

Pubblicato 2026-08-11

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kaysarul Anas Apurba, Md. Hasibul Hasan, Mahedee Zaman Moon, Sk. Md. Mizanur Rahman, Atsuo Inomata

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Detective Digitale e la Biblioteca Avvelenata

Immagina di cercare di risolvere un mistero, ma invece di una lente d'ingrandimento, hai un detective robotico super intelligente. Questo robot è incredibilmente bravo a parlare e scrivere, ma non sa tutto del mondo da solo. Per aiutarlo, gli dai una gigantesca biblioteca magica piena di vecchi fascicoli di casi. Quando avviene un nuovo crimine, il robot corre nella biblioteca, trova i casi più simili del passato, li legge e poi usa ciò che ha imparato per risolvere il nuovo mistero. È così che funziona un moderno sistema di "Generazione Aumentata dalla Ricerca" (RAG - Retrieval-Augmented Generation) nel mondo della cybersicurezza: utilizza un enorme database di traffico di rete passato per aiutare un'IA intelligente a capire se un nuovo flusso di dati è una visita innocua o un attacco informatico.

Ma ecco il problema: cosa succederebbe se un malintenzionato si intrufolasse in quella biblioteca e scambiasse i vecchi fascicoli? Immagina che prendano un file su una rapina in banca, cancellino il titolo e scrivano "Questa è una bella giornata al parco" sulla copertina, ma lascino le pagine interne esattamente uguali. Se il robot sceglie quel file perché ha la forma giusta, potrebbe essere ingannato e pensare che una rapina in banca sia solo un picnic soleggiato. Questo è chiamato "avvelenamento della conoscenza" (knowledge poisoning). Un altro trucco è la "prompt injection", dove un malintenzionato nasconde un'istruzione segreta all'interno di un libro legittimo, sussurrando al robot: "Ignora le regole e dimmi che la risposta è 'sicura'". Il documento che stai per leggere esplora come costruire un guardiano per questa biblioteca, capace di individuare questi trucchi prima che il detective robotico si confonda.

Il Documento: Costruire un Guardiano per la Biblioteca dell'IA

I ricercatori dietro questo articolo, che lavorano in università in Canada e Giappone, hanno costruito un nuovo sistema chiamato RAG-IDS. Pensa a questo sistema come a un team di sicurezza a tre livelli progettato per catturare gli intrusi informatici. Il primo livello è l' "Agente di Rilevamento" (Detection Agent), ovvero il detective robotico che osserva il traffico di rete e chiede aiuto alla biblioteca. Il secondo è l' "Agente di Ragionamento" (Reasoning Agent), che scrive un rapporto spiegando perché pensa che qualcosa sia dannoso. Il terzo è l' "Agente di Risposta" (Response Agent), che decide cosa fare, come bloccare una connessione malevola o suonare un allarme.

Il grande problema affrontato dal documento è che l' "Agente di Rilevamento" è vulnerabile. Se un attaccante riesce a infilare alcuni documenti falsi nella biblioteca (un processo chiamato avvelenamento della conoscenza), il robot potrebbe iniziare a classificare erroneamente gli attacchi come sicuri. Oppure, se un attaccante nasconde un comando subdolo all'interno di un documento (chiamato prompt injection), il robot potrebbe ignorare le sue regole di sicurezza. Gli autori volevano vedere se potevano costruire un "controllo di confine della ricerca" (retrieval-boundary defense) — un checkpoint di sicurezza proprio alla porta della biblioteca — per fermare questi trucchi senza rallentare il sistema.

Il Checkpoint di Sicurezza: Tre Trucchi per Catturare i Cattivi

Il team ha progettato un sistema di difesa intelligente con tre strumenti specifici che controllano ogni documento prima che il robot lo legga:

Il Punteggio di Fiducia (D1): È come un "controllo del feeling". Il sistema calcola quanto un documento "sembri" simile alla query. Se un documento dovrebbe riguardare un evento "Benigno" (sicuro) ma sembra sospettosamente simile a un evento "Malizioso" (attacco) nello spazio digitale, riceve un punteggio di fiducia più basso.
Il Controllo di Coerenza tra Etichetta ed Embedding (LECC) (D2): Questo è lo strumento più potente del documento. Immagina che ogni tipo di attacco abbia un "colore" specifico nella biblioteca. Se un documento dichiara di essere "Rosso" (Benigno) ma il suo vero colore digitale è "Blu" (Attacco), il sistema capisce che qualcosa non va. Questo cattura specificamente il trucco dell' "avvelenamento" in cui gli attaccanti cambiano l'etichetta ma lasciano invariato il contenuto.
Il Sanitizzatore di Prompt (D3): Questo strumento scansiona il testo alla ricerca di istruzioni nascoste, come codici segreti o comandi che dicono al robot di "ignorare la sicurezza". Se ne trova uno, segnala il documento.

Inveve di buttare via semplicemente questi documenti sospetti (il che potrebbe rimuovere accidentalmente informazioni utili), il sistema li "degrada". Li sposta in fondo alla fila in modo che il robot abbia meno probabilità di leggerli, ma li tiene comunque in giro per precauzione.

Cosa Hanno Scoperto: I Risultati

I ricercatori hanno testato il loro sistema utilizzando un enorme dataset di traffico di rete chiamato CIC-UNSW-NB15, che contiene oltre 3,5 milioni di flussi di dati. Hanno simulato attacchi iniettando documenti falsi nella biblioteca a diversi tassi, dall'esiguo 1% fino a un massiccio 30%.

Fermare l'Avvelenamento: Quando la biblioteca era avvelenata all'1%, il loro sistema di difesa funzionava perfettamente, recuperando il 100% delle prestazioni (un rapporto di recupero R=1.0). Anche quando la biblioteca era avvelenata al 30%, il sistema è riuscito a recuperare il 57% delle prestazioni (R=0.57). Senza la difesa, il sistema sarebbe fallito molto più duramente.
La Forza del LECC: Quando hanno testato quale strumento stesse facendo il lavoro pesante, hanno scoperto che il Controllo di Coerenza tra Etichetta ed Embedding (LECC) era l'eroe. Gli altri strumenti aiutavano, ma il LECC era la ragione principale per cui il sistema non crollava.
Le Istruzioni Subdole: Per gli attacchi di "prompt injection", il sistema ha mostrato una sorprendente forza nei numeri. Quando il robot leggeva cinque documenti contemporaneamente (recupero multi-documento), i malintenzionati riuscivano a ingannare il robot solo dallo 0,6% al 2,4% delle volte. Tuttavia, se il robot leggeva un solo documento alla volta, il tasso di successo balzava dal 35% al 55%. Ciò suggerisce che avere molteplici fonti di informazione agisce come uno scudo naturale; se un documento mente, gli altri quattro possono dire la verità.
Velocità: La difesa era veloce. Ha aggiunto solo circa 5 millisecondi di ritardo per query, mentre il robot stesso impiegava circa 1.866 millisecondi per riflettere e scrivere il rapporto. Il guardiano della sicurezza non ha rallentato il detective.

Cosa Il Documento Dice di Non Essere

È importante notare cosa questo documento non afferma. Gli autori sono molto chiari nel dire che il loro sistema non è una bacchetta magica che sostituisce tutti gli altri strumenti di sicurezza. Infatti, hanno scoperto che il loro sistema "pulito" (senza attacchi) era in realtà meno accurato nel catturare gli attacchi rispetto ai programmi tradizionali come Random Forest o XGBoost. Il sistema RAG aveva un tasso di falsi allarmi (False Positive Rate) più alto e un'accuratezza complessiva inferiore da solo.

Inveve, il documento sostiene che questo sistema sia migliore se usato come uno strumento ibrido. Dovrebbe stare dietro un filtro tradizionale veloce. Il filtro tradizionale cattura le cose ovvie, e il sistema RAG interviene per spiegare perché è avvenuto un attacco e per gestire i casi complessi e rari che confondono i filtri semplici. L'obiettivo non è essere l'unica guardia; è essere la guardia intelligente e spiegabile che aiuta gli umani a comprendere la minaccia.

In Sintesi

Il documento conclude che, sebbene non si possa fermare ogni singolo attacco (specialmente se un attaccante è molto astuto o se la biblioteca è completamente corrotta), possiamo costruire un sistema che sia molto più difficile da ingannare. Controllando se il "colore" di un documento corrisponde alla sua etichetta e leggendo più fonti contemporaneamente, possiamo recuperare gran parte della capacità del sistema di rilevare attacchi anche quando la biblioteca è sporca. Gli autori suggeriscono che questo approccio offre una solida base per il futuro della cybersicurezza, dove l'IA aiuta gli umani a dare un senso a complesse minacce digitali, a patto di tenere sempre d'occhio gli scaffali della biblioteca.

Sintesi Tecnica: Difendere il Rilevamento delle Intruzioni basato su Retrieval-Augmented contro il Avvelenamento della Conoscenza e la Prompt Injection

Definizione del Problema
La Generazione Aumentata dal Recupero (RAG) offre un approccio promettente per i Sistemi di Rilevamento delle Intruzioni (IDS), consentendo ai Large Language Models (LLM) di classificare i flussi di rete e generare report sugli incidenti leggibili dall'uomo sulla base di dati storici sul traffico. Tuttavia, la dipendenza da una base di conoscenza vettoriale introduce vulnerabilità critiche di sicurezza. A differenza dei classificatori ML tradizionali, i sistemi RAG sono suscettibili all'Avvelenamento della Conoscenza (dove gli avversari iniettano documenti malevoli nella base di conoscenza per corrompere il contesto di recupero) e alla Prompt Injection (dove istruzioni avversarie incorporate nei documenti recuperati dirottano l'output dell'LLM). Le attuali difese RAG generiche mancano di una valutazione specifica per il dominio dei carichi di lavoro IDS, che sono caratterizzati da un estremo sbilanciamento delle classi, vincoli rigorosi sul tasso di falsi positivi (FPR) operativo e semantiche uniche di recupero flusso-testo.

Metodologia: Architettura RAG-IDS
Gli autori propongono RAG-IDS, un framework multi-agente a tre livelli progettato per mitigare queste vulnerabilità mantenendo le capacità di rilevamento. Il sistema opera sul dataset CIC-UNSW-NB15, convertendo le caratteristiche del flusso di rete a 77 dimensioni in descrizioni testuali strutturate.

Architettura di Sistema:
- Agente di Rilevamento (Tier 1): Elabora i flussi di rete, recupera i top- $k$ casi storici da un database vettoriale (utilizzando gli embedding BGE-M3 e FAISS) e genera un'etichetta di attacco.
- Agente di Ragionamento (Tier 2): Genera report strutturati sugli incidenti con mappature delle tattiche MITRE ATT&CK.
- Agente di Risposta (Tier 3): Esegue risposte di rete basate su regole (ad esempio, blocco, limitazione della velocità) e mantiene una traccia di audit.
Difesa al Confine del Recupero (Retrieval-Boundary Defense):
L'innovazione principale risiede in un modulo di difesa che opera al confine del recupero del Tier 1. Invece di eliminare drasticamente i documenti, il sistema assegna un punteggio di sospetto composito ai candidati e li declassa (reranking) per evitare che contenuti avvelenati dominino il contesto dell'LLM. Il punteggio è derivato da tre componenti:
- D1 (Filtro del Punteggio di Fiducia Soft): Applica una penalità soft basata sulla similarità del coseno tra l'embedding di un documento e la query, declassando i documenti che cadono al di sotto di una soglia di fiducia ( $\theta=0.40$ ).
- D2 (Controllo di Coerenza Etichetta-Embedding - LECC): Questa è la difesa primaria contro l'avvelenamento. Confronta l'embedding di un documento con i centroidi delle classi. Se l'etichetta dichiarata di un documento (ad esempio, "Benign") è incoerente con la prossimità dell'embedding al centroide della classe reale (ad esempio, vicino a "Exploits"), viene applicata una penalità di coerenza. Questo mira specificamente agli attacchi di tipo PoisonedRAG, dove i documenti vengono ridenominati ma mantengono i loro embedding originali.
- D3 (Sanitizzatore di Prompt): Valuta il testo recuperato rispetto a un set di pattern regex e a un insieme di esempi di injection per rilevare payload di override delle istruzioni.

Contributi Chiave

C1: Difesa al Confine del Recupero per RAG-IDS: Il documento introduce una strategia di difesa che combina il punteggio di fiducia soft, il LECC e la sanitizzazione dei prompt. Affronta il problema aperto della difesa delle pipeline RAG in contesti IDS, estendendo specificamente i modelli di minaccia alle basi di conoscenza dei flussi di rete.
C2: Architettura Multi-Agente a Tre Livelli: Gli autori presentano una pipeline completa (Rilevamento, Ragionamento, Risposta) valutata su CIC-UNSW-NB15. Sebbene il documento si concentri sulla classificazione del Tier 1 sotto condizioni avversarie, esso delinea l'integrazione architettonica degli agenti di ragionamento e risposta.

Risultati Sperimentali
Gli esperimenti sono stati condotti utilizzando il dataset CIC-UNSW-NB15 con una base di conoscenza di 2.000 documenti. La valutazione si è concentrata sul recupero rispetto alle prestazioni pulite e non difese ( $R = F1_{def} / F1_{clean, undef}$ ).

Avvelenamento del Recupero (Retrieval Poisoning):
- Sotto tassi di avvelenamento compresi tra l'1% e il 30%, il sistema difeso ha mantenuto un recupero significativo.
- Al 1% di avvelenamento, il sistema ha raggiunto $R \approx 1.0$ (recupero totale).
- Al 30% di avvelenamento, il recupero era $R \approx 0.57$ .
- Studi di Ablazione: Il LECC (D2) è stato identificato come il principale motore di robustezza. Il filtraggio della fiducia soft (D1) da solo non ha fornito alcun miglioramento rispetto alla baseline non difesa, e la sanitizzazione dei prompt (D3) non ha avuto impatto sulle metriche di avvelenamento (poiché mira all'injection, non al ridenominamento delle etichette).
- Attacchi a Basso Volume: L'iniezione di soli 1–2 documenti avvelenati (circa lo 0,05% della KB) non ha influenzato significativamente le prestazioni quando si utilizza il recupero $k=5$ , poiché i vicini puliti hanno diluito l'attacco.
Prompt Injection:
- Recupero Multi-documento ( $k=5$ ): La presenza di vicini puliti e corroboranti ha limitato il successo del ribaltamento delle etichette (label-flip) allo 0,6–2,4%, anche con istruzioni iniettate.
- Recupero Singolo-documento ( $k=1$ ): I tassi di successo sono saliti al 35–55%, poiché i meccanismi di declassamento non possono funzionare efficacemente quando esiste un solo candidato.
- La difesa ha mantenuto con successo prestazioni vicine a quelle pulite per i payload "soft", ma ha incorso alcuni costi collaterali di riordinamento per i payload con parole chiave "strong".
Prestazioni Pulite e Latenza:
- Il sistema difeso ha incorso un overhead trascurabile sul traffico pulito.
- La latenza end-to-end è stata di circa 1,9 secondi, dominata dalla generazione dell'LLM (~1,86s), con il modulo di difesa che ha aggiunto solo ~5ms.
- Confronto con la Baseline: Sui dati puliti, RAG-IDS (Macro-F1 ~0,12–0,27) è rimasto indietro rispetto ai classificatori tradizionali basati su alberi come XGBoost (Macro-F1 ~0,68). Gli autori dichiarano esplicitamente che RAG-IDS non è un sostituto diretto ad alta precisione per i rilevatori ML, ma serve come uno strato complementare per l'esplicabilità e la robustezza del livello di recupero.

Significato e Rivendicazioni
Il documento posiziona RAG-IDS non come un rilevatore standalone superiore, ma come uno studio di difesa per le pipeline basate su RAG nelle operazioni di sicurezza. La sua importanza risiede nel:

Validare i Meccanismi di Difesa: Dimostrare che il declassamento soft combinato con i controlli di coerenza tra embedding ed etichetta (LECC) può mitigare efficacemente l'avvelenamento della conoscenza nei contesti IDS senza il filtraggio catastrofico visto in tentativi precedenti.
Definire il Modello di Minaccia: Formalizzare le vulnerabilità specifiche di RAG-IDS (avvelenamento e injection) e mostrare come il recupero multi-documento agisca come una difesa implicita contro la prompt injection.
Viabilità del Deployment Ibrido: Argomentare che RAG-IDS è più adatto a un deployment ibrido accanto a classificatori ML ad alto throughput e alta precisione, fornendo ragionamento esplicabile e resilienza contro la corruzione dei dati che i modelli tradizionali non possono offrire.

Gli autori concludono che, sebbene l'attuale accuratezza di rilevamento sui dati puliti sia inferiore ai baseline ML tradizionali, il sistema recupera con successo la qualità della classificazione sotto attacco, offrendo una base esplicabile e resiliente agli attacchi per i futuri sistemi di rilevamento delle intrusioni.