Detecting RAG Extraction Attack via Dual-Path Runtime Integrity Game

1. Het Probleem: RAG Knowledge Base Leakage

Retrieval-Augmented Generation (RAG) systemen verrijken Large Language Models (LLM's) met externe kennisbronnen, maar introduceren een kritieke kwetsbaarheid: Knowledge Base Leakage.

• Aanvalsscenario: Adversariale prompts kunnen het model ertoe brengen om vertrouwelijke of propriëtaire informatie uit de opgehaalde documenten (chunks) te onthullen aan niet-geautoriseerde gebruikers.
• Evolutie van aanvallen: Recent onderzoek toont aan dat aanvallen adaptief en iteratief kunnen zijn (bijv. Pirates en RAG-Thief). Aanvallers gebruiken feedback van het model om hun queries te verfijnen en kunnen zo stapsgewijs de gehele kennisbasis reconstrueren zonder directe toegang tot de index of prompts.
• Tekortkomingen van bestaande verdedigingen:
  • Bestaande methoden zijn vaak passief (verhogen alleen de kosten voor de aanvaller).
  • Ze vereisen ingrijpende wijzigingen in de RAG-pijplijn (zoals herindexering of beperkte generatie).
  • Ze zijn kwetsbaar voor adaptieve aanvallen die semantische of lexische detectie omzeilen.
  • Het onderscheid tussen legitiem gebruik van kennis en ongeautoriseerde lekken is lastig te maken op basis van semantische gelijkenis alleen, omdat beide gebaseerd zijn op dezelfde bronmateriaal.

2. Methodologie: CanaryRAG

Het paper introduceert CanaryRAG, een runtime-verdedigingsmechanisme dat is geïnspireerd op stack canaries uit softwarebeveiliging. In plaats van te proberen lekken te voorkomen, detecteert het de schending van de integriteit van het systeem.

Kernconcept: Runtime Integriteit

Het idee is dat opgehaalde inhoud (retrieved chunks) als "beschermd geheugen" fungeert. Normaal gesproken zou het model deze inhoud gebruiken om een antwoord te genereren, maar niet de ruwe tekst of specifieke markers kopiëren. Als het model deze inhoud echter direct reproduceert, is de integriteit geschonden.

De Dual-Path Runtime Integrity Game

CanaryRAG transformeert het detectieprobleem naar een spel met twee parallelle paden, beide verrijkt met canary tokens (speciale, niet-semantische strings die in de opgehaalde chunks worden ingevoegd):

1. Target Path (Doelpad):

   • Dit is het pad voor de daadwerkelijke gebruikersquery.
   • Verwachting: Bij normaal gebruik mogen er nooit canary tokens in de output verschijnen. Ze zijn taak-irrelevant.
   • Detectie: Als een canary token in de output verschijnt, is dit een direct bewijs van lekken (integriteitsschending).

2. Oracle Path (Orakelpad):

   • Dit pad wordt parallel uitgevoerd met een aangepaste query die specifiek is ontworpen om de canary tokens te forceren (bijv. "herhaal de context").
   • Verwachting: In een niet-adaptieve situatie (waar de verdediging niet bekend is of niet wordt omzeild) moeten de canary tokens hier verschijnen.
   • Doel: Dit pad fungeert als een proef om te zien of het model nog wel in staat is om de canary's te genereren.

Detectie van Adaptieve Aanvallen

Adaptieve aanvallers proberen de detectie te omzeilen door:

• De output te verbergen (obfuscatie).
• Het model te instrueren om canary tokens niet te genereren (suppression).

CanaryRAG detecteert dit door de twee paden te vergelijken:

• Als het Target Path een canary toont -> Directe lekdetectie.
• Als het Oracle Path geen canary toont (terwijl het dat wel zou moeten doen) -> Dit betekent dat de aanvaller actief probeert de generatie van canary's te onderdrukken (evasion). Dit wordt ook gezien als een lek.

Technische Implementatie:

• Injectie: Een functie $\Phi$ voegt niet-semantische strings ($\tau$) toe aan de opgehaalde chunks ($\tilde{C}$).
• Streaming Detectie: De output wordt token-voor-token geanalyseerd. Er wordt een schuifvenster gebruikt om te controleren of een canary-string voorkomt.
• Plug-and-Play: Het vereist geen hertraining van het model, geen wijziging van de retriever of de kennisbank. Het werkt als een laag bovenop de bestaande RAG-pijplijn.

3. Belangrijkste Bijdragen

1. Nieuw Perspectief: Het paper recast RAG-extractieaanvallen als een schending van runtime-integriteit in plaats van een probleem van semantische matching. Dit is een verschuiving van inhoudsdetectie naar gedragsmonitoring.
2. CanaryRAG Mechanisme: Een lichtgewicht, model-agnostisch en plug-and-play oplossing die willekeurige canary tokens injecteert en lekken detecteert door monitoring tijdens het decoderen.
3. Dual-Path Strategie: De introductie van het Oracle-pad maakt het systeem robuust tegen adaptieve aanvallers die proberen de detectie te omzeilen door suppressie of obfuscatie.
4. Eerste Systematische Studie: Dit is, voor zover bekend, het eerste systematische onderzoek naar detectie-gebaseerde verdedigingen voor RAG-extractieaanvallen.

4. Resultaten en Evaluatie

De auteurs hebben CanaryRAG getest tegen state-of-the-art aanvallen (Pirates en RAG-Thief) op drie verschillende RAG-agenten (ChatDoctor, Mini-Wikipedia, Mini-BioASQ).

• Effectiviteit (Chunk Recovery Rate - CRR):

  • CanaryRAG reduceerde de CRR tot 0,04x (een reductie van ~96%) ten opzichte van de "No Defense" baseline.
  • Bestaande methoden zoals Summarize (0,67x) en RAGFort (0,60x) waren aanzienlijk minder effectief.
  • Zelfs onder versterkte, adaptieve aanvallen bleef de CRR extreem laag.

• Robuustheid tegen Adaptieve Aanvallen:

  • In een test met adaptieve aanvallers (die weten dat er canary's zijn en proberen ze te onderdrukken), behaalde CanaryRAG met het Oracle-pad een True Positive Rate (TPR) van 94,1% tot 95,6%.
  • Zonder het Oracle-pad daalde de TPR drastisch (tot 23,4%), wat het belang van de dual-path benadering bevestigt.

• Impact op Gebruikerservaring:

  • Kwaliteit: De kwaliteit van de antwoorden voor legitieme gebruikers (gemeten met BERTScore) bleef nagenoeg onveranderd.
  • False Positives: De False Positive Rate (FPR) was extreem laag (< 0,15%), wat betekent dat legitieme gebruikers zelden onterecht geblokkeerd worden.
  • Latentie: De toegevoegde latency was verwaarloosbaar. In tegenstelling tot methoden die samenvattingen genereren of cascade decoding gebruiken, voegt CanaryRAG geen significante vertraging toe.

• Kosten:

  • CanaryRAG vereist geen offline training en heeft een constante computerkost (FLOPs) die niet schaalt met de grootte van de kennisbank of het generator-model.

5. Betekenis en Conclusie

CanaryRAG biedt een praktische, schaalbare en robuuste oplossing voor het beveiligen van propriëtaire data in RAG-systemen.

• Paradigmaverschuiving: Het verlegt de focus van het voorkomen van lekken (wat moeilijk is) naar het detecteren van schendingen van de uitvoeringsintegriteit in real-time.
• Implementatie: Omdat het geen wijzigingen vereist in de onderliggende architectuur of training, kan het direct worden ingezet in bestaande systemen.
• Veiligheid: Het biedt een "defense-in-depth" laag die specifiek gericht is op het voorkomen van reconstructie van kennisbases, wat een kritieke bedreiging vormt voor bedrijven die RAG gebruiken voor gevoelige data.

Samenvattend introduceert CanaryRAG een nieuwe standaard voor RAG-beveiliging door het concept van software-integriteit (canaries) succesvol toe te passen op generatieve AI, met superieure prestaties ten opzichte van bestaande methoden en minimale impact op de bruikbaarheid.