Technische Samenvatting: LeakDojo: Decoderen van de Lekkagebedreigingen van RAG-systemen

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen verrijken Large Language Models (LLM's) met externe kennis, maar introduceren aanzienlijke beveiligingskwetsbaarheden. Hoewel het opbouwen en onderhouden van hoogwaardige RAG-kennisdatabases kostbaar is en gespecialiseerde expertise vereist, is het relatief eenvoudig om de opgehaalde kennisfragmenten die tijdens inferentie aan LLM's worden blootgesteld, te extraheren. Deze asymmetrie creëert een aanvalsoppervlak waarbij tegenstanders via de RAG-interface eigendomskennis kwaadwillend kunnen extraheren.

Bestaande studies over RAG-lekkage-aanvallen lopen tegen drie primaire beperkingen aan:

1. Gebrek aan Systematische Beoordeling: Huidig onderzoek richt zich vaak op ad-hoc RAG-systemen met variërende structuren, wat directe vergelijking bemoeilijkt.
2. Evolutie van Complexiteit: Moderne RAG-architecturen incorporeren steeds vaker verbetermodules (bijv. herrangschikkers, herschrijvers, samenvatters) en verdedigingsmechanismen, die bestaande studies niet systematisch evalueren in de context van lekkagerisico's.
3. Evolutie van Modelcapaciteiten: Nieuwe LLM's vertonen sterkere instructievolgende capaciteiten, maar de correlatie tussen deze capaciteiten en lekkagerisico blijft onderbelicht.

Methodologie: Het LeakDojo-raamwerk

Om deze hiaten aan te pakken, stellen de auteurs LeakDojo voor, een configureerbaar, modulair raamwerk ontworpen voor de gecontroleerde evaluatie van RAG-lekkagerisico's. Geïnspireerd door ontwerpprincipes voor modulariteit, ontbindt LeakDojo het RAG-ecosysteem in drie onafhankelijk configureerbare componenten:

1. Configureerbare RAG-systemen: Het raamwerk modelleert RAG-pijplijnen als een reeks modules, waaronder retrievers, herrangschikkers, herschrijvers en samenvatters. Dit stelt onderzoekers in staat om de impact van specifieke architecturale keuzes (bijv. het toevoegen van een herrangschikker) op lekkagerisico's te isoleren.
2. Configureerbare Aanvalsstrategieën: Aanvallen worden gemodelleerd als een combinatie van twee ontkoppelde componenten:
   • Querygenerator: Verantwoordelijk voor het maken van "ankerqueries" ($A_i$) die statisch kunnen werken of adaptief kunnen verfijnen op basis van systeemfeedback.
   • Adversariële Instructie: Een constante instructie ($I$) ontworpen om de LLM ertoe aan te zetten opgehaalde fragmenten letterlijk te herhalen.
   • De uiteindelijke adversariële query wordt gevormd als $Q^i_{adv} = A_i \oplus I$. Deze formulering staat onafhankelijke analyse toe van de effectiviteit van querygeneratie en de vatbaarheid voor instructievolging.
3. Configureerbare Verdedigingsmechanismen: Het raamwerk ondersteunt verdedigingen op invoerniveau (intentiedetectoren) en uitvoerniveau (contentdetectoren) die in- of uitgeschakeld kunnen worden om hun effectiviteit tegen specifieke aanvalsvectoren te testen.

Experimentele Opstelling:
De auteurs hebben uitgebreide experimenten uitgevoerd met LeakDojo over:

• 14 LLM's: Inclusief diverse architecturen (Dense, MoE) en schalen (7B tot 235B parameters), zoals Qwen-3, DeepSeek-V3, Gemini en GPT-varianten.
• 4 Datasets: Over wetenschappelijke (SCIFACT), medische (NFCORPUS), zakelijke (ENRON EMAIL) en financiële (FIQA) domeinen.
• 6 Bestaande Aanvallen: Benchmarking van TGTB, PIDE, DGEA, RAG-Thief, PoR en IKEA.
• Maten: De studie gebruikte vier maten: Chunk Cumulative Leakage (CCL), Successful Leak Trigger (SLT), Adversarial Retrieval Coverage (ARC) en Chunk Recovery Rate (CRR).

Belangrijkste Bevindingen

1. Onafhankelijke Bijdragen van Aanvalcomponenten

De studie onthult dat lekkage wordt gedreven door twee onafhankelijke factoren: het vermogen van de querygenerator om diverse fragmenten op te halen (ARC) en het vermogen van de adversariële instructie om het model te triggeren deze te lekken (SLT). De totale lekkage (CCL) wordt goed benaderd door het product van deze twee componenten ($CCL \approx ARC \times SLT$). Dit suggereert dat het verbeteren van één component zonder de ander opbrengstvermindering oplevert.

2. Instructievolgende Capaciteit Correlereert met Risico

Er werd een significante positieve correlatie gevonden tussen het instructievolgende vermogen van een LLM (gemeten door IFEval-scores) en het lekkagerisico. Sterkere modellen, die beter zijn in het naleven van gebruikersinstructies, zijn onbedoeld kwetsbaarder voor adversariële instructies die de herhaling van opgehaalde context eisen. Zoals getoond in Figuur 1 van het paper, vertoonden modellen met hogere IFEval-scores hogere waarschijnlijkheid van lekkage.

3. De Betrouwbaarheids-Beveiliging Trade-off

Het onderzoek identificeert een fundamentele trade-off tussen RAG-betrouwbaarheid (de nauwkeurigheid van het gegenereerde antwoord ten opzichte van de opgehaalde context) en beveiliging. Verbeteringen die de betrouwbaarheid vergroten, zoals het gebruik van herschrijvers om de ophaalbereik te verbreden, bleken lekkagerisico's te verhogen. Omgekeerd verminderen modules zoals samenvatters die lekkage reduceren door de integriteit van de context te verstoren, vaak de betrouwbaarheid en bruikbaarheid van het RAG-systeem.

4. Instabiliteit van Bestaande Aanvallen

Huidige lekkage-aanvallen vertonen een instabiele prestatie over verschillende RAG-configuraties en LLM's. Een aanval die zeer effectief is tegen één model-datasetpaar, kan slecht presteren tegen een ander, wat een gebrek aan universaliteit in bestaande aanvalsstrategieën benadrukt.

Betekenis en Bijdragen

Het paper levert drie primaire bijdragen:

1. LeakDojo-raamwerk: De auteurs bieden een reproduceerbaar, modulair evaluatiehulpmiddel dat gecontroleerde experimenten over RAG-lekkage mogelijk maakt. Dit staat toe variabelen (model, architectuur, aanvalsstrategie) te isoleren om hun specifieke bijdrage aan het risico te begrijpen.
2. Uitgebreide Benchmarking: Door zes bestaande aanvallen te evalueren over diverse LLM's en datasets, biedt de studie een gestandaardiseerde baseline voor het begrijpen van de huidige staat van RAG-beveiliging, en onthult het gebrek aan universaliteit in huidige aanvalsmethoden.
3. Hanteerbare Inzichten: De bevindingen bieden praktische richtlijnen voor practitioners. Specifiek suggereert de identificatie van de correlatie "instructievolging versus lekkage" dat het inzetten van sterkere LLM's zonder specifieke tegenmaatregelen de kwetsbaarheid kan vergroten. Bovendien impliceert de waargenomen trade-off tussen betrouwbaarheid en beveiliging dat het optimaliseren van RAG voor bruikbaarheid onbedoeld gegevensprivacy kan compromitteren.

De auteurs concluderen dat LeakDojo de ontwikkeling van sterkere aanvallen en robuustere verdedigingen faciliteert, met als doel toekomstig onderzoek in het beveiligen van RAG-systemen tegen gegevenslekken te versnellen. De codebase is publiek vrijgegeven om dit doel te ondersteunen.