Graphs Don't Stay Secret: Practical Subgraph Reconstruction Attacks on Defended Graph RAG

Technische Samenvatting: Grafen Blijven Niet Geheim: Praktische Subgraaf-reconstructie-aanvallen op Verdedigde Graph RAG

Probleemstelling
Graph-gebaseerde Retrieval-Augmented Generation (Graph RAG) verbetert het redeneervermogen van Large Language Models (LLM's) door gestructureerde subgrafen uit kennisbasen (KB's) op te halen in plaats van ongestructureerde tekstfragmenten. Hoewel dit globaal en compositioneel redeneren verbetert, introduceert het een kritieke, onderbelichte dreiging: aanvallers kunnen deze gestructureerde subgrafen reconstrueren om propriëtaire kennisactiva (bijv. organisatorische ontologieën, schema's) en gevoelige privédata (bijv. functierollen van werknemers, patiendiagnoses) te exfiltreren.

Bestaande data-extractie-aanvallen tegen RAG-systemen falen grotendeels in verdedigde Graph RAG-implementaties. Eerdere methoden vertrouwen op "repeat and list"-prompts of jailbreak-technieken die expliciet vragen om context-onthulling. Bij Graph RAG triggeren deze benaderingen veiligheidsweigeringen of induceren ze de LLM om de opgehaalde inhoud te parafraseren of samen te vatten. Deze parafrasering corrumpeert de precieze entiteit-relatie-triples die vereist zijn voor graafreconstructie, waardoor eerdere aanvallen falen bij het herstellen van relatietypes en het behouden van de precisie op instantieniveau. Het artikel identificeert drie specifieke faalmodi in verdedigde omgevingen: (1) expliciete exfiltratie-intentie triggert weigeringen; (2) door veiligheid geïnduceerde parafrasering verbreekt de nauwkeurigheid van relatietypes; en (3) vaste query-templates verzadigen snel, wat leidt tot afnemende meeropbrengsten.

Methodologie: GRASP
Om deze uitdagingen aan te pakken, stellen de auteurs GRASP voor (Graph RAG Reconstruction Attack for Subgraph Profiling), een closed-box, multi-turn aanval die is ontworpen om een doelgerichte één-hop subgraaf uit een verdedigd Graph RAG-systeem te reconstrueren. GRASP opereert zonder toegang tot de interne retriever, het embedding-model of het KB-schema, en vertrouwt uitsluitend op de standaard API.

GRASP is gebouwd op drie kernontwerpprincipes afgeleid van de faalanalyse van eerdere aanvallen:

1. Taakherformulering (Intentie-evasie): In plaats van expliciet te vragen om de graaf te "dumpen" of te "lijsten", herformuleert GRASP de extractie als een legitieme, beperkte relatieverwerkings-taak. De aanval spoort de LLM aan om te fungeren als een gespecialiseerde assistent die relaties extraheert uit opgehaalde contexttabellen, waardoor veiligheidsfilters die overtente data-exfiltratie blokkeren, worden omzeild.
2. Instantie-gegrondde Extractie (Fidelity): Om door veiligheid geïnduceerde parafrasering en hallucinaties tegen te gaan, dwingt GRASP een strikt outputformaat af dat relatie-quadruples vereist: (ID, BRON_ENTITEIT, RELATIE_TYPE, DOEL_ENTITEIT). Cruciaal is dat het een per-record ID introduceert voor elke relatie-instantie. Deze ID fungeert als een scheidingsteken, waardoor het model wordt gedwongen elke geëxtraheerde relatie terug te traceren naar een specifiek record in de opgehaalde context. Dit mechanisme vermindert het mengen van entiteiten en relaties (hallucinaties) aanzienlijk en behoudt de exacte lexicale vorm van relatietypes.
3. Adaptieve Ontdekking (Diversiteit): Om retrieval-verzadiging en query-budgetten te overwinnen, gebruikt GRASP een Discovery-Aware Prompt Scheduler. Deze scheduler beheert een set doelgerichte diversiteit-templates:
   • Context-frame drift: Verschuift de focus van de retrieval met domeinspecifieke ankers om nieuwe relaties te ontdekken.
   • Type expand: Exploiteert bekende relatietypes om gemiste instanties te vinden.
   • Type explore: Richt zich op onbekende relatietypes om de structurele dekking uit te breiden.
   • Residual extract: Voert een conservatieve sweep uit voor resterende relaties met een hoge betrouwbaarheid.
     De scheduler selecteert adaptief templates op basis van de momentum van nieuwe ontdekkingen (met behulp van Exponential Moving Averages) en een Good-Turing nieuwheidschatting om te stoppen wanneer de marginale winst verwaarloosbaar is.

Kernbijdragen

• Faalanalyse: Het artikel biedt een systematische analyse van waarom eerdere RAG-extractie-aanvallen falen tegen Graph RAG, waarbij wordt vastgesteld dat expliciete intentie weigeringen triggert en parafrasering de relatie-getrouwheid vernietigt.
• GRASP Aanval: Introductie van een nieuwe aanval die een hoge-getrouwheid subgraaf-reconstructie bereikt in verdedigde settings door de taak te herformuleren, instantie-gronding af te dwingen en adaptieve scheduling te gebruiken.
• Empirische Validatie: Demonstratie dat GRASP tot 82,9% F1 (RType) bereikt bij het reconstrueren van getypeerde relaties over twee real-world datasets (Enron e-mails, HealthCareMagic dialogen) en vier safety-aligned LLM's (GPT-4o-mini, GPT-5-mini, Claude Haiku 4.5, Qwen3), terwijl eerdere baselines vaak volledig falen in het herstellen van relatietypes.
• Verdedigingsevaluatie: Een systematische evaluatie van bestaande verdedigingen (prompt-gebaseerd, decoding-time, runtime monitoring) en de voorstel van twee lichtgewicht context-constructie verdedigingen: ID Alignment (het inklappen van instantie-ID's om mixing te induceren) en Decoy (het injecteren van misleidende eindkolommen).

Resultaten

• Aanvalsprestaties: GRASP presteert significant beter dan baselines. Terwijl baselines zoals "repeat context" of jailbreak-prompts bijna nul F1 bereiken voor getypeerde relaties (RType) onder veilige prompts, behoudt GRASP een hoge precisie en recall. Bijvoorbeeld, op de Enron-dataset met GPT-4o-mini behaalde GRASP 65,6% F1 (RType), vergeleken met <1% voor de meeste baselines.
• Robuustheid: De aanval is effectief overdraagbaar naar verschillende Graph RAG-frameworks (GraphRAG, LightRAG, nano-GraphRAG) en blijft effectief, zelfs met strikte query-budgetten (zo laag als 3 queries) en onbekende doel-entiteiten (via een twee-fasen ontdekkingsproces).
• Effectiviteit van Verdediging:
  • Baseline Verdedigingen: Standaard veilige prompts, samenvattingsverdedigingen en zelfs runtime intentie-screening (bijv. Bedrock Guardrails) verminderen de dreiging, maar elimineren deze niet. Bijvoorbeeld, Bedrock blokkeerde 61,3% van de queries maar liet 47,1% F1 reconstructiecapaciteit over.
  • Voorgestelde Verdedigingen: De voorgestelde verdedigingen van de auteurs, ID Alignment en Decoy, zijn zeer effectief. Wanneer gecombineerd met een veilige prompt, verminderen zij de GRASP F1 tot in de mid-teens (bijv. 14,8% voor Qwen3), terwijl de gunstige QA-utiliteit (gemeten via Rouge-L F1) behouden blijft. De auteurs merken echter op dat het risico op residuele extractie blijft bestaan, zelfs onder gelaagde verdedigingen.

Betekenis en Claims
Het artikel stelt dat doelgerichte subgraaf-reconstructie een concreet vertrouwelijkheidrisico vormt in Graph RAG-systemen, zelfs wanneer deze beschermd worden door standaard veiligheidsprompts. Het betoogt dat de "gestructureerde lekkage" van Graph RAG verschillend is van tekstlekkage, omdat het organisatie-specifieke ontologieën en relationele activa blootlegt die zeer waardevol zijn voor diefstal van intellectueel eigendom en privacy-inferentie.

De auteurs claimen bescheiden dat hoewel hun voorgestelde verdedigingen (ID Alignment en Decoy) de reconstructie-getrouwheid aanzienlijk verminderen, ze de dreiging niet volledig elimineren. Het artikel concludeert dat huidige intentie-gebaseerde blokkering en runtime monitoring onvoldoende zijn om Graph RAG-extractie te voorkomen, wat de noodzaak voor dreigingsspecifieke waarborgen vereist die de structurele integriteit van de opgehaalde context zelf verstoren. Het werk dient als een oproep tot actie voor de ontwikkeling van sterkere, Graph RAG-specifieke mitigatiestrategieën die verder gaan dan eenvoudige prompt engineering.