Technische Samenvatting: PRA-RAG

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen verbeteren Large Language Models (LLM's) door externe kennis te integreren, maar blijven kwetsbaar voor retrieval corruption attacks (retrieval-corruptieaanvallen). In deze scenario's injecteren aanvallers kwaadaardige teksten (vergiftigde documenten) in de externe kennisdatabase. Wanneer een gebruikersvraag wordt verwerkt, kan de retriever deze vergiftigde teksten selecteren, waardoor de LLM wordt gestuurd naar door de aanvaller gespecificeerde, onjuiste outputs (bijv. het beantwoorden van "Mount Fuji" op de vraag "Wat is de hoogste berg?").

Bestaande verdedigingsmechanismen kampen met aanzienlijke beperkingen:

• Gebrek aan theoretische garanties: De meeste methoden (bijv. AstuteRAG, TrustRAG) vertrouwen op heuristische detectie of de interne kennis van de LLM, en bieden geen formele certificering van robuustheid.
• Afhankelijkheid van LLM-kennis: Verdedigingen die vereisen dat de LLM vergiftigde inhoud herkent, falen wanneer het model niet over voldoende domeinkennis beschikt om kwaadaardige inputs te onderscheiden.
• Hoge computationele overhead: Methoden die theoretische garanties bieden, zoals RobustRAG, vereisen vaak meerdere LLM-generaties, wat resulteert in een onaanvaardbare latentie.
• Ongeverifieerde betrouwbaarheid: Huidige benaderingen missen een kwantitatief kader om de maximale impact van vergiftiging te meten of de robuustheid van het systeem onder adversariële omstandigheden te certificeren.

Methodologie: PRA-RAG

De auteurs stellen PRA-RAG voor (Provably Robust Aggregation in Retrieval-Augmented Generation), een model-agnostisch aggregatie-algoritme ontworpen om vergiftiging tijdens de retrieval-fase te mitigeren zonder te vertrouwen op de interne kennis van de LLM.

Kernworkflow

1. Diverse Retrieval: Het systeem haalt opzettelijk een grotere set Top-$K$ documenten op (waarbij $K$ groter is dan de standaardvereiste) om de informatieve diversiteit te vergroten en de invloed van een enkele kwaadaardige tekst te verdunnen.
2. Combinatorische Steekproef: De opgehaalde set wordt ontleed in meerdere deelverzamelingen van grootte $n$. Elke deelverzameling wordt gecodeerd in een hoogdimensionale embedding-vector.
3. Geometrische Robuuste Aggregatie:
   • Het algoritme werkt in de embedding-ruimte om een minimum-radius bol te identificeren die meer dan de helft van de subset-embeddings omsluit.
   • Het centrum van deze bol vertegenwoordigt een "robuuste deelverzameling" die de consensus van de meerderheid (schone) teksten vastlegt terwijl uitschieters (vergiftigde teksten) worden uitgesloten.
   • Deze aanpak rust op een combinatorische meerderheid: zolang het aantal vergiftigde teksten $\epsilon$ onder een bepaalde drempel ligt ten opzien van $K$ en $n$, overstijgt het aantal schone deelverzamelingen het aantal vergiftigde deelverzamelingen.
4. Gewogen Aggregatie: Een gewogen gemiddelde van de embeddings in de geselecteerde robuuste deelverzameling wordt berekend om de uiteindelijke context voor de LLM te genereren.

Theoretisch Kader

Het artikel introduceert een Provable Average Deviation (PAD) metriek. Door de semantische verschuiving veroorzaakt door vergiftiging te modelleren als een set-perturbatieprobleem, leiden de auteurs een theoretische bovengrens af voor de afwijking tussen de geaggregeerde representatie van schone data en vergiftigde data.

• Certificering: De methode biedt een gecertificeerde grens ($d \le (1+\beta)\hat{R}$) op de semantische afwijking, wat garandeert dat de geaggregeerde output binnen een controleerbare marge blijft, zelfs onder een aanval.
• Schaalbaarheid: Om de combinatorische explosie van deelverzamelingen ($\binom{K}{n}$) aan te pakken, maken de auteurs gebruik van een Monte Carlo-steekproefstrategie. Zij bewijzen dat het samplen van een subset van combinaties een statistisch begrensde benadering biedt van de optimale robuustheidsstraal zonder significante prestatievermindering.

Belangrijkste Bijdragen

1. Theoretische Certificering: Dit werk biedt de eerste theoretische karakterisering en certificering van de maximale semantische afwijking veroorzaakt door vergiftigde retrievals in RAG-systemen, en biedt een principiële metriek (PAD) om robuustheid te evalueren.
2. Bewijsbaar Robuust Algoritme: PRA-RAG introduceert een geometrische aggregatiemethode die de invloed van vergiftigde retrieval effectief mitigeert door het centrum van een meerderheid-omsluitende Minimum Enclosing Ball (MEB) te selecteren, waardoor de generatienauwkeurigheid behouden blijft zonder dat LLM-gebaseerde detectie nodig is.
3. Empirische Validatie: Uitgebreide experimenten over meerdere datasets (Natural Questions, MS-MARCO, HotpotQA) en diverse LLM's (Mistral, Llama, Vicuna, GPT-varianten) tonen aan dat PRA-RAG de huidige state-of-the-art verdedigingen aanzienlijk overtreft.

Experimentele Resultaten

• Robuustheid: Bij een vergiftigingspercentage van 20% verminderde PRA-RAG de Attack Success Rate (ASR) tot slechts 1%, terwijl een nauwkeurigheid (ACC) van 71% werd behouden op de MS-MARCO dataset.
• Vergelijking: De methode presteerde consequent beter dan baselines zoals RobustRAG, InstructRAG en TrustRAG, waarbij lagere ASR en hogere ACC werden behaald bij diverse aanvalsstrategieën (PoisonedRAG, Adversarial Decoding, DoS, CorruptRAG).
• Efficiëntie: In tegen tegenstelling tot methoden die meerdere LLM-generaties vereisen, vertoonde PRA-RAG de laagste inferentielatentie onder de vergeleken verdedigingen (bijv. ~6 seconden versus ~27 seconden voor RobustRAG op MS-MARCO), wat het praktisch maakt voor real-world implementatie.
• Ablatie-studies: De resultaten bevestigden dat het verhogen van het aantal opgehaalde teksten ($K$) en de subsetgrootte ($n$) de robuustheid verbetert (lagere PAD-scores), terwijl Monte Carlo-sampling de prestaties handhaaft met een verminderde computationele overhead.

Betekenis en Claims

Het artikel beweert dat PRA-RAG een kritiek gat in RAG-beveiliging opvult door het verdedigingsparadigma te verschuiven van detectie-gebaseerd (vertrouwen op de LLM om leugens te herkennen) naar aggregatie-gebaseerd (leugens wiskundig filteren via geometrische consensus).

• Model-Agnostische Garantie: De robuustheidsgarantie is afgeleid van de geometrische eigenschappen van de retrieval-embeddings, niet van de specifieke capaciteiten van de LLM, waardoor het effectief blijft zelfs wanneer het model beperkte kennis heeft van de opgehaalde inhoud.
• Kwantitatieve Beveiliging: Door een gecertificeerde bovengrens te bieden op de semantische afwijking, maakt dit werk een kwantitatieve beoordeling van de systeembetrouwbaarheid onder adversariële omstandigheden mogelijk, wat verder gaat dan louter empirische observaties.
• Praktische Leefbaarheid: De auteurs benadrukken dat hun aanpak sterke verdediging bereikt met een lage computationele overhead, waarbij een balans wordt gevonden tussen beveiliging en bruikbaarheid zonder de "over-refusal" of hoge latentie die bij eerdere robuuste methoden wordt gezien.

De auteurs erkennen beperkingen en merken op dat de verdediging ervan afhangt van het feit dat het aantal vergiftigde teksten onder een specifieke drempel blijft en dat de constructie van de deelverzamelingen een zekere computationele overhead met zich meebrengt, hoewel dit beheersbaar en afruilbaar is tegen de behoeften aan beveiliging.