Adversarial Hubness Detector: Detecting Hubness Poisoning in Retrieval-Augmented Generation Systems

Dit paper introduceert Hubscan, een open-source beveiligingsscanner die hubness-vergiftiging in Retrieval-Augmented Generation-systemen detecteert door een multi-detectorarchitectuur te gebruiken die statistische analyse, clusterverdeling en stabiliteitstests combineert om schadelijke 'hubs' in vectorindexen te identificeren.

De kern

Stel je voor dat je een superintelligente bibliothecaris hebt (een AI) die al je vragen beantwoordt. Maar deze bibliothecaris kent de wereld niet uit zijn hoofd; hij moet eerst snel in een enorme, digitale bibliotheek zoeken naar het juiste boekje om je antwoord te geven. Dit heet een RAG-systeem (Retrieval-Augmented Generation).

Het probleem? Er is een sluwe hacker die een magische sleutel (een "Hub") in de bibliotheek heeft verstopt.

Het Probleem: De "Magische Sleutel" (Hubness)

Normaal gesproken zoekt de bibliothecaris naar boeken die het meest lijken op wat je vraagt. Als je vraagt over "appels", zoekt hij naar fruit. Als je vraagt over "auto's", zoekt hij naar voertuigen.

De hacker maakt echter een magische sleutel die zo is ontworpen dat hij op alles lijkt.

• Vraag je over "appels"? De sleutel opent het kastje.
• Vraag je over "auto's"? De sleutel opent het kastje.
• Vraag je over "hoe maak ik een bom"? De sleutel opent het kastje.

In de wereld van AI noemen we dit een "Hub". Het is een document dat onterecht in de top-resultaten verschijnt voor duizenden verschillende vragen. De hacker kan deze sleutel gebruiken om nepnieuws, haatzaaierij of gevaarlijke instructies in te smokkelen, ongeacht wat de gebruiker vraagt.

De Oplossing: De "Hubness Detector"

De auteurs van dit paper (van Cisco en de universiteit van Tel Aviv) hebben een digitale veiligheidscontrole bedacht, genaamd de Adversarial Hubness Detector.

Stel je voor dat deze detector een super-scherpe politieagent is die door de bibliotheek loopt en kijkt: "Wie is die vreemde gast die bij elke deur staat?"

Hoe werkt deze agent? Hij gebruikt vier slimme trucs:

1. De Statistiek-Check (De "Te vaak" meter):
   De agent telt hoe vaak elk document wordt gevonden. Normaal gesproken wordt een boek over "koffie" alleen gevonden als je naar koffie vraagt. Als een document echter 50% van alle vragen beantwoordt (van "koffie" tot "wolkendek"), is dat verdacht. De agent ziet dit als een statistische uitschieter, net als iemand die in een rij van 100 mensen plotseling 50 keer wordt aangewezen als de snelste.

2. De Verspreidings-Check (De "Alleskunner" test):
   Een normaal document hoort bij één groep (bijv. "sport"). Een hack-document hoort bij alle groepen (sport, politiek, koken, muziek). De agent kijkt of een document uit alle mogelijke hoeken van de bibliotheek wordt opgehaald. Als dat zo is, is het waarschijnlijk een valstrik.

3. De Stabiliteitstest (De "Wankel" test):
   De agent verandert de vragen een klein beetje (bijvoorbeeld: "Hoe maak ik koffie?" wordt "Hoe maak ik een lekkere kop koffie?"). Een normaal document blijft op zijn plek. Een hack-document, dat kunstmatig is gemaakt om overal te passen, valt vaak uit elkaar of verdwijnt. Als een document te stabiel blijft, ook bij kleine veranderingen, is dat een teken van manipulatie.

4. De Specifieke Zone-Check:
   Soms is de hacker slim en maakt hij een sleutel die alleen werkt voor één specifiek onderwerp (bijv. alleen medische vragen). De agent kijkt dan niet naar de hele bibliotheek, maar splitst de vragen op in vakken (medisch, juridisch, etc.) om te zien of er in één vak een verdachte "superster" is.

Wat hebben ze ontdekt?

Deze "politieagent" werkt fantastisch:

• Hij vangt 90% tot 100% van deze hack-documenten op.
• Hij doet dit met heel weinig "valse alarmen". Hij roept niet elke keer "Gevaar!" als iemand gewoon een populair boek vraagt.
• Hij werkt zelfs als de hacker duizenden verschillende vragen probeert te bedriegen.

Waarom is dit belangrijk?

Zonder deze detector kan een hacker de AI volledig manipuleren. Stel je voor dat je een chatbot vraagt: "Wat is een gezond ontbijt?" en de hacker heeft zijn "magische sleutel" zo geplaatst dat de AI altijd een document toont dat zegt: "Eet gif, dat is gezond."

Met de Adversarial Hubness Detector kunnen bedrijven hun AI-systemen scannen voordat ze ze lanceren. Ze kunnen de "magische sleutels" vinden en verwijderen, zodat de AI weer eerlijk en veilig voor jou zoekt.

Kortom: Het is een slimme scanner die ziet wie de "populaire jongen" is die bij iedereen in de klas probeert te zitten, zodat hij de klas niet kan overnemen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Adversarial Hubness Detector: Detecting Hubness Poisoning in Retrieval-Augmented Generation Systems" in het Nederlands.

Titel: Adversarial Hubness Detector: Detectie van Hubness-vergiftiging in Retrieval-Augmented Generation (RAG) Systemen

Auteurs: Idan Habler, Vineeth Sai Narajala, Stav Koren, Amy Chang, Tiffany Saade (Cisco — OWASP & Tel Aviv University).

---

1. Het Probleem: Hubness als Veiligheidsrisico

Retrieval-Augmented Generation (RAG) systemen zijn essentieel voor moderne AI-toepassingen, waarbij Large Language Models (LLM's) externe kennis ophalen via vectorzoekopdrachten. Het paper identificeert een kritieke beveiligingskwetsbaarheid: Hubness.

• Definitie: In hoge-dimensional ruimtes fungeren bepaalde punten (hubs) als "aantrekkingskracht" en verschijnen ze onevenredig vaak in de top-k resultaten voor een groot aantal verschillende zoekopdrachten.
• De Aanval (Hubness Poisoning): Aanvallers kunnen kwaadaardige items (documenten, afbeeldingen) in de vectordatabase injecteren die zijn geoptimaliseerd om hubs te worden. Hierdoor verschijnen deze schadelijke items in de zoekresultaten voor duizenden semantisch ongerelateerde queries.
• Gevolgen: Dit maakt "universele retrieval poisoning" mogelijk, waarbij een enkele kwaadaardige document de zoekresultaten van een systeem kan manipuleren, onjuiste informatie kan injecteren, prompt-injecties kan uitvoeren of data-exfiltratie kan faciliteren (zoals geïllustreerd door incidenten met Microsoft 365 Copilot en Google Gemini).
• Uitdaging: Bestaande methoden om natuurlijke hubness te verminderen (zoals normalisatie) zijn onvoldoende tegen adversariële hubs, die specifiek zijn ontworpen om statistische detectie te omzeilen, vaak door zich te richten op specifieke domeinen of modale grenzen.

2. Methodologie: De Adversarial Hubness Detector

De auteurs presenteren ADVERSARIAL HUBNESS DETECTOR, een open-source scanner die vectorindexen en embeddings analyseert om hubs te identificeren. Het systeem gebruikt een multi-detector architectuur die verschillende aspecten van hub-gedrag combineert:

A. Kernarchitectuur en Werkingsprincipe

Het proces omvat het laden van embeddings, het genereren van representatieve zoekopdrachten (via clustering en random sampling), het uitvoeren van k-NN zoekopdrachten en het analyseren van de hit-rates per document.

B. De Vier Detectoren

Het systeem integreert vier complementaire detectoren:

1. Hubness Detector (Statistische Anomalie):
   • Berekent hoe vaak een document in de top-k resultaten verschijnt.
   • Gebruikt robuste statistiek (Mediaan en Median Absolute Deviation - MAD) om z-scores te berekenen. Dit is cruciaal omdat hubs extreme outliers zijn die de gemiddelde en variantie verstoren. Hubs vertonen z-scores van 5 tot 10+ standaardafwijkingen boven de mediaan.
2. Cluster Spread Detector (Cross-Cluster Verspreiding):
   • Meet of een document zoekopdrachten uit diverse semantische clusters aantrekt.
   • Berekent de Shannon-entropie van de hits over clusters. Een hoge entropie (dicht bij 1.0) duidt op een hub die over veel verschillende onderwerpen verspreid is, in tegenstelling tot normaal content dat zich binnen één domein bevindt.
3. Stability Detector (Perturbatie-resistentie):
   • Test de stabiliteit van de zoekresultaten door ruis (Gaussisch geluid) toe te voegen aan zoekopdrachten.
   • Adversariële hubs zijn vaak centraal in de vectorruimte en behouden hun hoge hit-rates ondanks perturbaties, terwijl normaal content sneller "drijft" naar andere onderwerpen.
4. Deduplication Detector:
   • Identificeert clusters van near-duplicate hubs die door aanvallers zijn ingebracht om de dekking te vergroten of drempels te omzeilen.

C. Geavanceerde Detectiemodi

• Domein-bewuste detectie: Analyseert hubs binnen specifieke semantische domeinen (bijv. medisch of financieel) om "domein-specifieke" aanvallen te vangen die globale detectie zouden kunnen ontlopen.
• Modale-bewuste detectie: Detecteert cross-modale aanvallen (bijv. een tekstitem dat als hub fungeert voor afbeeldingszoekopdrachten) in multimodale systemen.

D. Integratie en Mitigatie

Het systeem ondersteunt diverse vectordatabases (FAISS, Pinecone, Qdrant, Weaviate) en zoekmethodes (vector, hybride, lexicaal). Bij detectie kunnen items worden verwijderd, in quarantaine geplaatst of hun ranking worden verlaagd via een her-rangschikking (re-ranking) filter.

3. Belangrijkste Bijdragen

1. Eerste Omvattende Detectiesysteem: Het eerste systeem dat specifiek is ontworpen om hubness in RAG-systemen te detecteren, met een plug-in architectuur.
2. Robuuste Statistiek: Toepassing van MAD-gebaseerde z-scores voor numerieke stabiliteit in de aanwezigheid van extreme outliers.
3. Multi-Detector Benadering: Combinatie van frequentie-analyse, cluster-verspreiding, stabiliteitstests en domein/modale bewustzijn voor een diep verdedigingslaag.
4. Open Source Implementatie: Een productieklaar scanner met adapters voor populaire frameworks, beschikbaar op GitHub.

4. Resultaten en Evaluatie

De tool is geëvalueerd op benchmarks (Food-101, MS-COCO, FiQA) met gebruik van state-of-the-art aanvalstechnieken (gradient-optimized en centroid-based hubs).

• Detectieprestaties:
  • Bereikt 90% recall bij een alert-budget van 0,2% (alleen de top 0,2% van de documenten wordt gecontroleerd).
  • Bereikt 100% recall bij een budget van 0,4%.
  • Adversariële hubs scoren consequent boven de 99,8e percentiel.
• Ablatie-studie: De Cluster Spread detector voegt een cruciale verbetering toe (+10-20% recall) voor universele aanvallen. De Stability detector is essentieel voor het vangen van "brittle" (kwetsbare) centroid-based hubs.
• Domein-georiënteerde detectie: Global scanning mist domein-specifieke aanvallen, maar door domein-gespecialiseerde scanning wordt 100% recall voor deze aanvallen bereikt.
• Productie Validatie (MS MARCO):
  • Getest op 1 miljoen echte webdocumenten.
  • Er is een duidelijke scheiding (5,8x) tussen de scores van schone documenten en adversariële hubs.
  • De 99e percentiel van schone data scoort rond 2,3, terwijl hubs scores van 13-17 halen. Dit maakt het mogelijk om operationele drempels in te stellen met minimale false positives.

5. Betekenis en Conclusie

Het paper benadrukt dat hubness een potentieel gevaarlijk aanvalspunt is in de RAG-ecosystemen dat tot nu toe onderbelicht was. De Adversarial Hubness Detector biedt een praktische, schaalbare oplossing voor beveiligingsprofessionals om vergiftigde vectorindexen te auditeren.

• Beperkingen: De detectie is afhankelijk van representatieve query-sampling en de effectiviteit neemt af als het percentage kwaadaardige content in de corpus zeer hoog wordt (>10-20%), hoewel dit in de praktijk een onwaarschijnlijk scenario is voor subtiele aanvallen.
• Toekomst: De auteurs plannen real-time detectie tijdens het indexeren en uitbreiding met intent-scanning voor kwaadaardige inhoud binnen de flagged items.

De tool is beschikbaar als open-source software onder de Apache 2.0 licentie en stelt organisaties in staat om hun RAG-implementaties te beschermen tegen deze geavanceerde vorm van data poisoning.