Technische Samenvatting: Lichtgewicht KB-gealigneerde OOD-detectie voor Veilige RAG

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen worden steeds vaker ingezet in domeinen met een hoog risico (bijv. gezondheidszorg, verslavingszorg), waar veiligheid niet alleen afhangt van hoe een systeem antwoordt, maar ook van de vraag of het wel een gegeven query moet beantwoorden. Een kritieke foutmodus treedt op wanneer Out-of-Domain (OOD) queries de retrieval-beveiligingen omzeilen, waardoor dense retrieval context naar boven haalt die slechts zwak gerelateerd is. Dit leidt ertoe dat generatoren vloeiende maar onverantwoorde reacties produceren ("hallucinaties") die weliswaar autoritair lijken, maar niet gebaseerd zijn op de Kennisbank (KB).

Huidige mitigatiestrategieën vertrouwen vaak op ingebouwde LLM-guardrails of aanvullende LLM-aanroepen om de domeinrelevantie te beoordelen. Guardrails richten zich echter primair op toxische inhoud in plaats van domeinonrelevantie, en LLM-gebaseerde "domeinrechters" brengen aanzienlijke latentie en API-kosten met zich mee, wat ze onpraktisch maakt als constant actieve poortwachters. Het artikel adresseert de behoefte aan een lichtgewicht, interpreteerbare en kosteneffectieve externe OOD-detector die bepaalt of een KB een gegronde antwoord ondersteuning kan bieden (As A van veiligheid) vóór de generatiestap.

Methodologie

De auteurs stellen een tweestaps-framework voor KB-gealigneerde OOD-detectie voor, waarbij queries worden geprojecteerd in een compacte, domeinspecifieke subspace afgeleid van de KB-embeddings.

1. Constructie van de Feature Space

De methode begint met het berekenen van embeddings voor een documentendataset $D$ (de KB) en gebruikersqueries $q$ met behulp van een vooraf getrainde BERT-gebaseerde bi-encoder. Principal Component Analysis (PCA) wordt toegepast op de document-embeddings om dominante patronen te identificeren. De selectie van de uiteindelijke $m$ hoofdcomponenten (principal components of PC's) wordt verfijnd met behulp van twee verschillende criteria:

• Explained Variance (EVR): Selecteert de top-$m$ componenten die de hoogste variantie van de data behouden.
• Separability-Driven t-test (p-waarden): Projecteert zowel In-Domain (ID) als OOD query-embeddings op de top-$k$ PC's. Een t-test wordt uitgevoerd voor elke dimensie om de ID- en OOD-projecties te vergelijken. De $m$ PC's met de laagste p-waarden (hoogste statistische scheidbaarheid) worden geselecteerd.

De query-embedding $e_q$ wordt vervolgens geprojecteerd in deze gereduceerde $m$-dimensionale ruimte ($e'_q = e_q P_m^T$) om een getransformeerde representatie te verkrijgen.

2. Detectiemechanismen

Binnen deze laag-dimensionale ruimte evalueren de auteurs twee categorieën detectoren:

• Geometrische Semantische Zoekregels: Deze definiëren grenzen rond de trainings-ID-embeddings.
  • $\epsilon$-ball: Een hypersfeer gecentreerd rond de query.
  • $\epsilon$-cube: Een hyperkubus gecentreerd rond de query.
  • $\epsilon$-rect: Een hyperrechthoek met dimensie-specifieke zijlengtes.
  • Beslisregel: Als een testquery binnen de grens van buren valt, wordt deze geclassificeerd als ID; anders is het OOD.
• Lichtgewicht Classifiers: Standaard gesuperviseerde modellen getraind op de geprojecteerde embeddings:
  • Logistische Regressie (LogReg)
  • Support Vector Machines (SVM)
  • Gaussian Mixture Models (GMM)

Belangrijkste Bijdragen

1. KB-Gealigneerde PCA-detector: Introductie van een PCA-gebaseerde OOD-detector die specifiek is uitgelijnd met de KB-structuur, waarbij variantie-gebaseerde (EVR) en scheidbaarheids-gebaseerde (p-waarde) componentselectie worden vergeleken.
2. Systematische Evaluatie: Uitgebreide evaluatie over 16 domeinen, inclusclusief hoog-risico real-world KBs (COVID-19 en Verslavingszorg) en synthetische/echte aanvaldatasets (LLM-gegenereerd en 4chan).
3. End-to-End Impactanalyse: Het koppelen van OOD-detectie aan downstream RAG-gedrag via menselijke evaluaties en LLM-as-a-Judge evaluaties, waarbij wordt aangetoond dat OOD-queries primair de relevantie van reacties degraderen, zelfs wanneer de feitelijke juistheid behouden blijft.
4. Efficiëntie en Interpreteerbaarheid: Demonstratie dat laag-dimensionale detectoren competitieve prestaties leveren met aanzienlijk lagere latentie en kosten dan LLM-gebaseerde judges, terwijl ze interpreteerbare beslissingsgrenzen bieden.

Resultaten

OOD-detectieprestaties

• Nauwkeurigheid: De voorgestelde methoden bereiken een competitieve nauwkeurigheid ten opzichte van sterke baselines (Mahalanobis, ViM, kNN, ODIN). In het COVID-19 domein behaalde de p-waarde criterion met geometrische methoden ($\epsilon$-ball) een nauwkeurigheid van 0,985, wat beter is dan de EVR criterion (0,942).
• Robuustheid: Onder adversariële condities (4chan en LLM-gegenereerde aanvallen) bleven semantische zoekmethoden competitief. Gesuperviseerde classifiers (LogReg, SVM) behielden over het algemeen een hoge nauwkeurigheid, maar vereisten meer dimensies.
• Dimensionaliteit: De p-waarde criterion selecteerde doorgaans minder dan 15 PC's (bijv. 13 voor $\epsilon$-ball in COVID-19), terwijl embedding-niveau baselines opereerden in de volledige 768-dimensionale ruimte.

Downstream RAG-gedrag

• Relevantie versus Juistheid: Menselijke en LLM-evaluaties toonden aan dat OOD-queries de relevantie significant verminderden (bijv. de COVID-19 relevantie daalde van 4,71 naar 4,37 voor ID versus OOD), terwijl de juistheidsscores vaak statistisch ongewijzigd bleven. Dit geeft aan dat RAG-systemen de neiging hebben om vloeiende maar irrelevante antwoorden te genereren voor OOD-queries.
• Vergelijking met LLM Judges: Een GMM-gebaseerde detector bereikte een vergelijkbare nauwkeurigheid als een GPT-4o geprompte judge (182/300 vs. 215/300 correcte classificaties), maar met een enorm efficiëntievoordeel.
• Foutanalyse: Wanneer fouten optraden, neigden de misclassificaties van de voorgestelde methode naar veiligere outputs. ID-queries die als OOD werden misgeclassificeerd, ontvingen nog steeds hoge relevantiescores, terwijl OOD-queries die als ID werden misgeclassificeerd, een lagere kwaliteit opleverden dan correct afgewezen queries.

Complexiteit en Latentie

• Latentie: Lokale methoden (geometrisch en ML classifiers) opereren met sub-milliseconde latentie (bijv. 17,7–26,1 $\mu$s per query), terwijl GPT-4o-gebaseerde detectie multi-seconde latentie veroorzaakt ($3,2 \times 10^6$ $\mu$s) door remote API-aanroepen.
• Kosten: De voorgestelde methoden brengen bijna nul marginale kosten per query met zich mee na offline preprocessing, wat een kostenvoordeel biedt van minstens twee ordes van grootte ten opzichte van LLM-gebaseerde detectoren.

Interpreteerbaarheid

De p-waarde criterion selecteert PC's die overeenkomen met coherente, domeinspecifieke semantische thema's. Bijvoorbeeld, in de COVID-19 dataset legden de top-gerangschikte PC's interpreteerbare concepten vast zoals "Vaccinatie-eligibiliteit", "Gezondheidsrisicoperceptie" en "Systemisch wantrouwen", wat transparantie en foutanalyse faciliteert.

Betekenis en Claims

Het artikel claimt dat het modelleren van domeinlidmaatschap in een compacte, KB-gealigneerde subspace een effectieve en robuuste beveiliging biedt voor real-world RAG-systemen. De primaire betekenis ligt in het bieden van een praktische afweging: een lichtgewicht, altijd actieve poort die sneller, goedkoper en meer interpreteerbaar is dan geprompte LLM-judges, terwijl het effectief het genereren van vloeiende maar onverantwoorde reacties voorkomt.

De auteurs benadrukken dat deze aanpak As A (KB-alignment/antwoordbaarheid) van veiligheid adresseert. Ze merken expliciet op dat dit geen volledige oplossing is voor As B (beleidsrisico/toxiciteit), wat aparte content moderatie lagen vereist. Echter, door KB-niet-ondersteunde queries te filteren, voorkomt het systeem dat de generator "zelfverzekerd, kostbaar en foutief" is, waardoor een veilige, in-scope gedrag wordt gehandhaafd in omgevingen met een hoog risico. De studie concludeert dat externe OOD-detectie noodzakelijk is om de respons-relevantie te behouden wanneer guardrails alleen onvoldoende zijn.