💬 NLP

Controlling Authority Retrieval: A Missing Retrieval Objective for Authority-Governed Knowledge

Dit paper introduceert Controlling Authority Retrieval (CAR) als een nieuw zoekdoel om actieve autoriteitsdocumenten te vinden die eerdere versies formeel ongeldig maken, en valideert een tweestapsmethode die de fouten in bestaande RAG-systemen aanzienlijk vermindert.

Oorspronkelijke auteurs: Andre Bacellar

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andre Bacellar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt, maar deze is niet gewoon een verzameling boeken. Het is een levende, veranderende wereld van regels, zoals wetten, medicijnvoorschriften of software-patches.

In deze wereld gebeurt iets vreemds: een nieuw boek kan een oud boek volledig ongeldig maken, zonder dat ze op elkaar lijken.

Stel je voor:

Boek A (oud) zegt: "Dit medicijn is veilig."
Boek B (nieuw) zegt: "Dit medicijn is gevaarlijk en moet teruggeroepen worden."

Als je vraagt: "Is dit medicijn veilig?", dan is het antwoord in Boek B te vinden. Maar hier is het probleem: Boek A klinkt veel meer als je vraag. Het woord "veilig" staat erin, terwijl Boek B vol staat met saaie juridische termen over "terugroepacties" en "contaminatie".

Het Probleem: De "Slimme Zoekmachine" die Verkeerd Raadt

Deze paper (onderzoek) zegt dat onze huidige, super-slimme zoekmachines (zoals die gebruikt worden in AI) hier volledig in falen.

Hoe het nu werkt: De AI kijkt naar je vraag en zoekt het document dat het meest op je vraag lijkt (semantische relevantie).
Het resultaat: De AI vindt Boek A (het oude, veilige boek) omdat het woord "veilig" bevat. Het vindt Boek B (het nieuwe, waarschuwende boek) niet, omdat de woorden te verschillend zijn.
De ramp: De AI geeft je het antwoord uit het oude boek. Het antwoord is verouderd en gevaarlijk, omdat het nieuwe boek het oude heeft "ongeldig verklaard".

De auteurs noemen dit "Controlling Authority Retrieval" (CAR). Het gaat niet om wat het meest relevante antwoord is, maar om wat het geldigste antwoord is.

De Oplossing: Twee Stappen in plaats van Eén

De onderzoekers zeggen: "Je kunt dit niet oplossen door de zoekmachine alleen maar slimmer te maken. Je moet de architectuur veranderen."

Ze stellen een Twee-Stappen Plan voor, dat ze vergelijken met het vinden van een spoor in een detectiveverhaal:

Stap 1: De "Anker" vinden (De Start):
Je zoekt eerst het document dat het beste bij je vraag past (bijvoorbeeld het oude boek over de veiligheid). Dit noemen ze het "anker". Dit is makkelijk voor de AI.
Stap 2: De "Autoriteit" volgen (De Reis):
Zodra je het anker hebt, kijk je niet meer naar de tekst, maar naar wie het document betreft (bijvoorbeeld: "Medicijn X"). Je zoekt dan direct in een register naar alle latere documenten over "Medicijn X".
- Je vindt dan het nieuwe boek (Boek B).
- Je kijkt of Boek B het oude boek heeft "ongeldig verklaard".
- Als dat zo is, gebruik je alleen Boek B als antwoord.

De Metafoor:
Stel je voor dat je op zoek bent naar de laatste versie van een recept.

De oude manier (AI): Je zoekt op "lekker cakeje". Je vindt het originele recept van 1990. Je denkt: "Perfect!" en bakt de cake. Maar je vergeet dat de bakker in 2023 heeft gezegd: "Gebruik geen noten meer, dat is gevaarlijk!"
De nieuwe manier (Twee-stappen): Je zoekt op "lekker cakeje" (Stap 1). Je vindt het oude recept. Maar dan zeg je: "Wacht even, wie heeft dit gemaakt? Ah, Bakkerij De Vries." Je loopt naar het register van Bakkerij De Vries (Stap 2) en zoekt naar hun laatste mededeling. Daar vind je het waarschuwingsschrift over de noten. Nu weet je het juiste antwoord.

Waarom is dit belangrijk?

De paper toont aan dat dit probleem overal voorkomt:

Medicijnen: Een goedkeuring wordt ingetrokken door een terugroepactie.
Software: Een beveiligingslek wordt gepatcht, maar de oude melding blijft bestaan.
Wetgeving: Een oude uitspraak van de Hoge Raad wordt overruled door een nieuwe.

Als je AI dit niet doet, geeft hij mensen verouderde en gevaarlijke informatie. In hun experimenten bleek dat de oude AI-methoden in 39% van de gevallen zeiden: "Nee, dit is nog niet gepatcht" (terwijl het dat wel was), terwijl hun nieuwe methode dit terugbracht naar slechts 16%.

De Kernboodschap in Eén Zin

Je kunt niet vertrouwen op een zoekmachine die alleen kijkt naar woorden; in een wereld waar regels veranderen, moet je kijken naar autoriteit en tijd. Je moet eerst het oude verhaal vinden, en dan systematisch zoeken naar het nieuwe verhaal dat het oude heeft vervangen.

Kortom: De slimste AI is niet degene die het beste kan lezen, maar degene die weet waar ze moet kijken als een document verouderd is.

1. Probleemdefinitie: Controlling Authority Retrieval (CAR)

Het paper introduceert een nieuw type informatiezoekprobleem dat optreedt in domeinen waar kennis zich ophoopt onder formele autoriteit (zoals wetgeving, geneesmiddelenregulering en softwarebeveiliging). In deze domeinen kan een later document een eerder document formeel ongeldig verklaren (supersederen), terwijl het semantisch zeer verschillend is van het oorspronkelijke document.

Het Kernprobleem: Standaard Retrieval-Augmented Generation (RAG) systemen rangschikken documenten op basis van semantische relevantie voor een query. Dit faalt structureel bij autoriteitsgestuurde kennis omdat het "controlling authority" document (bijv. een patch-notitie of een terugroepactie) vaak een andere woordenschat gebruikt dan de query of het oorspronkelijke document (bijv. een CVE-disclosure of een goedkeuringsdocument).
Formalisatie: De auteurs definiëren Controlling Authority Retrieval (CAR) als het terugvinden van de actieve frontier ( $front(cl(A_k(q)))$ $f r o n t (c l (A_{k} (q)))$ ) van de autoriteits-sluiting van een semantisch anker.
- $A_k(q)$ : De top- $k$ semantisch meest relevante documenten (ankers).
- $cl(\cdot)$ : De autoriteits-sluiting (alle documenten die formeel volgen op het anker).
- $front(\cdot)$ : De actieve frontier (de niet-ongeldig verklaarde, geldige documenten).
De Mismatch: Standaard retrieval optimaliseert $\arg \max_d s(q, d)$ (semantische relevantie). CAR vereist het vinden van $front(cl(A_k(q)))$ . Deze twee doelen zijn wiskundig ontkoppeld; een systeem kan een hoge Recall@k hebben maar een TCA (Temporal Compliance Accuracy) van 0, omdat het het geldige, maar semantisch verre, document mist.

2. Methodologie en Theoretisch Kader

De auteurs ontwikkelen een rigoureus theoretisch raamwerk om het probleem te analyseren en een oplossing te bieden.

A. Theoretische Resultaten (Stellingen)

Stelling 1 (Doelwit-mismatch): Bewijst dat TCA en Recall@k volledig ontkoppeld zijn wanneer de semantische-autoriteitsdivergentie ( $\Delta(q) > 0$ ). Zelfs met een perfecte semantische ranker kan de TCA 0 zijn als het controlerende document een andere woordenschat heeft.
Stelling 4 (Correctheidskarakterisering): Geeft de noodzakelijke en voldoende voorwaarden voor een verzameling $R$ $R$ om $TCA=1$ te bereiken:
- Frontier-inclusie: Alle elementen van de actieve frontier moeten in $R$ zitten.
- Geen genegeerde superseder: Voor elk geresumeerd document in $R$ moet er een vervangend document in $R$ staan.
Stelling 2 (Sluitingsnoodzaak): Bewijst dat elk systeem dat $TCA=1$ wil bereiken proactieve entiteits-gescopeerde zoekopdrachten moet uitvoeren. Het volstaat niet om alleen te vertrouwen op semantische relevantie; het systeem moet entiteiten identificeren en hun geschiedenis opzoeken.
Stelling 3 (Decompositie): Het probleem kan worden opgesplitst in drie noodzakelijke stappen:
- Ankerontdekking (semantisch relevant document vinden).
- Autoriteitsoplossing (de volledige keten van vervangingen vinden via entiteits-indexering).
- Actieve-status filtering (alleen de geldige documenten selecteren).
Propositie 2 (Bovenlimiet): Voor algoritmen zonder directe toegang tot de autoriteitsrelatie (scope-geïndexeerde algoritmen), is er een harde worst-case bovengrens voor de prestaties: $TCA \leq \phi(q) \cdot R_{anchor}(q)$ . Hierbij is $\phi(q)$ de mate waarin de entiteitsscope uniek is.

B. De Oplossing: Twee-Staps Architectuur

De auteurs stellen een Two-Stage Pipeline voor die de theoretische eisen vervult:

Fase 1 (Anker Retrieval): Gebruik een standaard zoekmachine (zoals BM25 of Dense Retrieval) om het semantisch relevante "anker" document te vinden (bijv. de CVE-disclosure of het oorspronkelijke goedkeuringsdocument).
Fase 2 (Entiteits-gebaseerde Oplossing):
- Extraher de entiteits-ID (bijv. CVE-ID, Drug-ID) uit het anker.
- Gebruik deze ID om een entiteits-index op te slaan en alle latere documenten met dezelfde scope op te halen.
- Pas domeinregels toe (via een Retrieved-Set Supersession Graph - RSSG) om te bepalen welke documenten de actieve frontier vormen en welke zijn gesupersedeerd.

3. Belangrijkste Resultaten

De auteurs valideren hun theorie en methode op drie real-world corpora:

Security Advisories (GHSA/NVD):
- Probleem: Vragen over kwetsbaarheden vs. patch-notities.
- Resultaat: Dichte modellen (Dense Retrieval) behalen een TCA@5 van slechts 0.270. De Two-Stage pipeline behaalt 0.975.
- Downstream Impact: Een LLM (GPT-4o-mini) gaf op basis van Dense Retrieval in 39% van de gevallen een zelfverzekerd fout antwoord ("niet gepatched") terwijl er wel een patch was. Two-Stage verlaagde dit naar 16%.
Jurisprudentie (SCOTUS Overruling Pairs):
- Probleem: Vragen of een precedent nog geldig is.
- Resultaat: Dense Retrieval faalt volledig (0.172) omdat het originele vonnis semantisch relevanter is dan het vonnis dat het overrulet. Two-Stage behaalt 0.926.
Geneesmiddelenregulering (FDA Drug Recalls):
- Probleem: Vragen over goedkeuringen vs. terugroepacties (volledig verschillende woordenschat: klinisch vs. administratief).
- Resultaat: Dit is het moeilijkste geval. Dense Retrieval haalt 0.064. Two-Stage haalt 0.774. De limiet wordt bepaald door de scope-ambiguïteit (meerdere drugs met dezelfde indicatie), niet door de zoekarchitectuur.

Algemene bevindingen:

Schaal helpt niet: Grotere taalmodellen (van 22M tot 335M parameters) verbeteren de TCA niet; ze maken het probleem soms erger omdat ze de semantische relevantie van het verkeerde document (het anker) nog sterker benadrukken.
Architectuur is cruciaal: Het probleem is fundamenteel architecturaal, niet een kwestie van meer trainingdata of betere embeddings.

4. Bijdragen en Significance

Primaire Bijdragen:

Formalisatie van CAR: Het definiëren van een nieuw, formeel retrieval-objektief dat essentieel is voor compliance en juridische zekerheid.
Theoretische Onderbouwing: Bewijzen dat standaard retrieval-methoden structureel falen voor dit type probleem en het vaststellen van noodzakelijke en voldoende voorwaarden voor correctheid.
Empirische Validatie: Het tonen aan dat state-of-the-art RAG-systemen in kritieke domeinen (veiligheid, recht, gezondheid) falen, en dat een simpele, regelgebaseerde twee-staps architectuur dit probleem oplost.
Open Source: Publicatie van vier benchmark datasets, domein-adapters en een scorer.

Significantie:
Dit paper waarschuwt dat de huidige trend van "grotere en dikkere" embedding-modellen niet voldoende is voor domeinen waar formele geldigheid en tijd een rol spelen. Het introduceert een nieuw paradigma waarin entiteits-gescopeerde zoekopdrachten en autoriteitsrelaties centraal staan in plaats van puur semantische relevantie. Voor organisaties die RAG gebruiken voor juridische, medische of veiligheidsdoeleinden, impliceert dit dat hun huidige systemen mogelijk gevaarlijk onjuiste antwoorden geven, en dat een architecturale verschuiving (naar Two-Stage met entiteits-indexering) noodzakelijk is voor betrouwbaarheid.