💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI introduceert een nieuw raamwerk dat de transparantie in retrieval-augmented vraagbeantwoording verbetert door deze te ontleden in drie onafhankelijk meetbare lagen — antwoordcorrectheid, citatiegetrouwheid en per-document invloed — om kritieke hiaten te onthullen tussen geciteerde bronnen en het bewijs dat daadwerkelijk de modeloutputs aanstuurt.

Oorspronkelijke auteurs: Mohammad Faizan, Dalal Alharthi

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Faizan, Dalal Alharthi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, erudiete bibliothecaris om een moeilijke vraag vraagt te beantwoorden. Om dit te doen, pakt de bibliothecaris een stapel van tien boeken uit de kast, leest ze door, en schrijft je een antwoord. Aan het einde van het antwoord maakt de bibliothecaris een "Referenties"-lijst, maar vermeldt slechts twee van de tien boeken die hij daadwerkelijk heeft vastgehouden.

ProvenAI is een nieuw systeem dat precies controleert wat er in dat scenario gebeurde. Het vraagt: Heeft de bibliothecaris die twee boeken daadwerkelijk gebruikt om het antwoord te schrijven? Of hebben de andere acht boeken het verhaal geheim beïnvloed zonder vermeld te worden?

Hier is een eenvoudige analyse van hoe het artikel werkt, gebruikmakend van alledaagse analogieën.

1. Het Probleen: De "Nep-Citatie" Illusie

In de wereld van AI tonen systemen vaak een lijst met bronnen (citaten) om te bewijzen dat ze geen dingen verzinnen. Maar het artikel stelt dat een citatielijst als een bonnetje is dat niet overeenkomt met de winkelwagen.

Alleen omdat de bibliothecaris zegt dat hij Boek A en Boek B heeft gebruikt, betekent dit niet dat die boeken het verhaal daadwerkelijk hebben gevormd.

De Realiteit: De bibliothecaris kan sterk beïnvloed zijn door Boek C, D en E (die hij niet heeft vermeld), terwijl Boek A en B nauwelijks zijn bekeken.
De Kloof: Het artikel noemt dit de "Citation-Influence Gap" (de citatie-invloeds-kloof). Het is het verschil tussen wat de AI beweert te hebben gebruikt (de citatie) en waar de AI zich daadwerkelijk op heeft gebaseerd om een antwoord te vormen (de invloed).

2. De Oplossing: ProvenAI's Drielagige Audit

In plaats van alleen te controleren of het antwoord juist is, verdeelt ProvenAI transparantie in drie afzonderlijke lagen, zoals het op drie verschillende manieren controleren van een auto:

Laag 1: Is het antwoord correct? (De Bestemming)
- Analogie: Is de auto daadwerkelijk op het juiste adres aangekomen?
- Wat het controleert: Komt het uiteindelijke antwoord overeen met de bekende waarheid?
Laag 2: Is de citatie eerlijk? (Het Bonnetje)
- Analogie: Is de chauffeur daadwerkelijk gestopt bij de benzinestations die op het bonnetje staan?
- Wat het controleert: Bevatten de boeken die de AI heeft vermeld daadwerkelijk de feiten die het beweert?
Laag 3: Wat heeft de koers bepaald? (De Motor)
- Analie: Als we de auto uit elkaar halen en één specifiek motoronderdeel verwijderen, zou de auto dan nog steeds rijden?
- Wat het controleert: Dit is het meest unieke deel. Het systeem neemt het antwoord van de AI, verwijdert één specifiek boek uit de stapel en vraagt de AI om het antwoord opnieuw te schrijven. Als het antwoord verandert, was dat boek invloedrijk. Als het antwoord hetzelfde blijft, was dat boek slechts "decoratie".

3. Het "Tovertruc" Experiment

De onderzoekers testten dit op een beroemde puzzel-dataset genaamd HotpotQA, waarbij vragen vereisen dat er verbanden worden gelegd tussen meerdere documenten.

De Opzet: Ze draalden de AI op 7.405 vragen.
De Verrassing: De AI gaf ongeveer 53% van de tijd het juiste antwoord, maar citeerde de juiste bronnen in 71% van de gevallen. Dit betekent dat de AI vaak goed was in het vinden van de juiste boeken, maar slecht in het gebruiken ervan om de uiteindelijke zin te schrijven.
De "Citation-Influence Gap" Casusstudie:
- Ze keken naar een specifieke vraag over twee filmregisseurs.
- De AI citeerde twee boeken perfect. Het "Bonnetje" was 100% zuiver.
- MAAR, toen ze een van die geciteerde boeken verwijderden, veranderde het antwoord niet.
- EN, toen ze zeven andere boeken verwijderden die de AI niet eens had geciteerd, veranderde het antwoord wel.
- Conclusie: De AI vertrouwde stiekem op de niet-geciteerde boeken om het juiste antwoord te krijgen, terwijl de geciteerde boeken slechts "uiterlijk vertoon" waren.

4. Waarom dit Belangrijk is (Zonder Jargon)

Het artikel betoogt dat we niet alleen naar één score (zoals "Nauwkeurigheid") kunnen kijken om een AI te vertrouwen. We moeten het hele plaatje zien:

Heeft het het juiste antwoord gekregen?
Heeft het de juiste bronnen vermeld?
Hebben die bronnen het zware werk daadwerkelijk gedaan?

Als je alleen #1 en #2 controleert, denk je misschien dat de AI betrouwbaar is. Maar als je #3 controleert, kun je beseffen dat de AI eigenlijk wordt beïnvloed door "geest-documenten" waar hij nooit over heeft verteld.

5. De "Black Box" Beperking

Het artikel erkent een kleine beperking: om invloed perfect te meten, moet je normaal gesproken de interne "denkprocessen" (wiskundige waarschijnlijkheden) van de AI kunnen zien. Omdat hun systeem niet in de hersenen van de AI kon kijken, gebruikten ze een slimme workaround: ze vergeleken simpelweg de uiteindelijke zinnen vóór en na het verwijderen van een boek.

Analogie: In plaats van naar de interne verbranding van de motor te luisteren, controleerden ze gewoon of de auto anders bewoog wanneer ze een onderdeel verwijderden. Het is niet zo precies als onder de motorkap kijken, maar het is een zeer goede schatting.

Samenvatting

ProvenAI is een hulpmiddel dat voorkomt dat we worden gefopt door een mooie lijst met citaties. Het bewijst dat in AI, wat geciteerd wordt, niet altijd is wat gebruikt wordt. Door te testen wat er gebeurt als je een bron verwijdert, onthult het de verborgen "geesten" in de machine die de antwoorden daadwerkelijk aansturen.

Technische Samenvatting: ProvenAI

Probleemstelling
Retrieval-augmented generation (RAG)-systemen leveren routinematig citaties naast gegenereerde antwoorden om feitelijke onderbouwing te vestigen. Het paper betoogt echter dat de aanwezigheid van een citatie niet bevestigt dat de geciteerde bron de output betekenisvol heeft gevormد. Huidige evaluatiemetrieken reduceren correctheid van het antwoord, getrouwheid van de citatie en de invloed van bronnen vaak tot enkelvoudige scores, waardoor cruciale diagnostische informatie verloren gaat. Specifiek kan een model correcte bronnen citeren terwijl het wordt gedreven door niet-geciteerde geëxtraheerde context, of kan het een correct antwoord genereren terwijl het irrelevante bronnen citeert. Deze kloof tussen "geciteerd" bewijs en "invloedrijk" bewijs is bijzonder problematisch in beveiligings- en forensische toepassingen waar verantwoording een verifieerbaar verslag vereist van wat daadwerkelijk tot een conclusie heeft geleid.

Methodologie
ProvenAI is geen nieuw generatief model, maar een meetinfrastructuur die ontworpen is om transparantie in multi-hop vraagbeantwoording te deconstrueren naar drie onafhankelijk meetbare lagen. Het systeem werkt op de HotpotQA distractor benchmark via een zevenfasige pipeline:

Data Normalisatie: Het converteren van HotpotQA-records naar stabiele lokale artefacten (JSONL) en het opbouwen van een canonieke retrieval-corpus van 509.300 passages.
Retrieval & Generatie: Het gebruik van dense passage retrieval (FAISS met all-MiniLM-L6-v2 embeddings) en een lokaal inferentiepad (Qwen2.5-3B-Instruct) om citatie-bewuste antwoorden met inline-tags te genereren.
Citatie-audit: Evalueren of geciteerde titels overeenkomen met gouden ondersteunende feiten middels Jaccard-gelijkenis.
Infuentie-schatting: Het toepassen van een "leave-one-resource-out" ablatie-strategie. Voor elk opgehaald document $r_i$ genereert het systeem het antwoord en de citatieset opnieuw zonder $r_i$ om de verschuiving in de output te meten.
Verdict Toewijzing: Documenten worden geclassificeerd in vier categorieën op basis van een meetbare functie $V$ $V$ die citatiestatus en een invloeds-proxy $\phi(r_i)$ $ϕ (r_{i})$ combineert:
- USED (GEBRUIKT): Geciteerd en invloedrijk.
- HALLUCINATED CITATION (GEHALLUCINEERDE CITATIE): Geciteerd maar niet invloedrijk.
- UNCITED INFLUENTIAL (NIET-GECITEERD EN INVLOEDRIJK): Niet geciteerd maar wel invloedrijk.
- LOW INFLUENCE (LAGE INVLOED): Noch geciteerd, noch invloedrijk.

Belangrijke Technische Componenten

Citatiegetrouwheid (Citation Fidelity): Gemeten via de token-set Jaccard-gelijkenis tussen geciteerde titels en gouden ondersteunende titels, geëvalueerd onder zowel exacte ( $\tau=1$ ) als semantische ( $\tau=0.34$ ) matching.
Invloeds-proxy: Omdat de lokale inferentie-backend (MLX) geen per-token waarschijnlijkheden blootstelt die vereist zijn voor directe KL-divergentieberekening, gebruikt het systeem een oppervlakkige proxy $\phi(r_i)$ . Deze proxy aggregeert de Jaccard-afstand tussen de originele en de geablateerde antwoordstrings ( $\Delta a$ ) en de citatiesets ( $\Delta c$ ), met een weging van respectievelijk 0,8/0,2.
Theoretische Onderbouwing: Het paper formaliseert de relatie tussen deze oppervlakkige proxy en de token-niveau KL-divergentie doelstelling. Propositie 1 stelt vast dat onder bijna-deterministische decodering een niet-nul aanpas ( $\Delta a > 0$ ) een strikt positieve KL-verschuiving certificeert, waardoor de proxy een solide (hoewel eenzijdige) indicator is van distributionele verschuiving.
Traceerbaarheid: Het systeem integreert het Model Context Protocol (MCP) om trace-grafen van bron-toegang vast te leggen, waarbij retrieval-artefacten worden gekoppeld aan het generatieproces.

Resultaten
Geëvalueerd op 7.405 validatievoorbeelden uit de HotpotQA distractor split, levert ProvenAI de volgende geaggregeerde metrieken:

Antwoordnauwkeurigheid: 53,53%
Gemiddelde Citatiegetrouwheid: 71,55%

De significante kloof van 18 punten tussen citatiegetrouwheid en antwoordnauwkeurigheid laat zien dat modellen frequent correcte ondersteunende titels identificeren en citeren, zelfs wanneer de uiteindelijke antwoordstring onjuist is. Omgekeerd identificeert het systeem gevallen waar het antwoord correct is, maar de citatieset gedegradeerd is.

Het paper belicht een specifieke "citatie-invloeds-kloof" via een casestudy (Scott Derrickson / Ed Wood nationaliteit). In dit voorbeeld behaalde het model een perfecte citatie-audit ( $F_\tau = 1,0$ ), maar ablatie onthulde dat één geciteerde bron een zwakke invloed had, terwijl zeven niet-geciteerde bronnen aantoonbaar de output hadden verschoven. Dit bevestigt dat de observeerbare citatieset en het empirische sensitiviteitsprofiel aanzienlijk kunnen divergeren.

Betekenis en Claims
Het paper claimt dat betekenisvolle transparantie in retrieval-gegronde QA vereist dat er traceerbare links bestaan over drie afzonderlijke lagen: opgehaald bewijs, geciteerd bewijs en gedragsmatig invloedrijk bewijs.

Deconstructie van Transparantie: De primaire bijdrage is de operationalisering van transparantie in drie onafhankelijke lagen, waarbij wordt geargumenteerd dat het samenvoegen van deze lagen noodzakelijke diagnostische informatie wegwerpt.
De Citatie-Invloeds-Kloof: Het werk karakteriseert een specifieke foutmodus waarbij schone citatie-audits samengaan met complexe invloeds-profielen die worden gedreven door niet-geciteerde context.
Provenance-Native Redenering: Het framework verbindt meting-gebaseerde auditing met cryptografische provenance-architecturen. Het betoogt dat voor autonome wetenschappelijke ontdekking een audit-trail niet alleen moet verifiëren dat geciteerde documenten zijn opgehaald (cryptografische integriteit), maar ook moet verifiëren dat de output daadwerkelijk gevoelig was voor die documenten (gedragsmatige sensitiviteit).
Beperkingen: De auteurs merken bescheiden op dat de huidige invloedschatting steunt op een oppervlakkige proxy vanwege het gebrek aan per-token logits in de lokale backend, en dat attributie momenteel beperkt is tot het document-titel niveau in plaats van zinsniveau-entailment.

ProvenAI stelt vast dat huidige citatiemechanismen onvoldoende proxies zijn voor invloed en biedt een reproduceerbare pipeline om de discrepantie te meten tussen wat een model claimt te gebruiken en wat daadwerkelijk de output stuurt.