💬 NLP

PaperTrail: A Claim-Evidence Interface for Grounding Provenance in LLM-based Scholarly Q&A

PaperTrail introduceert een interface die claims en bewijsmateriaal koppelt om de herkomst van antwoorden van grote taalmodellen in de academische wereld te verduidelijken, maar een studie toont aan dat hoewel dit het vertrouwen van onderzoekers verlaagt, het hun gedrag niet verandert omdat ze de cognitieve last van het controleren van deze informatie willen vermijden.

Oorspronkelijke auteurs: Anna Martin-Boyle, Cara A. C. Leckey, Martha C. Brown, Harmanpreet Kaur

Gepubliceerd 2026-02-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anna Martin-Boyle, Cara A. C. Leckey, Martha C. Brown, Harmanpreet Kaur

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

PaperTrail: De "Waarheidscontroleur" voor AI in de Wetenschap

Stel je voor dat je een enorme bibliotheek binnenstapt, vol met boeken over de verkenning van Mars. Je wilt weten hoe we een basis op Mars kunnen bouwen. Je vraagt het aan een slimme, snelle robot (een AI) die alle boeken in een seconde heeft gelezen. De robot geeft je een prachtig, vloeiend antwoord. Het klinkt perfect, maar... klopt het wel?

Dit is precies het probleem waar wetenschappers mee worstelen. De robot (een Large Language Model of LLM) kan soms dingen verzinnen die er heel geloofwaardig uitzien, maar die nergens in de boeken staan. Of hij vergeet belangrijke details.

De onderzoekers van dit paper hebben PaperTrail bedacht. Laten we het uitleggen alsof het een detectiveverhaal is.

1. Het Probleem: De "Gouden Kooi" van de AI

Normaal gesproken geeft een AI antwoord en plakt er een klein voetnootje bij: "Dit staat in boek X." Maar dat is als een slechte detective die zegt: "Ik heb het in het boek gelezen," zonder te laten zien waar precies.

Het risico: De AI kan een hele zin uit het boek verdraaien, een detail weglaten, of een feit verzinnen dat er niet staat. Voor een wetenschapper is dit gevaarlijk, want als je op een fout bouwt, stort je hele onderzoek in.

2. De Oplossing: PaperTrail als "Kleefband-Enquêteur"

PaperTrail is een nieuw systeem dat de AI-antwoorden niet zomaar accepteert. Het werkt als een super-sterke detective die twee dingen doet:

Het breekt het AI-antwoord open: Het neemt elke stelling die de AI maakt en plakt er een label op: "Dit is een claim."
Het zoekt het bewijs: Het gaat naar de originele boeken (de wetenschappelijke papers) en zoekt naar de exacte zinnen die die claim bewijzen.

De Creatieve Analogie: De Bouwplaat
Stel je voor dat de AI een bouwpakket voor een huisje levert.

De oude manier (Baseline): De AI zegt: "Hier is je huis, het staat in de handleiding." Je ziet het huisje, maar je weet niet of de muren wel stevig zijn of of er ramen ontbreken.
De PaperTrail-methode: PaperTrail pakt het huisje uit. Het legt elke baksteen (elke claim) apart op de grond. Vervolgens kijkt het in de originele handleiding en zegt:
- "Deze baksteen is goed, hij staat op pagina 12." (Groen label).
- "Deze baksteen is niet in de handleiding te vinden. Waar heb je die vandaan?" (Rood label).
- "Je hebt de dakpannen vergeten, die staan wel in de handleiding." (Oranje label voor wat ontbreekt).

3. Hoe werkt het in de praktijk?

De onderzoekers hebben dit systeem getest met 26 echte wetenschappers. Ze kregen twee taken:

Een samenvatting maken van vier verschillende papers.
Een "duivel-advocaat" rol spelen en een paper verdedigen tegen kritiek.

Ze mochten dit doen met twee verschillende hulpmiddelen:

De Oude Manier: Gewone AI met simpele links naar de bronnen.
PaperTrail: De AI met de "baksteen-uitpakservice" (de claim-bewijs koppeling).

4. Wat ontdekten ze? (De verrassende resultaten)

Resultaat 1: Meer wantrouwen, maar minder actie.
Toen de wetenschappers PaperTrail gebruikten, vertrouwden ze de AI veel minder. Ze zagen direct waar de AI dingen verzon of vergat. Ze dachten: "Oh, deze AI is niet zo betrouwbaar als ik dacht."
Maar... ze veranderden hun gedrag niet echt. Ze bleven het AI-antwoord bijna net zo vaak overnemen als voorheen.

De Metafoor: Het is alsof je een auto koopt die een lampje heeft dat rood oplicht als de remmen niet werken. Je bent bang voor de auto (je vertrouwt hem niet), maar omdat je haast hebt en de auto toch rijdt, stap je er toch in en rijdt je erin. Je bent voorzichtig, maar je rijdt nog steeds.

Resultaat 2: Het was te druk en te traag.
PaperTrail was geweldig om fouten te vinden, maar het was ook vermoeiend om te gebruiken.

De interface was "volgestopt" met informatie.
Het systeem was traag (het duurde lang om de antwoorden te genereren).
De wetenschappers hadden te weinig tijd. Ze moesten in 20 minuten een taak doen die normaal uren duurt. Door de drukte en de traagheid van het systeem, hadden ze geen tijd om echt elke "baksteen" te controleren. Ze vertrouwden de AI dus toch weer, omdat het te veel werk was om het anders te doen.

5. De Grote Les

De belangrijkste boodschap van dit paper is:
Gewoon laten zien dat een AI fouten maakt, is niet genoeg om mensen te laten stoppen met het vertrouwen in die AI.

Als mensen haast hebben, of als het systeem te ingewikkeld is, blijven ze de AI gebruiken, zelfs als ze weten dat hij niet perfect is. Het is als een verkeerslicht dat rood is: als je te laat bent voor een afspraak, ga je toch door het rood, ook al weet je dat het gevaarlijk is.

Conclusie voor de toekomst:
Om AI echt veilig te maken voor wetenschappers, moeten we niet alleen betere "waarheidscontroleurs" bouwen, maar ook zorgen dat het gebruik ervan niet te veel tijd kost en niet te ingewikkeld is. We moeten de "remmen" van de AI zo maken dat ze makkelijk te gebruiken zijn, zodat mensen ze ook echt willen gebruiken, in plaats van eromheen te werken.

PaperTrail is een fantastische eerste stap: het laat zien waar de AI zit te liegen of te vergeten. Maar nu moeten we de interface zo slim maken dat mensen er ook echt tijd voor hebben om te kijken.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in systemen voor wetenschappelijk vragen en antwoorden (QA) om onderzoekers te helpen bij het synthetiseren van enorme hoeveelheden literatuur. Echter, deze systemen lijden vaak aan subtiele fouten zoals hallucinaties, ononderbouwde beweringen en het weglaten van cruciale informatie. Bestaande mechanismen voor herleidbaarheid (provenance), zoals simpele bronverwijzingen of citaten, zijn niet fijnmazig genoeg voor de strenge verificatie die in de wetenschappelijke domeinen vereist is. Onderzoekers hebben moeite om deze fouten te detecteren, wat leidt tot een risico op verspreiding van desinformatie en onjuiste conclusies in het wetenschappelijk discours. Er is een behoefte aan een interface die niet alleen aangeeft waar informatie vandaan komt, maar ook hoe de LLM-conclusies logisch zijn afgeleid van de bronnen.

Methodologie

De auteurs hebben PaperTrail ontwikkeld, een nieuw systeem dat de herleidbaarheid grondvest op argumentatiestructuren (claims en bewijs). De aanpak bestaat uit drie hoofdbestanddelen:

1. Backend Architectuur: Argument Extraction Engine
Het systeem gebruikt een driedelige pijplijn om claims en bewijsmateriaal uit zowel brondocumenten als LLM-antwoorden te extraheren en te matchen. Er wordt strategisch gekozen tussen drie methoden op basis van de afweging tussen rekenkosten en semantische capaciteit:

Stage 1 (Offline): Voor een corpus van wetenschappelijke papers wordt offline claim- en bewijsextractie uitgevoerd met behulp van een LLM (Gemini 2.5 Pro) op paragraafniveau. Dit resulteert in een gestructureerde kennisbank van claims en bijbehorende bewijsfragmenten.
Stage 2 (Real-time): Wanneer een gebruiker een vraag stelt, genereert een LLM een antwoord. Een tweede LLM-extractieproces breekt dit antwoord op in discrete claims en bewijsstukken.
Stage 3 (Real-time Matching): Een Retrieval-Augmented Generation (RAG) benadering matcht de claims uit het antwoord met de claims uit het broncorpus. Het systeem identificeert:
- Ondersteunde claims: Claims in het antwoord die overeenkomen met bronbewijs.
- Niet-ondersteunde claims: Claims zonder bronbewijs (gemarkeerd met een lage cosine-similariteit).
- Omissies: Claims uit de bronnen die in het antwoord ontbreken.

2. Frontend Interface
De interface is een drie-panelen webapplicatie:

Links: Werkruimte met taakcontext en een teksteditor waar gebruikers LLM-gegenereerde teksten kunnen bewerken.
Midden: Chat-interface voor het stellen van vragen aan de LLM.
Rechts: Provenance-paneel dat visuele feedback geeft. Het toont een "Claim Coverage" indicator en verdeelt bronclaims in twee categorieën: "Opgenomen in antwoord" (teal) en "Opgenomen in antwoord" (rood). Door op een claim te klikken, worden de bijbehorende bronfragmenten gelinkt en gemarkeerd (brushing-and-linking).

3. Gebruiksstudie
Er werd een within-subjects studie uitgevoerd met 26 onderzoekers (wetenschappers en onderzoekstechnici) bij NASA.

Opzet: Deelnemers voerden twee wetenschappelijke taken uit (multi-paper synthese en een "devil's advocate" review) met zowel de PaperTrail-interface als een baseline-interface (standaard bronverwijzingen zoals in commerciële tools).
Metrieken:
- Vertrouwen: Gemeten via de TXAI-schaal.
- Betrouwbaarheid (Reliance): Gemeten via de genormaliseerde Levenshtein-editafstand tussen de originele LLM-tekst en de door de gebruiker bewerkte tekst (hoe minder bewerking, hoe hoger de reliance).
- Zelfvertrouwen: Subjectieve beoordeling van de kwaliteit van de bewerkingen.
- Ervaringsfactoren: Werklast (NASA-TLX) en bruikbaarheid (SUPR-Q).

Belangrijkste Bijdragen

Design en Implementatie van PaperTrail: Een systeem dat argumentatiestructuren operationaliseert voor herleidbaarheid door claims en bewijsmateriaal tussen LLM-antwoorden en brondocumenten te ontleeden en te koppelen.
Flexibele Backend: Een architectuur voor claim-bewijsextractie die dient als interactief hulpmiddel en als raamwerk voor het evalueren van de betrouwbaarheid van LLMs in wetenschappelijke settings.
Empirisch Bewijs: Resultaten uit een gebruikersstudie die aantonen dat claim-bewijsprovenance effectiever is in het kalibreren van vertrouwen dan standaard bronverwijzingen.
Ontdekking van een "Trust-Behavior Gap": Het paper levert bewijs dat een verlaagd vertrouwen in LLMs niet automatisch leidt tot veranderingen in gedrag (minder reliance) als er geen systemische beperkingen (tijd, bruikbaarheid) worden aangepakt.

Resultaten

De studie leverde de volgende kernbevindingen op:

Vertrouwen: Gebruikers hadden significant minder vertrouwen in de LLM-uitvoer wanneer ze PaperTrail gebruikten vergeleken met de baseline ( $p = 0.015$ ). Dit suggereert dat de gedetailleerde weergave van niet-ondersteunde claims en omissies leidt tot gezonde scepsis.
Gedrag (Reliance): Ondanks het lagere vertrouwen, was er geen significant verschil in het gedrag van de gebruikers. Ze bewerkten de LLM-tekst evenveel (of weinig) in beide condities. De "trust-behavior gap" bleek aanwezig: mensen werden sceptischer, maar pasten hun werkwijze niet aan.
Bruikbaarheid: PaperTrail werd als significant minder bruikbaar beoordeeld dan de baseline ( $p = 0.026$ ). De interface werd als "cluttered" (rommelig) ervaren, vooral op kleinere schermen, en de complexiteit van de interactie verhoogde de cognitieve last.
Kwalitatieve Feedback: Deelnemers waardeerden het concept van gedetailleerde herleidbaarheid en het vermogen om fouten op te sporen ("fact-checking"), maar de implementatie was te traag en te complex voor hun tijdsdruk. Veel deelnemers gaven aan dat ze door de tijdslimiet en de trage respons van het systeem gedwongen werden om toch te vertrouwen op de AI-uitvoer.

Betekenis en Conclusie

PaperTrail demonstreert dat het ontleden van LLM-antwoorden in claims en bewijsmateriaal een krachtige methode is om de betrouwbaarheid van AI in wetenschappelijke contexten te visualiseren. Het systeem maakt impliciete argumentatiestructuren expliciet, wat beter aansluit bij de mentale modellen van onderzoekers dan generieke uitleg.

Echter, de studie benadrukt een cruciale beperking: het blootleggen van fouten en het verlagen van vertrouwen is niet voldoende om gedragsverandering te bewerkstelligen. In tijdsdrukvolle, cognitief belastende omgevingen (zoals wetenschappelijk onderzoek) neigen gebruikers terug naar snelle, automatische denkprocessen (System 1) in plaats van de diepgaande verificatie (System 2) die de interface vereist, vooral wanneer de interface zelf te complex of traag is.

De auteurs concluderen dat toekomstige systemen adaptieve provenance moeten bieden die de hoeveelheid informatie aanpast aan de context en complexiteit van de vraag, en dat er meer aandacht moet zijn voor het scaffolding van kritisch denken om gebruikers te helpen de kloof tussen scepticisme en actie te overbruggen. Daarnaast biedt de backend-architectuur van PaperTrail een waardevol raamwerk voor het objectief evalueren van de "trustworthiness" van LLM-systemen in de wetenschap.