💻 computer science

Same Question, Different Source, Different Answer: Auditing Source-Dependence in Medical Multi-Source RAG

Dit artikel introduceert een nieuw evaluatiekader voor multi-source Retrieval-Augmented Generation (RAG)-systemen dat de focus verschuift van antwoordcorrectie naar het auditen van bronafhankelijkheid, waarbij via een benchmark voor patiënteducatie rond transplantatie wordt aangetoond dat institutionele meningsverschillen veel vaker voorkomen dan eerder werd geschat, en waarbij hulpmiddelen zoals HERO-QA en een gestructureerde judge worden voorgesteld om deze inter-bronrelaties systematisch te meten en te beheren.

Oorspronkelijke auteurs: Yubo Li, Rema Padman, Ramayya Krishnan

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yubo Li, Rema Padman, Ramayya Krishnan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een patiënt bent die net een harttransplantatie heeft ondergaan. Je hebt een vraag: "Wanneer kan ik weer internationaal reizen?" Je typt dit in een slimme medische chatbot.

Bij de oude manier van het bouwen van deze chatbots zou het systeem één "perfect" antwoord vinden en dit met vol vertrouwen aan jou geven. Maar dit artikel stelt dat er in de realiteit geen enkel perfect antwoord bestaat. In plaats daarvan hangt het antwoord dat je krijgt volledig af van welk ziekenhuisreglement de chatbot toevallig heeft opgepikt.

Als de bot het reglement van Ziekenhuis A pakt, zou het kunnen zeggen: "Wacht 3 maanden." Pakt het het boekje van Ziekenhuis B, dan zou het kunnen zeggen: "Wacht 12 maanden." Beide antwoorden worden met vol vertrouwen gegeven, beide zijn correct geciteerd, maar ze staan haaks op elkaar. De oude manier van het testen van deze bots kon dit probleem niet zien, omdat ze alleen op zoek waren naar één "gouden standaard" antwoord.

Dit artikel introduceert een nieuwe manier om deze systemen te auditen, waarbij een educatiesysteem voor transplantatiepatiënten als testgeval dient. Hier is hoe ze dit deden, eenvoudig uitgelegd:

1. De "Receptenboek"-collectie (TransplantQA)

De onderzoekers verzamelden 102 verschillende patiëntenhandboeken van 23 grote transplantatiecentra in de VS. Denk hierbij aan 102 verschillende receptenboeken voor hetzelfde gerecht (zorg na transplantatie). Sommige chefs (ziekenhuizen) zeggen "voeg zout toe", anderen zeggen "geen zout", en sommige vermelden zout helemaal niet.

Ze verzamelden ook 1.115 echte vragen die echte patiënten op forums hadden gesteld. Ze verzonnen deze niet; het zijn echte zorgen van echte mensen.

2. De "Slimme Bibliothecaris" (HERO-QA)

Om het systeem te testen, bouwden ze een speciale ophaalmotor genaamd HERO-QA. Stel je een bibliothecaris voor die probeert de juiste pagina te vinden in een enorme bibliotheek.

Als het boek kort is, leest de bibliothecaris het hele boek om zeker te zijn dat niets wordt gemist.
Als het boek enorm is, gebruikt de bibliothecaris een slimme kaart om het specifieke hoofdstuk te vinden, vervolgens de specifieke paragraaf, en controleert zelfs de aangrenzende paragrafen om de volledige context te krijgen.

Deze bibliothecaris vraagt vervolgens aan een krachtige AI (de "Generator") om een antwoord te schrijven dat uitsluitend gebaseerd is op de gevonden pagina's. Ze deden dit voor elke enkele vraag tegenover elk enkel handboek. Dit resulteerde in meer dan 48.000 verschillende antwoorden op dezelfde vragen.

3. De "Strenge Rechter" (Gestructureerde Output)

Nu komt het belangrijkste deel. Ze hadden een manier nodig om deze 48.000 antwoorden te vergelijken om te zien hoe ze verschilden. Ze vroegen niet zomaar: "Zijn ze hetzelfde of anders?" Ze gebruikten een gespecialiseerde AI-"Rechter" die fungeert als een strenge redacteur.

In plaats van alleen een score te geven, schrijft deze Rechter een kort rapport voor elk paar antwoorden dat hij vergelijkt. Hij sorteert ze in vijf categorieën:

Afwezig: Eén boek had het onderwerp niet eens besproken.
Consistent: Beide boeken zeggen exact hetzelfde.
Complementair: Ze zijn het eens over het hoofdpunt maar voegen verschillende details toe (zoals één zegt "eet gezond" en de ander voegt toe "en beweeg").
Divergent: Ze geven ander advies (bijvoorbeeld "wacht 6 weken" versus "wacht 12 weken").
Contradictoir: Ze zeggen het tegenovergestelde (bijvoorbeeld "Je kunt dit doen" versus "Doe dit nooit").

Cruciaal is dat de Rechter ook uitlegt waarom ze verschillen en hoe ernstig het verschil is.

4. De Grote Ontdekking

Toen ze de cijfers berekenden, vonden ze iets verrassends.

Het "Ontbrekende"-probleem: In ongeveer 79% van de gevallen had één van de handboeken helemaal geen antwoord. De oude manier van testen miste dit omdat het ervan uitging dat elk boek een antwoord had.
De "Verborgen" Meningsverschillen: Toen ze het ophaalsysteem verbeterden (de bibliothecaris slimmer maakten), vonden ze meer meningsverschillen, niet minder.
- De Analogie: Stel je voor dat je op zoek bent naar een specifiek woord in een woordenboek. Als je alleen naar de eerste pagina kijkt, denk je misschien dat iedereen het eens is over de definitie. Maar als je het hele woordenboek leest, besef je dat verschillende edities het anders definiëren.
- Het artikel vond dat eerdere schattingen onderschatten hoe vaak ziekenhuizen het oneens waren. Het was niet zo dat het meningsverschil sterker was; het was dat de oude systemen gewoon blind waren voor het feit dat veel ziekenhuizen helemaal geen antwoord hadden, waardoor het ware uitgestrektheid van de verschillen werd verborgen.

5. Waarom Dit Buiten De Geneeskunde Belangrijk Is

De auteurs zeggen dat dit niet alleen gaat over harttransplantaties. Ze betogen dat elk systeem dat antwoorden haalt uit meerdere bronnen (zoals juridische systemen waar wetten per staat verschillen, of scholen waar curriculumstandaarden per district verschillen) ditzelfde blinde vlekje heeft.

Als een student een chatbot iets vraagt over geschiedenis, kan het antwoord veranderen afhankelijk van of de bot een lesboek uit New York of Texas leest. Dit artikel biedt een toolkit om die "bron-afhankelijkheid" te meten, zodat we stoppen met doen alsof er altijd één enkel juist antwoord is.

Samenvattend: Het artikel bouwde een enorme test om te laten zien dat wanneer AI vragen beantwoordt op basis van meerdere bronnen, het antwoord vaak afhangt van welke bron het heeft gekozen. Ze creëerden een nieuwe manier om deze verschillen te meten, wat bewijst dat we moeten stoppen met zoeken naar één enkel "correct" antwoord en moeten beginnen met het auditen van hoe verschillende bronnen met elkaar samenhangen.

Technische Samenvatting: Auditen van Bronafhankelijkheid in Medische Multi-Source RAG

Probleemstelling
Huidige evaluatieparadigma's voor Retrieval-Augmented Generation (RAG), met name in medische domeinen, vertrouwen op een "single-gold-answer"-aanname. Benchmarktests zoals MedQA en PubMedQA behandelen vragen alsof er één correct antwoord is, waardoor ze een kritieke faalmodus in ingezette multi-source systemen niet diagnosticeren: bronafhankelijkheid. In institutionele settings (bijvoorbeeld ziekenhuizen) bevatten patiënteducatiehandboeken vaak conflicterende protocollen, tijdlijnen of aanbevelingen, gebaseerd op lokaal risicomanagement en redactionele keuzes. Wanneer een RAG-systeem uit verschillende bronnen haalt, kan het even vloeiende en zelfverzekerde antwoorden genereren die wederzijds uitsluitend of divergent zijn. Het dominante evaluatieraamwerk kan deze heterogeniteit niet detecteren omdat het een as mist voor het meten van de relatie tussen antwoorden die zijn gebaseerd op verschillende documenten.

Methodologie
De auteurs stellen een raamwerk voor om de evaluatie-eenheid te verschuiven van "antwoordcorrectheid" naar "inter-bronrelatie". Dit wordt geoperationaliseerd via drie kerncomponenten:

TransplantQA Benchmark:
- Corpus: 102 patiënteducatiehandboeken van 23 Amerikaanse transplantatiecentra voor vaste organen (dekkend hart, long, nier, lever en alvleesklier). Documenten worden behandeld als distincte eenheden op basis van zorgfase (pre-transplantatie, post-transplantatie of gecombineerd).
- Vragen: 1.115 echte patiëntvragen geoogst uit online forums en belangenorganisaties, geanonimiseerd en herschreven.
- Structuur: De dataset is opgesplitst in een "algemene" subset (van toepassing op alle handboeken) en een "organspecifieke" subset. Dit maakt zowel volledige-corpus als gestratificeerde paarsgewijze vergelijkingen mogelijk.
HERO-QA-pijplijn (Hierarchical Evidence Retrieval and Orchestration):
- Architectuur: Een drie-trapsproces dat draait op open-weight LLM's (Qwen3-32B).
- Trap 1 (Extractie): Zet ruwe PDF's om in gestructureerde JSON met sectie- en paginametadata.
- Trap 2 (Retrieval): Een recall-eerst, multi-layer retrievalsysteem. Korte handboeken (<80k tekens) omzeilen retrieval om volledige-documentcontext te gebruiken. Langere handboeken ondergaan hiërarchische retrieval (document → secties → chunks) met behulp van vier parallelle retrievers (dichte FAISS, spaarzame BM25, sectie-lichaam navigatie, titelnavigatie), gevolgd door Reciprocal Rank Fusion (RRF) en cross-encoder her-ranking. Top-chunks worden uitgebreid naar bovenliggende secties voor coherente context.
- Trap 3 (Beoordeling): Een judge met gestructureerde output evalueert paarsgewijze relaties tussen antwoorden die zijn gegenereerd uit verschillende handboeken.
Judge met Gestructureerde Output:
- In plaats van een binaire label, geeft de judge een gestructureerd JSON-record uit dat bevat:
  - Classificatie: Eén van vijf labels: ABSENT (geen info), CONSISTENT (zelfde aanbeveling), COMPLEMENTARY (compatibel maar verschillende details), DIVERGENT (substantieel verschil), of CONTRADICTORY (tegenstrijdige richtlijnen).
  - Narratieve Metadata: divergence_topic (locus van meningsverschil) en clinical_significance (laag/medium/hoog).
- Validatie: De judge is gevalideerd tegen menselijke klinische annotatoren op een gestratificeerde steekproef, met een Cohen's $\kappa$ van 0,842 tegenover de menselijke meerderheid. Ablatiestudies bevestigden dat een single-call gestructureerde output noodzakelijk is om de discriminatie tussen COMPLEMENTARY- en DIVERGENT-klassen te behouden, wat label-only judges niet kunnen vastleggen.

Belangrijkste Resultaten
Het raamwerk is toegepast op een productierun die 48.056 onderbouwde antwoorden en 5.730.465 paarsgewijze vergelijkingen genereerde.

Prevalentie van Meningsverschil: Eerdere schattingen onderschatten de prevalentie van meningsverschil aanzienlijk. Hoewel expliciete CONTRADICTORY-gevallen zeldzaam waren (<0,1%), waren de dominante modi van meningsverschil COMPLEMENTARY (75,4% van de niet-absente paren) en DIVERGENT (12,9%).
Afwezigheid als Maskerend Factor: In de algemene subset waren 78,9% van de paren ABSENT (ten minste één handboek miste de info). Bij het vergelijken van een eerdere 14B-modelrun met de huidige 32B-run, verminderde betere retrieval de "handboek-afwezigheidsrate" met 13,6 procentpunten. Cruciaal: de per-paar divergentierate bleef stabiel, maar de prevalentie van vragen die enige divergentie vertoonden, nam toe met ongeveer 16%. Dit geeft aan dat sterkere retrievalpijplijnen latente meningsverschillen blootleggen in plaats van ze te fabriceren; eerdere baselines misten meningsverschil simpelweg omdat de relevante bronnen niet werden opgehaald.
Heterogeniteit: Afwezigheidsrates varieerden aanzienlijk tussen handboeken (0,45 tot 0,99), en divergentierates varieerden per orgaantype, waarbij alvleesklier en algemene vragen de hoogste rates van divergentie vertoonden.

Betekenis en Claims
Het artikel betoogt dat het meten van bronafhankelijkheid een fundamentele verantwoordelijkheid is voor elk ingezet multi-source NLP-systeem, niet alleen in de geneeskunde.

Verschuiving in Evaluatieparadigma: De auteurs claimen dat het single-gold-answer-paradigma ontoereikend is voor multi-auteur institutionele corpora. Het veld moet de inter-bronrelatie evalueren om te diagnosticeren of het antwoord van een gebruiker afhankelijk is van het specifieke opgehaalde document.
Domeinonafhankelijkheid: Hoewel geïnstancierd in transplantatie-educatie, is het raamwerk (multi-source benchmark, inter-brontaxonomie, judge met gestructureerde output) ontworpen om over te dragen naar juridische RAG (waar federale/staatsprecedenten kunnen conflicteren) en educatieve RAG (waar staatspecifieke curriculumstandaarden verschillen).
Methodologische Noodzaak: Het artikel stelt dat gestructureerde single-call beoordeling een ontwerpeis is, geen gemak. Post-hoc extractie van metadata uit een label-only judge faalt om de nuance tussen COMPLEMENTARY- en DIVERGENT-relaties te herstellen en verliest ernstgradatie.

De auteurs concluderen dat hun werk het eerste grootschalige instrument biedt voor het auditen van inter-bronheterogeniteit, en blootlegt dat meningsverschil in institutionele RAG veel vaker voorkomt dan eerder werd begrepen, hoewel de intensiteit daarvan consistent blijft over verschillende retrievalsterktes.