💬 NLP

Evaluating Factual Density in Multi-Source RAG: A Study in Medical AI Accuracy

Dit artikel introduceert Factual Density (FD*), een nieuw retrieval-signaal dat Medical RAG-systemen optimaliseert door documenten met een hoog aandeel geverifieerde atomaire beweringen te prioriteren boven lexicaal gelijkaardige tekst, waardoor een superieure bewijssaturatie en feitelijke nauwkeurigheid wordt bereikt in vergelijking met traditionele trefwoordgebaseerde methoden.

Oorspronkelijke auteurs: Michael R. DeMarco

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael R. DeMarco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Ruisende Bibliotheek"

Stel je voor dat je op zoek bent naar een specifiek, levensreddend feit in een enorme bibliotheek. Je stelt de bibliothecaris (de AI) een vraag zoals: "Verlaagt lichaamsbeweging het risico op hartziekten?"

De bibliothecaris heeft twee manieren om boeken te vinden:

De Trefwoordmatch: Ze zoeken naar boeken die precies dezelfde woorden gebruiken als jouw vraag.
De Vibe-match: Ze zoeken naar boeken die "klinken" als jouw vraag wanneer ze door een computerbrein worden gelezen.

De Ontdekking van het Paper: Beide methoden hebben een blinde vlek. Ze houden van lange, praatgrage boeken die steeds weer dezelfde woorden herhalen. Ze negeren vaak korte, dichte, wetenschappelijke abstracts die vol zitten met harde feiten, simpelweg omdat die korte teksten niet genoeg woorden hebben om bij jouw zoekopdracht te matchen.

De auteurs noemen dit het "Expert Blindness Effect" (Expert-blindheid). Het is alsof de bibliothecaris een samenvatting van 200 woorden geschreven door een Nobelprijswinnaar negeert omdat het te kort is, terwijl hij je wel een blogpost van 2.000 woorden geeft die het woord "beweging" honderd keer herhaalt zonder echte data te geven.

De Oplossing: Een "Feiten-dichtheidsscore"

Om dit op te lossen, hebben de onderzoekers een nieuwe manier uitgevonden om boeken te rangschikken, genaamd Factual Density (FD)*.

Beschouw een document niet als een stapel woorden, maar als een smoothie.

Standaard AI kijkt naar de grootte van de beker (hoe lang de tekst is).
FD* kijkt naar hoeveel echte stukjes fruit (geverifieerde feiten) er in die beker zitten.

Als je een grote beker water hebt met één klein druifje, is dat een "lage-dichtheid" smoothie. Als je een kleine beker hebt die volgepropt is met 15 verschillende soorten fruit, dan is dat een "hoge-dichtheid" smoothie. Het paper betoogt dat je voor medische vragen die kleine, fruitrijke beker wilt, en niet de grote, waterige beker.

Hoe Ze Het Testten

De onderzoekers bouwden een "Ghost Audit"-pipeline. Voordat de AI ooit een document ziet, halen ze het door een speciale scanner die:

De feiten extraheert: Het haalt elke specifieke, verifieerbare bewering eruit (bijv. "Een studie uit 2021 vond een effectiviteit van 45%").
Ze scoort: Het geeft punten op basis van hoe specifiek en kwantificeerbaar de bewering is.
De dichtheid berekent: Het deelt het totaal aantal "feitenpunten" door het aantal woorden.

De "Lengteval"-fix:
In het begin merkten ze een foutje op: korte documenten scoorden altijd hoger, simpelweg omdat ze minder woorden hadden (de noemer was klein). Het was alsof je zegt dat een beker met 1 druif beter is dan een beker met 10 druiven, alleen omdat de beker kleiner is.
Om dit op te lossen, gebruikten ze een statistische truc genaamd Z-score normalisatie. Stel je voor dat je alle boeken sorteert in "Kleine", "Medium" en "Grote" bakken. Ze vergeleken de dichtheid van boeken alleen binnen hun eigen bak. Dit zorgde ervoor dat ze appels met appels vergeleken, en niet appels met watermeloenen.

De Resultaten: Het Goud Vinden

Ze testten dit nieuwe systeem tegen het oude "Vibe Match"-systeem met behulp van een benchmark van 750 gezondheidsclaims die zijn geverifieerd door echte medische experts.

Het Oude Systeem: Wanneer gevraagd werd naar beweging en hartgezondheid, haalde het oude systeem een mix van lange artikelen en enkele wetenschappelijke papers op. Het miste de meest gezaghebbende bron (een Cochrane Systematic Review) omdat die review op de 8e of 12e plaats stond.
Het Nieuwe Systeem (FD):* Het nieuwe systeem vond die Cochrane Review onmiddellijk en plaatste deze helemaal bovenaan. Sterker nog, het was het enige systeem dat de top 5 resultaten vulde met hoogwaardige, door experts geverifieerde systematische reviews.

Het paper toonde aan dat het nieuwe systeem succesvol de "fruitrijke" bewijslast naar boven bracht die het oude systeem begroef.

Belangrijke Kanttekeningen (Wat het Paper Niet Zegde)

De auteurs zijn zeer voorzichtig in wat ze beweren:

Het is een "Reranker", geen vervanging: Ze hebben de oude AI niet weggegooid. Ze voegden alleen een stap toe voor een "tweede mening". De AI vindt nog steeds de relevante onderwerpen, maar de FD*-score zorgt ervoor dat de feitenrijke teksten vooraan in de rij komen te staan.
Het "Alignment"-probleem: De onderzoekers gaven toe dat er een grote hindernis was. Ze probeerden dit op 50 verschillende vragen te testen, maar hun bibliotheek met documenten bevatte niet genoeg antwoorden voor al die vragen. Ze hadden slechts genoeg data om het punt te bewijzen voor 7 specifieke vragen.
Geen wondermiddel: Ze stellen expliciet dat hoewel de resultaten veelbelovend zijn, ze nog geen massale statistische test (op 50 vragen) hebben gedaan om te bewijzen dat het overal werkt. Ze merkten ook op dat de "gewichten" die ze aan verschillende soorten bronnen gaven (zoals Cochrane versus algemene PubMed), schattingen waren en geen bewezen getallen.

De Kernboodschap

Dit paper beargumenteert dat in de medische AI de kwaliteit van informatie belangrijker is dan de hoeveelheid woorden.

Ze stellen een eenvoudige, goedkope upgrade voor: voordat een AI een gezondheidsvraag beantwoordt, moet hij controleren hoeveel geverifieerde feiten er in de brontekst gepakt zitten. Als hij dat doet, stopt hij met het aanleveren van lange, lege artikelen en begint hij de korte, dichte, deskundige samenvattingen aan te leveren die daadwerkelijk de waarheid bevatten.

Ze noemen dit "Factual Density" (Feiten-dichtheid), en ze zeggen dat dit de "Expert Blindness" oplost waarbij AI de slimste bronnen negeert omdat ze te beknopt zijn.

Technische Samenvatting: Evaluatie van Factuele Dichtheid in Multi-Source RAG

Probleemstelling

Retrieval-Augmented Generation (RAG) is de industriestandaard geworden voor het funderen van Large Language Models (LLM's) in externe kennis. De standaard retrieval-mechanismen—specifiek Cosine Similarity (semantische nabijheid) en BM25 (lexicale frequentie)—missen echter een inherent mechanisme om de factuele kwaliteit van de opgehaalde inhoud te meten.

Het paper identificeert een structurele foutmodus die de Expert Blindness Effect wordt genoemd. Dit fenomeen treedt op wanneer standaard RAG-pipelines systematisch hoog-dens, door experts gevalideerde bewijslast (bijv. Cochrane Systematic Reviews met specifieke, gekwantificeerde klinische uitkomsten) begraven onder lexicaal dominante maar factueel schrale tekst (bijv. langvormige artikelen die herhaaldelijk naar een onderwerp verwijzen zonder specifieke data te bieden). Huidige evaluatiekaders richten zich op getrouwheid (of het model heeft gehallucineerd ten opzichte van de opgehaalde context) in plaats van op retrieval-kwaliteit (of de opgehaalde context in de eerste plaats factueel dicht of door experts gevalideerd was).

Methodologie

1. Corpus Constructie en Preprocessing

De studie maakte gebruik van een corpus van 600 chunks afkomstig van drie niveaus van medisch bewijs:

Cochrane Systematic Reviews (COCHRANE_SR): 200 gestructureerde abstracts.
Randomized Controlled Trials (CLINICAL_RCT): 200 abstracts gefilterd via NLM-tags.
Algemene PubMed Abstracts (SCIENTIFIC_PMC): 200 peer-reviewed abstracts.

Vóór ingestie onderging het corpus de NexusAgentics Ghost Audit preprocessing-pipeline. Deze pipeline voert uit:

Atomic Claim Extraction: Gebruik van Gemini 2.5 Flash om unieke, op zichzelf staande, verifieerbare feitelijke beweringen te identificeren, terwijl genuanceerde taal en anekdotische beweringen worden weggefilterd.
Probabilistic Factuality Scoring: Het toekennen van een prob_fact-score (0.2 tot 1.0) gebaseerd op verifieerbaarheid en specificiteit, niet op empirische waarheid.

2. Formulering van Factual Density (FD*)

De kernmetriek, Factual Density (FD)*, wordt gedefinieerd als de proportie van geverifieerde atomaire claims ten opzichte van het token-aantal.

Initiële Formulering ( $FD_{raw}$ ): Som van prob_fact-scores gedeeld door het aantal tokens.
- Probleem: Experiment 1 onthulde een ernstige documentlengte-confound (Pearson $R = -0.8636$ ), waarbij kortere documenten kunstmatig hoger scoorden door het noemer-effect.
Gecorrigeerde Formulering ( $FD^*$ ): Om dit op te lossen, pasten de auteurs Z-score normalisatie binnen documentlengte-bins (Kort, Medium, Lang) toe.
- $FD^*(d) = [(FD_{raw}(d) - \mu_{bin}) / \sigma_{bin}] \times a_{source}$
- Deze correctie reduceerde de lengtecorrelatie tot een niet-significant niveau ( $p = 0.0749$ ), wat de validatie van FD* als een lengte-onafhankelijk signaal bevestigt.

3. Retrieval Condities

Drie condities werden geëvalueerd tegen de HealthFC benchmark (750 expert-gelabelde gezondheidsclaims):

Conditie A: Cosine Similarity (Semantische zoekopdracht).
Conditie B: BM25 (Lexicale zoekopdracht).
Conditie C: FD-Geoptimaliseerde Retrieval.* Een tweestaps hybride pipeline:
1. Cosine Similarity pre-filter (Top-20).
2. Reranking met een samengestelde score: $0.5 \times \text{CosineSim} + 0.5 \times FD^*_{rescaled}$ .

4. Evaluatiebeperkingen

De studie werd geconfronteerd met aanzienlijke corpus-benchmark alignment beperkingen. Ondanks twee corpus-iteraties bleef de dekking tegenover de HealthFC-evaluatieset onder de 20% (14% in de laatste iteratie). Bijgevolg kon de geplande statistische validatie (Wilcoxon signed-rank test op $n=50$ queries) niet worden uitgevoerd. Resultaten worden gerapporteerd als directioneel bewijs op basis van beschikbare ground truth mappings.

Belangrijkste Resultaten

1. Validatie van Scoring en Correctie

Ghost Audit: Valideerde dat het scoringframework betekenisvolle variantie produceert over de bronniveaus (Standaarddeviatie $\ge 0.10$ ), wat garandeert dat het reranking-signaal niet instort.
Lengte Confound: Bevestigde dat naïeve op tokens genormaliseerde dichtheidsmetingen kwetsbaar zijn voor documentlengte-bias. Z-score normalisatie binnen bins werd bewezen een effectieve, computationeel goedkope correctie te zijn.

2. De Expert Blindness Effect (Single-Query Audit)

Op een specifieke query over lichaamsbeweging en cardiovasculair risico leverden de retrieval-condities verschillende resultaten op:

Cosine Similarity: Haalde 40% Cochrane reviews en 60% RCT's op.
BM25: Haalde 80% Cochrane reviews op, maar slaagde er niet in deze consistent hoog te ranken op alle metrieken.
FD-Geoptimaliseerd:* Bereikte 100% systematic review saturatie in de top-5 resultaten.
- Mechanisme: FD* slaagde erin hoog-dens bewijslast te verhogen die door semantische gelijkenheid alleen buiten de top tien werd gerankt (bijv. een Cochrane abstract met een cosine score van 0.7308 werd verhoogd naar Rank 4 door een hoge FD* score van 9.660).
Ground Truth Verificatie: De top-5 resultaten van de FD*-conditie mappen naar negen bevestigde instanties over vijf verschillende HealthFC-ondersteunde claims, die allemaal als "Supported" werden gelabeld door medische experts.

3. Bevindingen over Corpus Alignment

De studie identificeerde dat seeded pre-check samples de corpus-dekking systematisch overschatten. Een sample van 12 chunks vertoonde 38,62% alignment, terwijl het volledige 600-chunk corpus slechts 14% vertoonde. Dit benadrukt een kritieke kloof in huidige RAG-evaluatiepraktijken, waarbij bronselectie vaak uitgaat van alignment zonder verificatie van de volledige corpora.

Betekenis en Bijdragen

Het paper stelt twee gelijkwaardige bijdragen voor:

Factual Density (FD) als een Retrieval Signaal:*
FD* wordt voorgesteld als een bron-agnostisch, lengte-onafhankelijk en computationeel goedkoop optimalisatiesignaal. Het kan worden geïntegreerd in bestaande RAG-pipelines als een 50/50 composiet met cosine similarity zonder wijzigingen te vereisen in embedding modellen, vector stores of retrieval-infrastructuur. Het adresseert het gat waar semantische nabijheid niet correleert met informatiedichtheid.
Documentatie van de Expert Blindness Effect:
Het paper benoemt en demonstreert empirisch de systematische bias in standaard retrieval-methoden die hoog-gezagvoerende bewijslast begraven. Dit heeft directe veiligheidsimplicaties voor gezondheids-AI, waarbij het presenteren van een 2.000 woorden tellend artikel boven een Cochrane review kan leiden tot gevaarlijke desinformatie.
Methodologische Bijdrage aan RAG Evaluatie:
De studie introduceert een dual-filter pre-check methodologie (vereist cosine similarity $\ge 0.75$ en keyword overlap $\ge 2$ ) als een prererequisiet voor gezonde RAG-corpusconstructie. Het betoogt dat corpus-benchmark alignment een kritieke, vaak over het hoofd geziene voorwaarde is voor een geldige RAG-evaluatie, en dat het vertrouwen op kleine, topisch gezaaide samples leidt tot valse zekerheid over de dekking.

Limitaties en Toekomstig Werk

De auteurs stellen expliciet dat de bevindingen voorlopig zijn vanwege het onvermogen om de volledige $n=50$ statistische test uit te voeren door de lage corpus-benchmark alignment. De "Expert Blindness Effect" wordt gedemonstreerd op een enkele query en is niet statistisch gegeneraliseerd.

Toekomstig werk wordt geschetst om:

Formele statistische tests uit te voeren met een corpus met $\ge 40\%$ HealthFC dekking.
De optimale bron-autoriteitsgewichten ( $a_{source}$ ) empirisch af te leiden in plaats van placeholders te gebruiken.
FD* te verkennen als een anchor node signaal in Graph RAG architecturen om de bewijsstructuur te combineren met factuele dichtheid.

Het paper concludeert dat hoewel FD* geen volledige oplossing is, het een noodzakelijke stap vertegenwoordigt om ervoor te zorgen dat AI-systemen feiten ophalen in plaats van enkel lexicale matches, vooral in sectoren met een hoog risico zoals de gezondheidszorg.