💻 computer science

Retrieval, not hallucinations, will be the limiting factor for LLM-based clinical AI tools

Dit artikel betoogt dat voor op LLM gebaseerde klinische AI-instrumenten de primaire beperking niet hallucinaties zijn, maar eerder het falen om noodzakelijke patiëntgegevens accuraat op te halen, wat oproept tot een verschuiving van de focus naar het verbeteren van de recall en de evaluatie van retrieval.

Oorspronkelijke auteurs: Kirk Roberts, Steven Bedrick, Kurt Miller, William R. Hersh, Hongfang Liu

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kirk Roberts, Steven Bedrick, Kurt Miller, William R. Hersh, Hongfang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysterie probeert op te lossen, maar in plaats van een detective heb je een superintelligente robotassistent. Deze robot heeft bijna elk boek gelezen dat ooit geschreven is en kan praten als een mens. In de medische wereld worden deze robots Large Language Models (LLM's) genoemd. Ze worden geleerd om artsen te helpen door patiëntendossiers te lezen, samen te vatten wat er mis is en behandelingen voor te stellen. Maar hier zit een addertje onder het gras: de robot kan niet de volledige database van het ziekenhuis tegelijkertijd lezen omdat die te groot is. Dus voordat de robot een vraag beantwoordt, moet hij een "zoekploeg" uitsturen om de specifieke pagina's van de medische geschiedenis van de patiënt te vinden die er toe doen. Dit proces wordt Retrieval (informatie-opvraging) genoemd.

Beschouw de robot als een briljante chef en de medische geschiedenis van de patiënt als een enorme, chaotische voorraadkast. De chef (de AI) is geweldig in koken, maar als de zoekploeg (het retrieval-systeem) vergeet de eieren mee te brengen, kan de chef geen omelet maken, hoe getalenteerd hij ook is. Lange tijd waren mensen bezorgd dat de chef gewoon ingrediënten zou verzinnen die niet bestaan — zoals beweren dat hij "eenhoorn-eieren" heeft gebruikt terwijl die er niet waren. Dit wordt een hallucinatie genoemd. Maar dit artikel suggereert dat hoewel dingen verzinnen slecht is, het echte, stille gevaar ervoor zorgt dat de chef essentiële ingrediënten mist omdat de zoekploeg ze niet heeft gevonden. Als de robot vergeet de arts te vertellen dat een patiënt allergisch is voor penicilline omdat hij die notitie niet kon vinden in de gigantische voorraadkast, kunnen de gevolgen veel erger zijn dan een grappig verzonnen feit.

Het Grote Idee van het Papier: De Stille Moordenaar in de Voorraadkast

Dit papier betoogt dat de grootste flessenhals voor medische AI niet de robot die dingen verzint is (hallucinaties); het is de robot die er niet in slaagt de juiste informatie te vinden (recall-fouten). De auteurs, een team van experts van universiteiten en klinieken, willen het gesprek verschuiven van "Ligt de AI te liegen?" naar "Heeft de AI iets cruciaals gemist?".

De Twee Soorten Fouten

Om hun punt te begrijpen, vergelijken de auteurs AI-fouten met twee klassieke soorten fouten:

Het "Vals Alarm" (Precisie-fout): Dit is wanneer de AI zegt dat iets waar is, maar het is eigenlijk onjuist. In de medische wereld is dit de beroemde hallucinatie. Bijvoorbeeld, de AI zegt: "De patiënt heeft een zeldzame tropische ziekte," terwijl dat eigenlijk niet zo is. Dit is eng, maar meestal gemakkelijk te ontdekken. Als de AI iets wilds zegt, kan een arts naar de bronnotitie kijken en zeggen: "Wacht even, dat staat niet in het dossier." Het is alsof de chef beweert een geheime specerij te gebruiken die niet in de voorraadkast zit; je kunt gewoon de voorraadkast controleren en zien dat het ontbreekt.
De "Stille Weglating" (Recall-fout): Dit is wanneer de AI iets belangrijks weglaat dat wél in het dossier staat. Misschien heeft de patiënt een ernstige allergie, of een kritisch laboratoriumresultaat van gisteren, maar de AI vermeldt het simpelweg niet. Dit is de "stille killer". Waarom? Omdat als de AI niets zegt, de arts er misschien vanuit gaat dat de informatie niet bestaat. Het is alsof de chef vergeet te melden dat de eieren ontbreken, waardoor de dokter ervan uitgaat dat de omelet prima is, om er later pas achter te komen dat de patiënt een reactie kreeg op een verborgen ingrediënt.

Het papier wijst erop dat we goede manieren hebben om het "Vals Alarm" te vangen (door de bronnotities te controleren), maar dat we bijna geen enkele manier hebben om de "Stille Weglatingen" te vangen. Als de zoekploeg een specifieke notitie niet vindt, ziet de AI het nooit, en weet de arts niet dat het gemist is. Het is een stille fout.

Waarom de Zoekploeg de Zwakke Schakel is

De auteurs leggen uit dat hoewel de "chef" (de LLM) elke dag slimmer en sneller wordt, de "zoekploeg" (het retrieval-systeem) niet even snel verbetert.

De Groei van de Chef: De AI-modellen evolueren snel en worden beter in het begrijpen van taal en context.
De Stagnatie van de Zoekploeg: De hulpmiddelen die worden gebruikt om door miljoenen medische notities te zoeken, vertrouwen nog steeds op oudere, tragere methoden. Zelfs als we nieuwe technologie gebruiken om hen te helpen, is de kernmanier waarop ze documenten vinden niet veel veranderd.

Het papier suggereert dat omdat de zoektools achterlopen, zij de zwakke schakel worden. Naarmate de patiëntendossiers langer en complexer worden (dankzij betere technologie die verschillende ziekenhuizen verbindt), krijgt de zoekploeg een nog moeilijkere taak. Als ze een enkele cruciale notitie missen in een enorm bestand, faalt het hele AI-systeem, en merkt niemand dat het is gebeurd totdat het te laat is.

De Evaluatie-valstrik

Een van de meest interessante delen van het papier is hoe moeilijk het is om deze systemen te testen.

De Chef Testen: Het is relatief eenvoudig om te testen of een chef ingrediënten verzint. Je kunt hem een recept laten schrijven en controlen of de ingrediënten aanwezig zijn.
De Zoekploeg Testen: Het is ongelooflijk moeilijk om te testen of de zoekploeg iets gemist heeft. Om te weten of ze een notitie hebben gemist, zou je zelf elke enkele notitie in de geschiedenis van de patiënt moeten lezen om te zien wat er stond. Aangezien patiëntendossiers duizenden pagina's lang kunnen zijn, heeft niemand de tijd om dit voor elke AI-test te doen.

De auteurs merken op dat huidige testmethoden vaak alleen controleren of de AI sommige goede informatie heeft gevonden, niet of de AI alle goede informatie heeft gevonden. Dit betekent dat we kunnen denken dat een AI perfect werkt, terwijl hij in wertheid cruciale details mist.

Wat de Auteurs Wel (en Niet) Zeggen

Het papier is zeer voorzichtig om niet te zeggen dat hallucinaties zijn opgelost of dat we moeten stoppen met erom zorgen. Ze geven toe dat hallucinaties een "verontrustend probleem" zijn. Ze beweren echter dat we momenteel geobsedeerd zijn door deze, terwijl we het grotere, moeilijker te detecteren probleem van ontbrekende informatie negeren.

Ze beweren niet dat ze een magische oplossing hebben. Sterker nog, ze zeggen dat er op dit moment geen perfecte oplossing is voor recall-fouten. De enige manier om 100% zeker te zijn dat een AI niets heeft gemist, is door een mens het volledige patiëntendossier te laten lezen, wat het doel van het gebruik van AI om tijd te besparen, tenietdoet. Het papier suggereert dat we nieuwe manieren nodig hebben om deze systemen te testen, wellicht door menselijke controles te combineren met slimme geautomatiseerde tools, om ervoor te zorgen dat we geen "stille weglatingen" door de mazen van het net laten glippen.

De Kern van de Zaak

De belangrijkste boodschap is een waarschuwing: Let niet alleen op of de AI tegen je liegt; let erop of de AI vergeet de waarheid tegen je te zeggen.

Naarmate medische AI gebruikelijker wordt, geloven de auteurs dat de grootste hindernis niet zal zijn om de robot slimmer te maken, maar om ervoor te zorgen dat de zoekploeg van de robot grondig genoeg is om elk stukje van de puzzel te vinden. Als we het retrieval-probleem niet oplossen, kan zelfs de meest geavanceerde AI ter wereld een levensreddend detail missen, en zullen we misschien nooit eens weten dat het is gebeurd.

Technische Samenvatting: Retrieval, niet Hallucinaties, als de Beperkende Factor voor LLM-gebaseerde Klinische AI

Probleemstelling
Het huidige discours rondom fouten in op Large Language Models (LLM's) gebaseerde klinische Kunstmatige Intelligentie (AI) richt zich voornamelijk op precisiefouten, specifnel "hallucinaties" (Type I-fouten), waarbij het model beweringen genereert die niet worden ondersteund door patiëntgegevens. Dit artikel betoogt echter dat recall-fouten (Type II-fouten) — waarbij het systeem er niet in slaagt om cruciale patiëntinformatie te extraheren of op te nemen die wel aanwezig is in het Elektronisch Patiëntendossier (EPD) — een significantere en onderbelichte beperking vormen.

In klinische AI-workflows, zoals ambient scribing of probleemgerichte samenvattingen, vertrouwen LLM's doorga Gaans op Retrieval-Augmented Generation (RAG) om toegang te krijgen tot de patiëntgeschiedenis vanwege beperkingen in de contextlengte. Het kernprobleem dat wordt geïdentificeerd, is dat terwijl precisiefouten vaak kunnen worden gemitigeerd door claims te koppelen aan brondocumenten, er geen equivalente, schaalbare mitigatiestrategie bestaat voor recall-fouten. Als een retrievel-systeem er niet in slaagt een relevante notitie op te halen, of als de LLM er niet in slaagt opgehaalde informatie te gebruiken, mist de resulterende output cruciale gegevens. Omdat de "ground truth" van wat wel opgehaald had moeten worden vaak onbekend is in grote, complexe EPD-datasets, zijn deze weglatingen moeilijk te detecteren, wat potentieel kan leiden tot "stille" klinische schade.

Methodologie en Analytisch Kader
Dit artikel is een perspectiefartikel dat bestaande literatuur over LLM's, informatie-retrieval (IR) en klinische AI synthetiseert. De auteurs hanteren de volgende analytische benaderingen:

Foutentaxonomie: De auteurs brengen klinische AI-fouten in kaart binnen het statistische kader van Type I (vals positief/precisie) en Type II (vals negatief/recall) fouten.
- Precisiefouten: Gedefinieerd als claims in de output die niet worden ondersteund door patiëntgegevens (bijv. hallucinaties, confabulaties).
- Recall-fouten: Gedefinieerd als de weglating van belangrijke, door data ondersteunde informatie (bijv. het missen van een kritieke diagnose, medicatie of een recente laboratoriumuitslag).
Architecturale Analyse: Het artikel analyseert de gegeneraliseerde RAG-architectuur (Query $\rightarrow$ Retrieval Engine $\rightarrow$ Prompt $\rightarrow$ LLM $\rightarrow$ Output) om foutbronnen te identificeren. Het stelt dat recall-fouten uit twee punten kunnen voortkomen: de retrieval engine die er niet in slaagt relevante documenten terug te geven, of de LLM die er niet in slaagt opgehaalde documenten te integreren in de uiteindelijke generatie.
Review van Evaluatiebenchmarks: De auteurs beoordelen de staat van evaluatiemetrieken. Ze contrasteren tekstgeneratie-benchmarks (met behulp van metrieken zoals ROUGE/BLEU of "nugget"-evaluatie) met informatie-retrieval benchmarks (TREC-stijl pooling). Ze benadrukken dat evaluatie van retrieval inherent moeilijk is omdat de "pooling"-methode (het aggregeren van topresultaten van meerdere systemen) niet kan garanderen dat alle relevante documenten zijn gevonden, waardoor het onmogelijk is om de exacte recall-prestaties op grote datasets te berekenen.

Belangrijkste Bijdragen

Verschuiving van de Focus: De primaire bijdrage is een oproep om de onderzoeks- en klinische focus te verleggen van het goed bestudeerde probleem van hallucinaties naar het onderbelichte probleem van retrieval recall. De auteurs merken op dat recall-fouten in kwalitatieve interviews met clinici aanvankelijk werden over het hoofd gezien totdat er expliciet naar werd gevraagd, ondanks dat ze werden erkend als een significant risico.
Identificatie van de "Stille Moordenaar": Het artikel karakteriseert recall-fouten als een "stille moordenaar" omdat, in tegenstelling tot hallucinaties die door bronvermelding kunnen worden gesignaleerd, weglatingen geen spoor achterlaten in de output, waardoor ze onzichtbaar zijn voor de eindgebruiker en moeilijk te auditeren zijn.
Analyse van Technologische Dispariteit: De auteurs betogen dat de prestaties in kern-informatie-retrieval trager verbeteren dan de capaciteiten van LLM's. Terwijl LLM's snel evolueren, leunen kern-retrieval engines vaak op gevestigde methoden (bijv. BM25, dense vector retrieval) die achterlopen. Consequentelijk zal de bottleneck voor klinische AI, naarmate LLM's krachtiger worden, steeds meer verschuiven naar het vermogen van de retrieval-component om de juiste data te vinden.
Kritiek op Evaluatie: Het artikel bekritiseert huidige evaluatieparadigma's, waarbij wordt opgemerkt dat standaard metrieken (zoals BLEU/ROUGE) en zelfs "nugget"-evaluatie moeite hebben met het effectief meten van recall in open-ended klinische taken. Het stelt verder dat "LLM-as-a-judge" niet als gouden standaard kan dienen voor de evaluatie van retrieval, omdat retrieval en evaluatie fundamenteel hetzelfde probleem zijn.

Resultaten en Bevindingen
Als een perspectiefstuk presenteert het artikel geen nieuwe experimentele resultaten of kwantitatieve gegevens. In plaats daarvan zijn de "bevindingen" afgeleid van een synthese van huidige trends:

Mitigatie-asymmetrie: Precisiefouten hebben gevestigde mitigatiestrategieën (bronvermelding), terwijl recall-fouten geen vergelijkbare, efficiënte oplossing missen die niet het doel van de AI (tijd besparen) ondermijnt.
Retrieval-achterstand: Verbeteringen in retrieval zullen waarschijnlijk achterblijven bij de verbeteringen in LLM's, wat betekent dat recall-fouten de dominante limiterende factor zullen worden naarmate de volumes aan EPD-data groeien.
Haalbaarheid van Evaluatie: Het is momenteel onhaalbaar voor elke instelling om rigoureuze, TREC-stijl recall-evaluaties uit te voeren voor elke implementatie van klinische AI, vanwege de vereiste handmatige arbeid en het gebrek aan generaliseerbare publieke datasets.

Betekenis en Claims
Het artikel claimt dat de limiterende factor voor de betrouwbaarheid en veiligheid van toekomstige LLM-gebaseerde klinische AI-tools niet de neiging van het model om te hallucineren zal zijn, maar het onvermogen om de juiste patiënt-specifieke data op te halen.

De auteurs stellen dat hoewel onderzoek naar het verminderen van hallucinaties moet doorgaan, dit moet worden versterkt door onderzoek naar recall-evaluatie en mitigatie. Ze concluderen dat zonder het aanpakken van de fundamentele moeilijkheid van het meten en waarborgen van een hoge recall in patiëntgegevens-retrieval, klinische AI-tools het risico lopen patiënten te schaden door ongedetecteerde weglatingen. Het artikel pleit voor hybride evaluatiebenaderingen die menselijke beoordeling combineren met geautomatiseerde methoden om recall-fouten in klinische implementaties beter te identificeren en te minimaliseren.