RAG-MedDx: A Preliminary Offline Prototype of a Citation-Traced Retrieval-Augmented Framework for Intelligent Medical Diagnosis Support

In de moderne medische wereld zijn computers krachtige assistenten geworden, in staat om enorme bibliotheken aan medische teksten te lezen en in vloeiende, mensachtige zinnen te spreken. Deze systemen, bekend als grote taalmodellen, werken door het volgende woord in een zin te voorspellen op basis van patronen die ze hebben geleerd van miljoenen documenten. Hoewel ze indrukwekkend zijn in het klinken van zelfverzekerd en samenhangend, hebben ze een aanzienlijk gebrek: ze weten niet altijd de waarheid. Omdat ze vertrouwen op geheugen in plaats van een live controle van feiten, kunnen ze soms details verzinnen die plausibel klinken maar volkomen onjuist zijn. In een vakgebied met hoge belangen zoals de gezondheidszorg, waar een verkeerde gok over een ziekte of een medicijninteractie een patiënt in gevaar kan brengen, is deze neiging om dingen te verzinnen een serieus probleem. Bovendien, wanneer deze computersystemen een antwoord geven, gedragen ze zich vaak als 'black boxes', waarbij geen enkele manier wordt geboden om te zien welk boek of welke studie ze hebben gebruikt om tot die conclusie te komen. Artsen en patiënten moeten niet alleen weten wat het antwoord is, maar ook waar het vandaan komt, zodat ze het kunnen verifiëren.

Om deze gevaren aan te pakken, heeft een onderzoeker genaamd Akanksha Gaikwad een voorlopig prototype gebouwd van een nieuw soort medisch ondersteuningssysteem. Dit systeem, genaamd RAG-MedDx, is ontworpen om de computer te dwingen het antwoord op te zoeken in een specifieke set vertrouwde boeken voordat hij spreekt, en vervolgens precies aan te geven welk boek hij heeft gebruikt. Het doel is om een diagnostisch hulpmiddel te creëren dat niet alleen gokt, maar elke enkele bewering terugvoert naar een echte bron. De onderzoeker testte dit idee door een vereenvoudigde, offline versie van het systeem te maken die volledig draait op een lokale computer zonder verbinding te maken met het internet. De resultaten laten zien dat het systeem erin slaagt relevante medische informatie te vinden, deze te koppelen aan een specifieke vraag en toe te geven wanneer het het antwoord niet weet, allemaal terwijl het de noodzaak vermijdt om een computer in de cloud te gebruiken voor het denkwerk.

De kern van het idee achter dit werk is het veranderen van de manier waarop een computer medisch advies genereert. In plaats van de computer uitsluitend te laten vertrouwen op zijn interne training, werkt het nieuwe systeem als een bibliothecaris die de planken moet controleren voordat hij een vraag beantwoordt. Wanneer een gebruiker een beschrijving van symptomen typt, zoekt het systeem eerst in een kleine, lokale collectie van zes medische tekstboekvermeldingen. Het zoekt naar trefwoorden die overeenkomen met de zoekopdracht van de gebruiker. Als het een match vindt, haalt het die informatie naar voren en gebruikt het deze om een antwoord op te bouwen. Cruciaal is dat elke zin in het uiteindelijke antwoord voorzien is van een klein label dat direct verwijst naar de specifieke tekstboekvermelding waar het vandaan komt. Dit creëert een duidelijk pad van de diagnose terug naar het bewijs, waardoor een mens de bron onmiddellijk kan verifiëren. Als het systeem in zijn collectie zoekt en niets vindt dat bij de symptomen past, probeert het niet te gokken. In plaats daarvan vertelt het de gebruief simpelweg dat er geen overeenkomende informatie is gevonden, wat voorkomt dat het systeem een diagnose verzint.

In de tests die voor dit artikel zijn uitgevoerd, toonde het prototype aan dat deze aanpak werkt in een gecontroleerde omgeving. Wanneer een gebruiker een zoekopdracht invoerde over pijn op de borst die uitstraalt naar de linkerarm, doorzocht het systeem snel zijn lokale database. Het vond twee relevante bronnen en genereerde een antwoord in 0,77 seconden. De reactie bevatte inline citaties die elk deel van het advies koppelden aan de specifieke tekstboekvermelding waarop het gebaseerd was. In een tweede test voerde de gebruiker een verkeerd gespelde term in die niet overeenkwam met de medische termen in de database. In dit geval rapporteerde het systeem correct dat er geen bronnen waren gevonden en genereerde het geen vals antwoord. Het hele proces duurde 0,49 seconden. Deze tests werden uitgevoerd op een enkel apparaat zonder enige verbinding met externe servers, wat bewees dat het systeem offline kan functioneren en patiëntgegevens privé kan houden.

Het is belangrijk om de reikwijdte te begrijpen van wat dit artikel heeft bereikt. Het beschreven systeem is een prototype, een eerste stap in een groter project. De versie die in deze studie is getest, maakte geen gebruik van een echte, geavanceerde kunstmatige intelligentie om de antwoorden te schrijven; in plaats daarvan werd een vereenvoudigde set regels gebruikt om te simuleren hoe een AI zou kunnen reageren. Daarom claimt het artikel niet dat het systeem klaar is om echte patiënten te diagnosticeren of dat het beter is dan huidige medische instrumenten. De onderzoekers hebben nog niet gemeten of deze methode fouten vermindert of de snelheid van diagnose verbetert vergeleken met standaard computermodellen. Het werk dat hier gepresenteerd wordt, is een demonstratie van haalbaarheid. Het laat zien dat het mogelijk is om een systeem te bouwen dat informatie ophaalt, citaties toevoegt en weigert te antwoorden wanneer het niet over bewijs beschikt, alles binnen één controleerbare pijplijn.

De onderzoeker heeft ook een apart computerframework gebouwd om het volledige systeem in de toekomst te testen. Dit framework is ontworpen om de nieuwe methode te vergelijken met een standaard computermodel dat geen informatie opzoekt. Het plan is om beide systemen te draaien op een grote set medische vragen en te meten hoe vaak ze juist zijn, hoe vaak ze zaken verzinnen en hoe lang ze nodig hebben om te antwoorden. Deze tests zijn echter nog niet uitgevoerd. Het huidige artikel richt zich op het ontwerp van het systeem en de succesvolle demonstratie van de basisfuncties. De onderzoeker erkent dat het huidige prototype gebruikmaakt van eenvoudige trefwoordherkenning, wat antwoorden kan missen als een woord verkeerd gespeld is, en dat de regelgebaseerde antwoordgeneratie een vervanging is voor een complexere intelligentie.

Ondanks deze beperkingen biedt het prototype een duidelijke visie op hoe medische kunstmatige intelligentie veiliger en betrouwbaarder gemaakt kan worden. Door de computer te verplichten zijn werk te tonen en toe te geven wanneer hij het niet weet, adresseert het systeem twee belangrijke zorgen: het risico op valse informatie en het gebrek aan transparantie. Het vermogen om volledig offline te draaien suggereert dat een dergelijk systeem in ziekenhuizen gebruikt kan worden zonder gevoelige patiëntgegevens naar de cloud te sturen. Hoewel het werk voorlopig is en de definitieve resultaten over nauwkeurigheid en betrouwbaarheid nog moeten komen, bewijst het prototype succesvol dat een met citaties traceerbaar en bij gebrek aan informatie niet-antwoordsysteem gebouwd en getest kan worden. Het legt de basis voor een toekomst waarin medisch advies van computers niet alleen vloeiend, maar ook verifieerbaar en eerlijk is.