HemOncAgent: an artificial intelligence system for retrieving structured and narrative oncology knowledge

In de complexe wereld van de kankerbehandeling moeten artsen navigeren tussen twee zeer verschillende soorten informatie. Het ene type is rigide en precies, zoals een catalogus van ingrediënten die exact vermeldt welke medicijnen bij een specifieke combinatie horen of welke medische codes een bepaalde ziekte beschrijven. Het andere type is vloeiend en beschrijvend, te vinden in de geschreven aantekeningen van specialisten die uitleggen hoe behandelingen in de loop van de tijd worden gesequentieerd, wanneer een nieuwe therapie wordt gestart of hoe een patiënt wordt beheerd na een recidief. Decennialang hebben computersystemen die artsen moeten ondersteunen, moeite gehad om beide tegelijkertijd te verwerken. Sommige blinken uit in het vinden van exacte feiten maar falen in het begrijpen van het verhaal van een behandelplan, terwijl andere goed zijn in het lezen van tekst maar de cruciale connecties tussen specifieke medicijnen missen. Deze kloof is van belang omdat een arts die een vraag stelt over oncologische zorg, het ene moment een precieze medicijnlijst nodig kan hebben en het volgende moment een narratieve uitleg over behandelpaden.

Een team van onderzoekers heeft een nieuwe digitale assistent gebouwd genaamd HemOncAgent om deze kloof te overbruggen. In plaats van één methode al het werk te laten doen, fungeert dit systeem als een bedachtzame bibliothecaris die weet wanneer hij een gestructureerde database moet raadplegen en wanneer hij een gedetailleerd handboek moet lezen. De onderzoekers testten deze tool tegen standaard computersystemen met behulp van honderden vragen over oncologische kennis. Ze ontdekten dat door de computer de juiste bron voor elke specifieke vraag te laten kiezen, het nieuwe systeem zowel feitelijke vragen als complexe behandeltrajecten met een hoge nauwkeurigheid kon beantwoorden. De resultaten suggereren dat voor medische kennis die deels uit harde data en deels uit menselijke ervaring bestaat, een hybride aanpak veel betrouwbaarder is dan het vertrouwen op slechts één type zoekopdracht.

De uitdaging in de oncologie is dat kennis in twee afzonderlijke vormen bestaat. Aan de ene kant zijn er gecureerde databases die gestructureerde feiten opslaan, zoals welke medicijnen deel uitmaken van een specifiek regime of welke standaard medische codes van toepassing zijn op een aandoening. Deze zijn als de harde regels van een spel, waarbij elk element een gedefinieerde plaats heeft. Aan de andere kant zijn er bronnen die zijn geschreven door clinici die beschrijven hoe behandelingen in de praktijk daadwerkelijk worden toegepast, waarbij ze de volgorde van therapieën beschrijven die worden gegeven voor verschillende stadia van een ziekte. Deze narratieven vangen de nuance van besluitvorming die rigide databases vaak missen. Hoewel grote taalmodellen — computerprogramma's getraind op enorme hoeveelheden tekst — vragen kunnen beantwoorden, hallucineren of gokken ze vaak wanneer ze geen toegang hebben tot deze specifieke externe bronnen. Om dit op te lossen, ontwikkelden onderzoekers een systeem dat naar beide soorten bronnen kan reiken en de meest geschikte selecteert op basis van wat de gebruiker vraagt.

De onderzoekers creëerden HemOncAgent om te fungeren als een centraal knooppunt dat verbinding maakt met twee specifieke kennisbronnen. De eerste is een gestructureerde kennisgrafiek, een massaal netwerk van meer dan 126.000 concepten en 424.000 relaties die medicijnen, regimes en ziekten met elkaar verbinden. Deze bron is uitstekend voor het beantwoorden van vragen over exacte composities of regelgevende goedkeuringen. De tweede bron is een narratieve website met duizenden pagina's tekst geschreven door experts, die behandelpaden en zorgsequenties beschrijft. Wanneer een vraag wordt gesteld, analyseert de agent de aanvraag en beslist of hij de gestructureerde grafiek moet bevragen, de narratieve tekst moet doorzoeken, of beide. Vervolgens haalt het de relevante informatie op en synthetiseert een definitief antwoord. Om te zien of deze aanpak werkte, vergeleken het team HemOncAgent met drie andere systemen: een standaard taalmodel zonder externe kennis, een systeem dat alleen de narratieve tekst doorzocht, en een systeem dat alleen de gestructureerde grafiek bevroeg.

Het testen omvatte 600 vragen, verdeeld in twee groepen. De eerste groep richtte zich op gestructureerde feiten, zoals het identificeren van de medicijnen in een regime of het vinden van een specifieke medische code. De tweede groep richtte zich op narratieve details, zoals het bepalen van de volgorde van behandelingen voor een specifieke ziekteomgeving. De resultaten toonden een duidelijk patroon. Het systeem dat alleen de narratieve tekst doorzocht, presteerde goed op behandeltrajecten, maar faalde jammerlijk bij het vinden van exacte codes of medicijnlijsten. Omgekeerd was het systeem dat alleen de gestructureerde grafiek gebruikte uitstekend in feiten, maar had het moeite met het vinden van de juiste behandelpaden die in tekst worden beschreven. Het standaard taalmodel zonder enige externe hulp presteerde slecht op beide vlakken. HemOncAgent behaalde echter de hoogste algemene score. Het kwam overeen met de prestaties van het gespecialiseerde grafieksysteem bij feitelijke vragen en presteerde beter dan het tekstgebaseerde systeem bij narratieve vragen, waardoor het de sterke punten van beide benaderingen succesvol combineerde.

Toen de onderzoekers dieper keken naar de specifieke soorten vragen, werden de voordelen van het hybride systeem nog duidelijker. Voor vragen die een exacte match vereisten, zoals het vinden van de classificatie van een medicijn of een klinisch trialnummer, vertrouwde de agent bijna volledig op de gestructureerde database, waarbij hij een bijna perfecte nauwkeurigheid behaalde. Voor vragen over behandelsettings, zoals wat er gebeurt nadat een eerstelijnsbehandeling is mislukt, doorzocht de agent primair de narratieve pagina's. In deze gevallen presteerde het aanzienlijk beter dan het grafiekgebaseerde systeem, dat de antwoorden die in de proza verborgen lagen, niet kon vinden. De agent toonde ook aan dat hij intelligent bronnen kon mengen wanneer dat nodig was, door de grafiek en de tekst voor ongeveer een kwart van de narratieve vragen te gebruiken om een volledig antwoord te waarborgen. Deze flexibiliteit stelde het systeem in staat om een hoge nauwkeurigheid te handhaven over het gehele bereik van de oncologische kennis.

De studie testte ook hoe robuust deze bevindingen waren door het onderliggende computermodel te veranderen dat de antwoorden genereerde. Zelfs toen de onderzoekers de primaire motor vervingen door een ander type kunstmatige intelligentie, bleef het hybride systeem de single-source alternatieven overtreffen. Hoewel de absolute scores licht varieerden, bleef het patroon hetzelfde: toegang hebben tot zowel gestructureerde als narratieve bronnen bood een consistent voordeel. De onderzoekers merkten op dat het geautomatiseerde beoordelingssysteem dat de antwoorden evalueerde, in bijna 94 procent van de gevallen overeenkwam met een tweede, onafhankelijk beoordelingssysteem, wat het vertrouwen gaf dat de resultaten niet slechts een toevalstreffer waren van één specifieke evaluatiemethode.

Ondanks deze successen zijn de auteurs voorzichtig over de grenzen van hun bevindingen. De vragen die voor de tests werden gebruikt, werden rechtstreeks gegenereerd uit dezelfde bronnen die het systeem doorzocht, wat betekent dat de test mat hoe goed het systeem informatie uit die specifieke bronnen kon ophalen, in plaats van hoe goed het kon redeneren over nieuwe, ongeziene klinische scenario's. De studie beweert niet dat dit systeem klaar is om artsen te vervangen of dat het elke mogbare vraag over kankerzorg kan beantwoorden, vooral omdat medische richtlijnen snel veranderen en de kennisbasis een momentopname is. De resultaten suggereren echter sterk dat voor klinische kennisbronnen die zowel harde data als menselijke narratieven beslaan, een enkele zoekstrategie onvoldoende is. Door een kunstmatige intelligentie-agent de juiste tool voor de taak te laten kiezen, hebben de onderzoekers een praktische manier aangetoond om medische informatie toegankelijker en betrouwbaarder te maken.