OncoRAG: Graph-Based Retrieval Enabling Clinical Phenotyping from Oncology Notes Using Local Mid-Size Language Models

Het artikel introduceert OncoRAG, een lokaal inzetbare, grafgebaseerde retrieval-aanpak die met een middelgroot taalmodel nauwkeurige en schaalbare extractie van klinische kenmerken uit ongestructureerde oncologische notities mogelijk maakt zonder de noodzaak voor fine-tuning of externe data-deling.

De kern

🏥 Het Probleem: De Overvolle Bibliotheek

Stel je voor dat een ziekenhuis een enorme bibliotheek is. In deze bibliotheek staan duizenden boeken (de medische dossiers van patiënten). De meeste informatie zit echter niet in de nette, gestructureerde tabellen (zoals de lengte of het gewicht), maar is verstopt in de vrije tekst van artsen: lange, rommelige verhalen in de dagboeken, operatierapporten en notities.

Vroeger moest een menselijke onderzoeker deze boeken één voor één openen, lezen en de belangrijke feiten (zoals: "Heeft de patiënt diabetes?" of "Wat is de tumorgrootte?") handmatig uitschrijven. Dit is als proberen een speld in een hooiberg te vinden, maar dan met duizenden hooibergen. Het kost weken, is vermoeiend en kan niet voor grote studies.

🤖 De Oplossing: OncoRAG (De Slimme Bibliotheekbeheerder)

De onderzoekers hebben OncoRAG bedacht. Dit is geen gewone computerprogrammaatje, maar een slimme bibliotheekbeheerder die werkt met een "mid-size" taalmodel (een slimme AI die niet te groot is om lokaal te draaien, maar wel slim genoeg).

In plaats van dat de AI gewoon door de hele bibliotheek moet bladeren (wat vaak fouten oplevert), doet OncoRAG iets slims in vier stappen:

1. De Zoekopdracht (Ontologie): De AI maakt eerst een lijstje met alle mogelijke woorden die iets met een ziekte te maken hebben (bijv. "kanker", "tumor", "kwaadaardig").
2. De Landkaart (Kennisnetwerk): De AI leest de notities en maakt een landkaart (een kennisgrafiek). Op deze kaart staan de patiënten, hun ziektes en behandelingen als punten, en de zinnen waarin ze worden genoemd als wegen die ze verbinden.
   • Vergelijking: Stel je voor dat je niet gewoon door een stad loopt, maar een GPS hebt die je direct naar de straten leidt waar de informatie staat, in plaats van elke deur te openen.
3. De Slimme Filter (Retrieval): De AI zoekt niet zomaar naar woorden die lijken op elkaar. Hij kijkt naar de landkaart. Als hij zoekt naar "chemotherapie", kijkt hij niet alleen naar het woord, maar ook naar welke medicijnen in de buurt van dat woord op de kaart staan. Hij filtert de beste 5 zinnen uit de duizenden pagina's.
4. De Vertaler (Extractie): De AI leest alleen die 5 beste zinnen en vult een formulier in met de juiste antwoorden.

🌍 Waarom is dit speciaal?

• Het werkt in het Nederlands en het Duits: De onderzoekers hebben het getest in Amerika (Engels) en Duitsland. Het systeem begrijpt beide talen, alsof het een tweetalige tolk is die nooit moe wordt.
• Geen "Gigantische" AI nodig: Veel andere systemen hebben superkrachtige, enorme computers nodig (zoals een raketwetenschapper). OncoRAG werkt op een gewone, lokale computer (zoals een slimme fiets), wat betekent dat ziekenhuizen hun eigen data veilig kunnen houden zonder het naar de cloud te sturen.
• Geen extra leren nodig: De AI hoeft niet eerst duizenden voorbeelden te zien om te leren hoe het moet. Hij is zo ontworpen dat hij het direct kan.

📊 De Resultaten: Net zo goed als de Mens

De onderzoekers hebben gekeken of de AI het net zo goed deed als een menselijke expert:

• Snelheid: Wat voor een mens twee weken werk was (handmatig uitschrijven van 104 patiënten), deed de computer in 2,5 uur. Dat is als het verschil tussen een wandeling van een week en een snelle fietstocht.
• Nauwkeurigheid: De AI haalde een score van ongeveer 80%. Dat klinkt misschien niet perfect, maar in de medische wereld is dat al heel goed.
• Het Belangrijkste: Toen ze met de AI-gegevens een voorspellingsmodel maakten (bijvoorbeeld: "Hoe lang leeft deze patiënt nog?"), kwam dat exact hetzelfde resultaat uit als met de handgeschreven gegevens.

💡 De Conclusie in één zin

OncoRAG is als het geven van een magische bril aan artsen en onderzoekers: plotseling kunnen ze duizenden rommelige medische notities in een handomdraai lezen, begrijpen en omzetten in bruikbare data, zonder dat ze maandenlang hoeven te werken of hun privacy in gevaar brengen. Het opent de deur voor veel snellere en betere kankeronderzoeken.

Technische samenvatting

Probleemstelling

Het handmatig extraheren van gegevens uit ongestructureerde oncologische klinische notities is uiterst arbeidsintensief en onhaalbaar voor grootschalige klinische en onderzoeksdoeleinden. Bestaande geautomatiseerde benaderingen hebben vaak te maken met de volgende beperkingen:

• Ze vereisen zeer grote taalmodellen (LLM's, vaak >70B parameters) met zware rekeninfrastructuur.
• Ze zijn afhankelijk van taakspecifiek fine-tuning op zorgvuldig samengestelde datasets.
• Traditionele Retrieval-Augmented Generation (RAG) methoden halen vaak semantisch vergelijkbare tekstfragmenten op, maar missen complexe relaties tussen klinische entiteiten en temporele sequenties die cruciaal zijn voor nauwkeurige fenotyping.
• Veel methoden zijn beperkt tot Engelstalige data en tonen geen generalisatie over verschillende instellingen of nut voor downstream klinische toepassingen (zoals prognostische modellering).

Methodologie: OncoRAG Pipeline

De auteurs hebben OncoRAG ontwikkeld, een vierfasige pipeline die is ontworpen om nauwkeurige extractie mogelijk te maken met lokaal gedeployde "mid-size" taalmodellen (zonder fine-tuning). De pipeline maakt gebruik van een kennisgrafiek om context te verbeteren.

1. Fase 1: Geautomatiseerde Feature Configuratie

• Functies worden gedefinieerd met attributen (naam, datatype, verwachte waarden).
• Niet-demografische functies ondergaan een automatisch ontologische verrijking via UMLS en BioPortal API's om Concept Unique Identifiers (CUI's) en synoniemen te genereren.
• Sleutelwoorden worden uitgebreid met behulp van WordNet en de taalmodellen.

2. Fase 2: Constructie van een Klinische Kennisgrafiek

• Biomedische Named Entity Recognition (NER) modellen (voor zowel Engels als Duits) extraheren entiteiten zoals ziekten, medicijnen en procedures.
• Contextuele modificatoren (negatie, temporeel, familiegeschiedenis) worden gedetecteerd met medspaCy.
• Entiteiten worden gedupliceerd en geklaustreerd met SapBERT-embeddings.
• Een kennisgrafiek wordt opgebouwd (met NetworkX) waarbij knopen patiënten, notities, data en gestandaardiseerde entiteiten vertegenwoordigen. Randen koppelen deze entiteiten aan elkaar op basis van co-occurrence binnen notities.

3. Fase 3: Entiteit Indexering en Context Retrieval

• Retrieval verloopt via meerdere stappen: query-uitbreiding, semantische zoekopdracht en structurele expansie (breadth-first search) over de grafiek.
• Graph-Diffusion Reranking: Dit is een kerninnovatie. In plaats van alleen op semantische gelijkenis te vertrouwen, wordt een herordeningsscore berekend die semantische gelijkenis, lexische overlap, naam/synoniem-match en een grafiek-diffusie-score combineert.
• Hypothetische of plannende vermeldingen worden gefilterd, terwijl negaties en historische gegevens behouden blijven voor interpretatie. De top 5 zinnen worden geselecteerd voor extractie.

4. Fase 4: LLM-gebaseerde Feature Extractie

• De geselecteerde context wordt ingediend bij een lokaal gedeployd Microsoft Phi-model (Phi-3-medium-instruct, 14B parameters, of Phi-3.5-mini, 3.8B parameters) via Ollama.
• Er worden gestructureerde prompts gebruikt met taakdefinitie, functiedescriptie, interpretatieregels en meervoudige keuze-uitvoer.
• Het model geeft een zelfbeoordeling van vertrouwen (High/Medium/Low), wat wordt gebruikt om de kwaliteit van de extractie te wegen.

Validatie en Datasets
De pipeline werd getest op drie cohorten:

1. TNBC (Triple-Negative Breast Cancer): 104 patiënten (MGH, VS), 42 functies.
2. RiCi (Recurrent High-Grade Glioma): 191 patiënten (Heidelberg, Duitsland), 19 functies (cross-linguale validatie).
3. MIMIC-IV: 100 patiënten (extern, openbaar), 10 overlappende functies.

Belangrijkste Resultaten

• Prestatie: OncoRAG bereikte gemiddelde F1-scores van 0,80 (TNBC), 0,79 (RiCi) en 0,84 (MIMIC-IV) op de testsets.
• Vergelijking met Baselines:
  • OncoRAG verbeterde de F1-score met 0,19 tot 0,22 ten opzichte van directe LLM-prompting (zonder retrieval).
  • Er was een verbetering van 0,17 tot 0,19 ten opzichte van naive vector-based RAG.
  • De graph-diffusion reranking alleen verbeterde de F1-score met ongeveer 0,04 tot 0,10 ten opzichte van ruwe semantische retrieval.
• Modelgrootte en Snelheid: Het gebruik van het kleinere 3,8B model verkleinde de extractietijd met 57% (van ~1,9s naar ~0,7s per feature) met slechts een minimale daling in nauwkeurigheid (F1-daling van 0,03 tot 0,10).
• Efficiëntie: Voor het TNBC-cohort werd de extractietijd gereduceerd van ongeveer twee weken (handmatig) naar minder dan 2,5 uur (geautomatiseerd).
• Downstream Nut: Prognostische modellen voor 3-jaar progressievrije overleving (PFS) gebaseerd op automatisch gegenereerde data hadden een vergelijkbare C-index (0,77) als modellen gebaseerd op handmatig gecurateerde data (0,76).
• Foutanalyse: 62% van de fouten was toe te schrijven aan retrieval-falen (relevante context niet in de top 5), en 38% aan interpretatiefouten van het LLM. Correcte voorspellingen hadden significant hogere retrieval-scores dan incorrecte.

Bijdragen en Significantie

• Lokaal Deploymen zonder Fine-tuning: OncoRAG bewijst dat nauwkeurige klinische extractie mogelijk is met een lokaal draaiend, middelgroot taalmodel (14B parameters) zonder dat er specifieke fine-tuning op zorgvuldig gelabelde data nodig is. Dit lost het probleem van data-privacy en rekenkosten op.
• Grafiek-gebaseerde Retrieval: Door klinische notities te vertalen naar een kennisgrafiek en gebruik te maken van graph-diffusion reranking, worden complexe relaties en temporele structuren beter vastgelegd dan met traditionele chunk-based RAG.
• Cross-linguale en Cross-institutionele Generalisatie: De pipeline werkt effectief in zowel het Engels als het Duits en generaliseert goed naar externe cohorten (MIMIC-IV) zonder specifieke aanpassing voor die cohorten.
• Klinische Impact: De studie toont aan dat geautomatiseerde data-extractie voldoende nauwkeurig is om betrouwbare prognostische modellen te bouwen, wat een kritieke bottleneck in de oncologische research wegneemt en schaalbaar real-world evidence mogelijk maakt.

Conclusie: OncoRAG biedt een schaalbare, privacy-bewuste en kostenefficiënte oplossing voor het omzetten van ongestructureerde oncologische notities in gestructureerde data, wat de weg vrijmaakt voor grootschalige klinische studies en gepersonaliseerde geneeskunde zonder afhankelijkheid van enorme cloud-modellen of extensieve handmatige annotatie.