Fully Automated Abstraction of Longitudinal Breast Oncology Records with Off-The-Shelf Large Language Models

Deze studie toont aan dat kant-en-klare, grote taalmodellen in een vaststelsel van gegevensopvraging complexe longitudinale borstkankergegevens uit ongestructureerde medische dossiers kunnen extraheren met een nauwkeurigheid die vergelijkbaar is met die van expert-oncoloog, zonder dat aanpassing of specifieke training nodig is.

De kern

Stel je voor dat je een enorme bibliotheek binnenloopt. Deze bibliotheek bevat de medische geschiedenis van honderden vrouwen met borstkanker. Maar er is een groot probleem: alle informatie staat niet in nette, gestructureerde lijsten of databases. Nee, het staat verspreid over duizenden losse bladzijden, handgeschreven notities, rapporten en e-mails.

Om te begrijpen wat er precies is gebeurd (wanneer de kanker terugkeerde, welke medicijnen ze namen, hoe ze reageerden), moeten onderzoekers deze boeken één voor één openen, lezen en de belangrijke feiten eruit halen. Dit is als het zoeken naar een naald in een hooiberg, maar dan met duizenden hooibergen. Het kost jaren, is extreem duur en vaak doen verschillende mensen het op verschillende manieren, wat tot verwarring leidt.

De Oplossing: Een Superleesrobot

De auteurs van dit onderzoek hebben een nieuwe manier bedacht om dit probleem op te lossen. Ze hebben een "superleesrobot" gebouwd, gemaakt van een LLM (een soort slimme kunstmatige intelligentie, vergelijkbaar met de chatbots die je misschien kent, maar dan speciaal ingesteld voor medische dossiers).

In plaats van dat menselijke onderzoekers urenlang moeten lezen, doet deze robot het werk voor hen. Hier is hoe het werkt, vertaald naar een alledaags verhaal:

1. De "Bibliothecaris" en de "Zoekmachine"

Stel je voor dat de robot een super-bibliothecaris is.

• De Invoer: De robot krijgt de hele bibliotheek (de medische dossiers) te zien. Deze dossiers zijn vaak chaotisch en ongestructureerd.
• De Zoekstrategie: De robot is niet dom. Hij weet precies waar hij moet kijken. Als hij de datum van een diagnose zoekt, kijkt hij eerst naar de pathologie-rapporten (de "officiële geboorteakte" van de ziekte). Als hij zoekt naar medicijnen, kijkt hij naar de administratie van de apotheek. Hij slaat niet zomaar willekeurige bladzijden over; hij gebruikt slimme zoektechnieken om de juiste stukjes tekst te vinden.
• De Vertaling: Zodra de robot het juiste stukje tekst heeft gevonden, "leest" hij het en schrijft het om in een nette, gestructureerde lijst. Hij vertaalt de rommelige notities van een arts naar een duidelijke database.

2. De Proef: Mens vs. Robot

Om te testen of deze robot wel goed werkt, hebben de onderzoekers een grote proef gehouden:

• Ze namen 100 complexe patiëntendossiers (soms meer dan 3.000 pagina's tekst per persoon!).
• Team Mens: Vier ervaren borstkanker-artsen (de experts) lasen deze dossiers handmatig en maakten hun eigen lijsten.
• Team Robot: De AI-robots deden exact hetzelfde, zonder dat ze ooit eerder hadden geoefend op deze specifieke ziekenhuisgegevens. Ze kregen geen speciale training, ze waren "kant-en-klaar" (off-the-shelf).

Het Resultaat:
De robots waren verbazingwekkend goed.

• Bij simpele feiten, zoals "Wat is de bloedgroep?" of "Welke medicijnen zijn gegeven?", waren de robots bijna 100% gelijk aan de menselijke experts.
• Zelfs bij moeilijke vragen, zoals "Wanneer keerde de kanker terug?", zaten de robots vaak binnen een paar dagen van het juiste antwoord.
• De Vergelijking: De robots deden het zelfs beter dan de onderzoekers die normaal gesproken deze taken doen (de research-coördinatoren). En wat nog belangrijker is: de robots maakten ongeveer evenveel fouten als wanneer twee verschillende menselijke experts het werk zouden doen. Dat betekent dat de robot net zo betrouwbaar is als een mens.

3. De Grootte van de Impact: De "Grote Foto"

Misschien maakten de robots hier en daar een klein foutje bij één patiënt. Maar dat is niet het belangrijkste. Wat echt telt in de wetenschap is de grote foto (de statistieken voor de hele groep).

De onderzoekers keken naar de overlevingstijden en de risico's voor de hele groep van 100 vrouwen.

• Het Verbazingwekkende: De resultaten die de robots berekenden, waren bijna exact hetzelfde als die van de menselijke experts.
• Het was alsof je twee verschillende kaarten van dezelfde stad tekent: de ene is getekend door een mens, de andere door een robot. Ze lijken misschien op kleine details anders, maar als je de hele stad bekijkt, zie je precies hetzelfde beeld.

Waarom is dit belangrijk?

Vroeger was het bijna onmogelijk om grote studies te doen over borstkanker, omdat het te veel tijd kostte om alle papieren dossiers te lezen. Je kon maar een klein groepje mensen bestuderen.

Met deze "superleesrobot" kunnen onderzoekers nu:

1. Schaal: Duizenden of zelfs miljoenen dossiers in een paar uur analyseren in plaats van jaren.
2. Snelheid: Sneller antwoorden vinden op vragen over nieuwe medicijnen of behandelingen.
3. Kwaliteit: Betere gegevens hebben omdat de robot consistent is en niet moe wordt.

Conclusie in één zin:
Deze studie laat zien dat we nu slimme, kant-en-klare computers kunnen gebruiken om de rommelige medische dossiers van kankerpatiënten om te zetten in bruikbare kennis, net zo goed als menselijke experts, maar dan veel sneller en schaalbaarder. Het is alsof we een sleutel hebben gevonden om een gesloten bibliotheek te openen die tot nu toe te groot was om te lezen.

Technische samenvatting

Probleemstelling

Handmatige abstractie van medische dossiers (chart review) vormt een groot knelpunt in klinisch onderzoek, vooral in de oncologie. Belangrijke uitkomstmaten zoals ziekterecidieven, behandelingsgeschiedenissen en biomarkerstatus worden vaak alleen in ongestructureerde vrije tekst (klinische notities, pathologierapporten) vastgelegd en niet in gestructureerde velden. Dit beperkt de schaalbaarheid en kwaliteit van observationele studies. Bestaande oplossingen met Large Language Models (LLM's) zijn vaak afhankelijk van propriëtaire systemen of vereisen specifieke fine-tuning op institutionele data, wat de reproduceerbaarheid, portabiliteit en lokale controle over beschermde gezondheidsgegevens (PHI) beperkt. Er is behoefte aan een methode die gebruik maakt van algemene, "off-the-shelf" LLM's zonder aanpassing, die toch betrouwbare resultaten levert in een HIPAA-compliance omgeving.

Methodologie

De auteurs ontwikkelden een volledig geautomatiseerde, retrieval-gebaseerde pipeline om variabelen uit complexe, longitudinale borstkankerdossiers te extraheren.

• Data en Cohort: Er werden 100 patiënten willekeurig geselecteerd uit een institutioneel cohort met complexe zorgtrajecten (enriched voor FoundationOne-testen). Het gemiddelde dossier bestond uit ongeveer 3.100 pagina's tekst (ongeveer 2,3 miljoen tokens) over een mediane follow-up van 6,5 jaar.
• Referentiestandaard: Vier gespecialiseerde borstkanker-oncologen abstraheren de variabelen handmatig. Voor de complexe taak van het reconstrueren van systemische therapieën diende een tweede onafhankelijke oncoloog als referentie om inter-expert variabiliteit te meten. Ook werden onderzoekskoördinatoren vergeleken.
• LLM Pipeline:
  • Input: Onbewerkte, niet-genormaliseerde tekstbestanden (klinische notities, pathologierapporten, medicatieadministratie, demografie) uit de onderzoekswarehouse.
  • Retrieval: De pipeline segmenteert documenten in chunks (ongeveer paragraaflengte) en gebruikt semantische zoekopdrachten (BM25, exacte woordzoekopdrachten en embedding-based retrieval) om de meest relevante tekstfragmenten te vinden voor elke specifieke variabele.
  • Modellen: Vier commerciële, HIPAA-compliant LLM's werden getest: GPT-5, GPT-4o, DeepSeek-R1 en Gemini 2.5 Pro.
  • Prompting: Er werden taak-specifieke prompts gebruikt zonder chatgeschiedenis (stateless), maar met doorgevoerde tussenresultaten voor multi-pass taken. Geen fine-tuning of institutionele retraining werd toegepast.
• Evaluatiemetrics:
  • Klinische variabelen: Exacte overeenkomst voor categorische variabelen (bijv. receptorstatus) en overeenkomst binnen ±90 dagen voor datums.
  • Systemische therapie: Gebruik van Jaccard-similariteit voor patiëntniveau-overlap van geneesmiddelen en behandelingslijnen.
  • Statistische validatie: Vergelijking van overlevingscurven (Kaplan-Meier) en hazard ratios tussen LLM-gegenereerde en expert-gegenereerde datasets.

Belangrijkste Resultaten

De studie toonde aan dat "off-the-shelf" LLM's prestaties kunnen leveren die dicht in de buurt komen van die van menselijke experts, zonder specifieke training.

• Klinische Variabelen: De best presterende LLM's bereikten een zeer hoge overeenkomst met experts:
  • 99% voor recidivestatus.
  • 100% voor detectie van pathogene BRCA1/2 varianten.
  • 99% voor hormoonreceptorstatus.
  • 96% voor HER2-status.
  • 91% voor klinisch stadium.
• Systemische Therapie:
  • Voor het extraheren van anti-kankermedicatie benaderden de LLM's de variabiliteit tussen twee oncologen (Jaccard-similariteit van 0,90-0,91 vs. 0,95 voor de tweede expert).
  • Bij het reconstrueren van exacte behandelingslijnen presteerden de LLM's iets slechter dan de tweede expert (0,73-0,77 vs. 0,86), maar presteerden ze significant beter dan onderzoekskoördinatoren (0,53).
  • De onderlinge onenigheid tussen verschillende LLM's was vergelijkbaar met de onenigheid tussen twee menselijke experts.
• Overlevingsanalyse: Ondanks verschillen op het niveau van individuele patiënten, waren de cohort-gemiddelde overlevingsstatistieken (totale overleving en recidiefvrije overleving) en hazard ratios voor risicofactoren (stadium, receptorstatus) statistisch gelijk tussen de LLM- en expert-datasets.
• Externe Validatie: In een extern cohort van 97 jonge patiënten (diagnose voor zwangerschap) toonde de ongewijzigde pipeline vergelijkbare prestaties voor recidiefdetectie en het gebruik van adjuvante endocriene therapie.

Belangrijkste Bijdragen

1. Validatie van "Off-the-Shelf" LLM's: Het bewijs dat generieke, commercieel beschikbare LLM's, ingebed in een vast retrieval-pipeline, complexe medische data kunnen abstraheren zonder fine-tuning.
2. Open Source en Reproduceerbaarheid: De pipeline is open-source en werkt binnen HIPAA-compliance omgevingen, wat de barrière voor andere instellingen verlaagt om eigen data lokaal te verwerken.
3. Schaalbaarheid: De methode maakt het mogelijk om grote, retrospectieve datasets van hoge kwaliteit te creëren uit ongestructureerde notities, wat handmatig onmogelijk zou zijn vanwege de tijdsinvestering.
4. Validatie op Cohort-niveau: Het inzicht dat kleine fouten op patiëntniveau de epidemiologische inferentie (zoals hazard ratios) op groepsniveau niet significant beïnvloeden.

Significantie en Conclusie

Deze studie biedt een praktische route om de creatie van retrospectieve onderzoeksdatasets te schalen. Het demonstreert dat LLM's de bottleneck van handmatige chart review kunnen doorbreken, waardoor onderzoekers toegang krijgen tot waardevolle informatie in ongestructureerde medische dossiers. Hoewel er nog een kleine kloof bestaat tussen LLM's en experts bij de meest complexe taken (zoals het reconstrueren van behandelingslijnen), is de prestatie voldoende om betrouwbare cohortstudies en epidemiologische analyses mogelijk te maken. De auteurs benadrukken dat succes afhankelijk blijft van goed ontworpen retrieval-strategieën, duidelijke definities en voorzichtigheid bij de interpretatie van resultaten, vooral bij gebrek aan geïntegreerde data (zoals overlijdensregistraties).