Large-Language Models for data extraction from written kidney biopsy reports

Deze studie toont aan dat open-source grote taalmodellen (LLMs) narratieve nierbiopsierapporten met hoge nauwkeurigheid kunnen omzetten in gestructureerde, machineleesbare data, waardoor schaalbare retrospectieve cohorten voor onderzoek mogelijk worden, hoewel interpretatieafhankelijke elementen nog menselijke supervisie vereisen.

De kern

Titel: De Slimme Vertaler voor Nierbiopsie-rapporten

Stel je voor dat een nierbiopsie-rapport een heel uitgebreid, handgeschreven dagboek is van een arts. In dit dagboek beschrijft de patholoog (de arts die onder de microscoop kijkt) precies wat hij ziet in het nierweefsel: hoeveel nierkorrels er zijn, of er littekens zijn, en welke ziekte het is.

Het probleem is dat deze dagboeken in vrije tekst geschreven zijn. Ze zijn vol met zinnen, beschrijvingen en medisch jargon. Voor een computer is dit als een rommelige schuur vol met losse onderdelen: het is bijna onmogelijk om snel te vinden wat je zoekt of om duizenden van deze rapporten te vergelijken voor onderzoek.

De Oplossing: De AI als "Slimme Vertaler"

De auteurs van dit onderzoek hebben gekeken of moderne kunstmatige intelligentie (zogenoemde "Large Language Models" of LLM's) deze rommelige dagboeken kan omzetten in een strakke, digitale lijstje.

Ze hebben drie verschillende AI-modellen getest (denk aan hen als drie verschillende vertalers met verschillende niveaus van intelligentie):

1. Llama3 70B: De "super-intelligente" vertaler (de grootste).
2. MedGemma: De "medisch gespecialiseerde" vertaler.
3. Llama3 8B: De "snelle maar kleinere" vertaler.

Hoe werkt het?
De AI leest het handgeschreven rapport en probeert de belangrijke feiten eruit te halen, zoals:

• "Hoeveel nierkorrels zijn er?"
• "Is er een ontsteking?"
• "Wat is de definitieve diagnose?"

Vervolgens zet de AI deze informatie om in een JSON-bestand. Dat is een soort digitaal formuliertje dat elke computer direct kan begrijpen en in een grote database kan opslaan.

Wat vonden ze?

• De Grote AI wint: De grootste AI (Llama3 70B) was verbluffend goed. Hij haalde bijna 93% tot 97% van de informatie perfect uit de tekst. Hij was net zo goed als een menselijke expert voor simpele feiten, zoals het tellen van nierkorrels.
• De Kleine AI heeft moeite: De kleinere AI (Llama3 8B) maakte meer fouten. Hij kon soms de nuance niet goed begrijpen, net zoals een beginnende student die nog niet alle medische termen kent.
• De "Grijze Gebieden": Waar de AI soms vastliep, was bij dingen die interpretatie vereisen. Bijvoorbeeld: "Is dit een lichte ontsteking of een ernstige?" Soms staat dat niet letterlijk in de tekst, maar moet de arts het concluderen uit de context. Hier bleven menselijke experts nog steeds nodig om de AI te controleren.

Een leuk voorbeeld uit de tekst:
Stel, in het rapport staat: "Focale segmentale glomerulosclerose met schuimcellen..."

• De mens denkt: "Dit is een diagnose, maar ik moet even nadenken of het een patroon of een ziekte is."
• De grote AI zegt direct: "Diagnose: Focale segmentale glomerulosclerose." (Perfect!)
• De kleine AI kopieert soms de hele zin letterlijk, wat niet helpt als je een strakke lijst wilt.

Waarom is dit belangrijk?

1. Snelheid: Het kostte de AI 12 tot 18 keer minder tijd dan het handmatig uittypen door mensen. Het is alsof je van een handgeschreven brief naar een e-mail gaat die je in een seconde kunt doorzoeken.
2. Onderzoek: Nu kunnen onderzoekers duizenden nierbiopsies in één keer analyseren om nieuwe ziektepatronen te vinden. Voorheen was dit te veel werk.
3. Toekomst: In de toekomst kan deze AI direct in het ziekenhuis worden gebruikt. De arts schrijft het rapport, en de AI vult direct het digitale formulier in. De arts hoeft alleen nog maar te controleren of het klopt.

Conclusie in één zin:
Deze studie toont aan dat slimme computers de rommelige handgeschreven nier-rapporten van artsen kunnen omtoveren in schone, digitale data, waardoor we veel sneller nieuwe inzichten in nierziektes kunnen vinden – mits we de AI nog even laten checken door een mens voor de lastigste interpretaties.

Technische samenvatting

Technische Samenvatting: Large-Language Models voor data-extractie uit geschreven nierbiopsierapporten

1. Het Probleem
Nierbiopsies zijn essentieel voor de diagnose, prognose en behandelplanning van nefrologische aandoeningen. De rapportage in de nefropathologie is echter voornamelijk in ongestructureerde, vrije tekst (narratief) geschreven. Dit vormt een grote barrière voor schaalbare data-extractie en het gebruik van deze waardevolle klinische informatie in onderzoeksprojecten of registers. In tegenstelling tot de oncologische pathologie, waar gestructureerde rapportage al vaker wordt toegepast, ontbreekt dit in de nefropathologie. Handmatige data-extractie is tijdrovend, niet schaalbaar en beperkt de mogelijkheid om grote, datagedreven cohorten te bouwen voor computergestuurde nefropathologie.

2. Methodologie
De auteurs onderzochten of open-source Large Language Models (LLMs) in staat zijn om relevante, gestructureerde gegevens uit Duitse vrije-tekst nierbiopsierapporten te halen.

• Modellen: Drie open-source LLMs werden getest: Llama3 70B, Llama3 8B en MedGemma.
• Input & Output: De modellen verwerkten native nierbiopsierapporten en genereerden gestructureerde JSON-outputs. De te extraheren elementen omvatten: primaire diagnose, aantal glomeruli, aantal gescleroseerde glomeruli, histopathologische scores/patronen en immunohistochemische markers.
• Ground Truth: Twee onafhankelijke waarnemers curateerden handmatig dezelfde rapportelementen. Bij onenigheid werd een ervaren nefropatholoog ingeschakeld om de definitieve "ground truth" vast te stellen.
• Evaluatiemetingen:
  • Nauwkeurigheid: Gemeten via "strict matching" (exacte overeenkomst) en "soft matching" (toestaan van kleine afwijkingen in formulering).
  • Inter-rater betrouwbaarheid: Geanalyseerd met Cohen's en Light's Kappa (met 95% betrouwbaarheidsintervallen via 1000x bootstrapping) om de overeenkomst tussen menselijke waarnemers en tussen mens en LLM te kwantificeren.
  • Prompt Engineering: Er werden gespecialiseerde prompts gebruikt om specifieke fouten (bijv. onderscheid tussen interstitiële ontsteking en i-IFTA) te mitigeren.

3. Belangrijkste Resultaten

• Algemene Prestaties: Llama3 70B behaalde de hoogste algehele nauwkeurigheid met 93,3% (strict match) en 97,1% (soft match). MedGemma presteerde ook robuust (90,5% strict, 95,9% soft), terwijl het kleinere Llama3 8B aanzienlijk minder goed scoorde (79,3% strict, 84,2% soft).
• Specificiteit van taken:
  • De grotere modellen (Llama3 70B en MedGemma) vertoonden bijna perfecte prestaties (>95%) voor expliciete, discrete variabelen (zoals glomerulartellingen en immunohistochemie).
  • De nauwkeurigheid daalde voor elementen die interpretatie vereisen, zoals de primaire diagnose en de kwantificering van interstitiële ontsteking in relatie tot fibrose (i-IFTA).
• Inter-rater variabiliteit:
  • De overeenkomst tussen twee menselijke waarnemers voor de primaire diagnose was sterk (κ = 0,74).
  • Het toevoegen van Llama3 70B of MedGemma als derde "waarnemer" verhoogde de algehele overeenkomst (respectievelijk κ = 0,82 en 0,78).
  • Llama3 8B verlaagde de overeenkomst (κ = 0,71).
  • Fouten en onenigheid traden vooral op bij diagnostisch ambigu terminology (bijv. wanneer FSGS als patroon of als ziekte wordt geïnterpreteerd).
• Efficiency: Het extraheren van gestructureerde data met het beste model (Llama3 70B) was 12,5 tot 17,86 keer sneller dan handmatige data-collectie.

4. Bijdragen en Conclusies

• Schaalbaarheid: Open-source LLMs kunnen narratieve nefropathologierapporten betrouwbaar omzetten in machine-leesbare, gestructureerde JSON-data, wat de bouw van retrospectieve cohorten en registers aanzienlijk versnelt.
• Hybride Workflow: Hoewel feitelijke en expliciete variabelen volledig geautomatiseerd kunnen worden verwerkt, blijven elementen die contextuele interpretatie vereisen (zoals complexe diagnoses) baat hebben bij menselijke supervisie. De auteurs stellen een workflow voor waarbij LLMs fungeren als schaalbare "tweede waarnemer" of pre-extractie tool.
• Toekomstperspectief: Verdere validatie in multicenter- en meertalige settings, prospectieve evaluatie in routine-workflows en het mappen van velden naar gecontroleerde vocabulaires (zoals Kidney Biopsy Codes) zijn noodzakelijk voor volledige implementatie.

5. Significatie
Dit onderzoek toont aan dat AI-gestuurde data-extractie een game-changer kan zijn voor de computergestuurde nefropathologie. Het lost het probleem van ongestructureerde data op, waardoor grote datasets beschikbaar komen voor AI-onderzoek en het opzetten van ziekteregisters. Het biedt een praktische route om de kwaliteit en bruikbaarheid van retrospectieve biopsie-data te verbeteren, terwijl het de menselijke expertise behoudt voor de complexere diagnostische oordelen.