Automatic Extraction of Structured Information from Brain MRI Reports Using an Open-Weight Large Language Model
Deze studie toont aan dat het open-weight LLM LLaMA 3.1 effectief gestructureerde informatie extraheert uit Nederlandse hersen-MRI-rapporten met een hoge nauwkeurigheid voor categorische variabelen en vermeldingen van laesies, waarbij few-shot prompting de prestaties bij de extractie van numerieke gegevens significant verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Plaatje: Een Rommelig Notitieblok Veranderen in een Spreadsheet
Stel je voor dat een ziekenhuis een enorme bibliotheek heeft met duizenden MRI-rapporten van hersenen. Jarenlang zijn deze rapporten door artsen geschreven als vrije dagboekfragmenten. Ze zitten vol waardevolle informatie, maar omdat ze in ongestructureerde zinnen zijn geschreven, is het ontzettend moeilijk om ze snel te doorzoeken of om te zetten in een nette spreadsheet voor onderzoek.
De onderzoekers wilden kijken of een slim computerprogramma (een "Open-Weight Large Language Model" genaamd LLaMA 3.1) kon fungeren als een supersnelle bibliothecaris. Hun doel was om deze rommelige, handgeschreven stijl Nederlandse rapporten te lezen en automatisch 30 specifieke feiten eruit te halen — zoals "Is er een tumor?" of "Hoeveel plekjes zitten er in de hersenen?" — en deze te organiseren in een helder, gestructureerd formaat.
De Uitdaging: Een Andere Taal Spreken
De rapporten waren geschreven in het Nederlands, maar het computermodel was primair getraind op Engels. Het is alsof je een vertaler vraagt die Engels perfect beheerst om een complex juridisch document in een specifiek Nederlands dialect te lezen.
Het team testte twee benaderingen:
- Direct Lezen: De computer de Nederlandse rapporten laten lezen zoals ze zijn.
- Eerst Vertalen: De Nederlandse rapporten eerst naar het Engels vertalen, de computer het laten lezen, en vervolgens de resultaten weer terugvertalen.
De Resultaat: De computer deed het veel beter door de originele Nederlandse rapporten te lezen. Wanneer ze probeerden de rapporten eerst te vertalen, raakte de computer in de war door specifieke medische termen. Er is bijvoorbeeld een Nederlands woord voor een heel specifiek type klein, streepvormig hersenletsel ("splinterinfarcten"). Wanneer dit naar het Engels werd vertaald, werd het een generieke "small infarct", waardoor de computer het specifieke detail verloor dat nodig was om ze correct te tellen.
De "Spiekbrief"-Strategie (Few-Shot Prompting)
In het begin kreeg de computer de opdracht om deze taak "koud op de vloer" te doen (Zero-Shot), wat betekent dat hij zelf de regels moest uitzoeken. Het ging redelijk, maar de computer maakte fouten, vooral bij het tellen van dingen (zoals "hoeveel plekjes zijn er?").
Toen probeerden de onderzoekers een nieuwe truc genaamd Few-Shot Prompting. Stel je voor dat je een leerling leert hoe hij een toets moet nakijken. In plaats van alleen de regels te geven, laat je hem drie voorbeelden zien van een toets die al correct is nagekeken, samen met de antwoorden. Je zegt: "Kijk hoe we deze hebben gedaan; doe de volgende nu op dezelfde manier."
De onderzoekers testten verschillende manieren om deze drie voorbeelden te kiezen:
- Willekeurig: Het kiezen van willekeurige drie voorbeelden.
- Vast: Altijd dezelfde drie voorbeelden kiezen.
- Structurele Gelijkenis: Drie voorbeelden kiezen die het meest lijken op en hetzelfde klinken als het huidige rapport dat wordt gelezen.
De Winnaar: De methode Structurele Gelijkenis was de beste. Door de computer voorbeelden te tonen die zeer vergelijkbaar waren met het rapport dat hij op dat moment las, steeg de nauwkeurigheid aanzienlijk. Het was alsoan het tonen van een oefentoets die precies leek op de echte toets die ze daarna zouden maken.
Hoe Heeft Het Gepresteerd?
De onderzoekers vergeleken het werk van de computer met dat van menselijke experts (medische studenten en radiologen).
- Het Goede Nieuws: Voor duidelijke, standaard beoordelingen (zoals "Krimpt de hersenen?") was de computer bijna net zo goed als de mensen. Hij kreeg ongeveer 90–96% van deze goed.
- Het Moeilijke Deel: Het tellen van specifieke aantallen (zoals "hoeveel kleine bloedingen zijn er precies?") was lastiger. De computer kreeg ongeveer 66% zelfstandig goed, maar met de "spiekbrief" (few-shot prompting) verbeterde dit naar 81–92%.
- De "Ontbrekende" Verwarring: De computer raakte soms in de war tussen "De arts zei dat er GEEN plekjes zijn" en "De arts heeft niets over plekjes gezegd". Het was lastig voor de computer om het verschil te zien tussen een negatieve bevinding en een ontbrekende vermelding.
De Kern van het Verhaal
Deze studie bewijst dat een open, gratis te gebruiken AI-model succesvol complexe Nederlandse medische rapporten kan lezen en deze kan omzetten in georganiseerde data zonder dat patiëntinformatie naar de server van een buitenlands bedrijf gestuurd hoeft te worden.
- Het werkt het best wanneer je het in de originele taal (Nederlands) laat lezen in plaats van te vertalen.
- Het wordt slimmer wanneer je het een paar vergelijkbare voorbeelden geeft om naar te kijken voordat het aan het werk gaat.
- Het is nog niet perfect, vooral bij lastige tellingen of zeer zeldzame aandoeningen, maar het is een krachtig hulpmiddel dat onderzoekers kan helpen om duizenden rommelige rapporten veel sneller in bruikbare data te veranderen dan mensen dat alleen zouden kunnen.
De paper concludeert dat deze technologie klaar is om te helpen bij het organiseren van data voor onderzoek, mits mensen de lastige onderdelen dubbelchecken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.