A Reproducible Decomposed Large Language Model Pipeline for Structured Abstraction of Multimodal Neuroimaging Reports: Development and Independent Validation in 1,669 Emergency Department Encounters for Dizziness and Vertigo
Deze studie toont aan dat een gedecomposeerde, bevroren large language model-pipeline betrouwbaar en accuraat gestructureerde variabelen kan abstraheren uit multimodale neuroimaging-rapporten over 1.669 spoedeisende hulp-bezoeken voor duizeligheid en vertigo, waarbij een hoge reproduceerbaarheid en nauwkeurigheid wordt bereikt die vergelijkbaar is met menselijke beoordelaars om schaalbare, herbruikbare onderzoeksdatasets mogelijk te maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Ziekenhuizen genereren elke dag een enorme oceaan aan schriftelijke verslagen, van aantekeningen op de spoedeisende hulp tot gedetailleerde beschrijvingen van hersenscans. Voor artsen zijn deze narratieven essentieel om de conditie van een patiënt te begrijpen, maar voor onderzoekers die grote groepen mensen willen bestuderen, vormen ze een moeilijke barrière. Om patronen in ziekten of de effectiviteit van behandelingen te begrijpen, moeten wetenschappers deze vrij vloeiende verhalen omzetten in overzichtelijke lijsten met feiten, een proces dat databestractie wordt genoemd. Dit handmatig doen is traag, duur en foutgevoelig, wat vaak studies beperkt tot kleine groepen patiënten. In de afgelopen jaren zijn krachtige computerprogramma's, bekend als large language models, opgekomen die in staat zijn om menselijke taal met opmerkelijke vaardigheid te lezen en te begrijpen. Deze hulpmiddelen bieden een potentiële manier om de extractie van medische feiten uit tekst te automatiseren, maar om vertrouwd te kunnen worden in serieus onderzoek, moeten ze bewijzen dat ze consistent, accuraat en betrouwbaar genoeg zijn om de complexiteit van echte medische dossiers aan te kunnen.
Een team van onderzoekers van het Staten Island University Hospital zette zich af om te testen of een dergelijk computersysteem betrouwbaar de complexe, meerdelige beeldvormingsrapporten van patiënten die lijden aan duizeligheid kon vertalen naar gestructureerde gegevens. Duizeligheid en vertigo behoren tot de meest voorkomende redenen waarom mensen de spoedeisende hulp bezoeken, maar ze kunnen soms wijzen op een ernstige beroerte in de achterzijde van de hersenen. Om dit te diagnosticeren, ordenen artsen vaak een reeks verschillende scans, waaronder CT-scans van het hoofd, CT-angiografie om naar bloedvaten te kijken, CT-perfusie om de doorbloeding te meten, en MRI-scans. Elke van deze tests genereert zijn eigen afzonderlijke verslag, gevuld met gespecialiseerde medische termen. De onderzoekers bouwden een gespecialiseerde pipeline, een sequentie van geautomatiseerde stappen, om deze rapporten te lezen en eenentwintig specifieke stukjes informatie naar buiten te brengen, zoals of er sprake was van een beroerte of hoe nauw een bloedvat was. Ze vertrouwden niet op één enkel computermodel om al het werk tegelijk te doen. In plaats daarvan braken ze de taak op in kleinere, gefocuste taken, waarbij ze elk specifiek type scan toewezen aan een toegewijde stap in het proces, vergelijkbaar met een lopende band in een fabriek waar elke werkstation één specifelijk onderdeel van het product afhandelt.
Het team testte dit systeem op 1.669 contactmomenten op de spoedeisende hulp waarbij patiënten duizeligheid of vertigo hadden. Voordat ze de machine vertrouwden, moesten ze ervoor zorgen dat het reproduceerbaar was, wat betekent dat als ze dezelfde rapporten opnieuw door het systeem zouden halen, het exact dezelfde resultaten zou produceren. Ze draaiden het systeem drie keer in één sessie en opnieuw negen weken later, en stelden vast dat de output van de computer telkens bijna identiek was, met bijna perfecte overeenstemming over de belangrijkste variabelen. Ze testten het systeem ook met drie verschillende, top-tier computermodellen van verschillende bedrijven om te zien of de resultaten afhankelijk waren van welke specifieke software werd gebruikt. De verschillende modellen kwamen op een zeer hoog niveau met elkaar overeen, wat suggereert dat het systeem robuust is en niet slechts een toevalstreffer van één bepaald programma. Om de nauwkeurigheid van het werk van de machine te verifiëren, vergeleken de onderzoekers de output ervan met een gouden standaard die door menselijke experts was gemaakt. Twee neurologie-assistenten lazen onafhankelijk van elkaar een deel van de rapporten, en wanneer zij van mening verschilden, loste een derde expert het verschil op. Het vermogen van het computersysteem om deze menselijke experts te matchen was vergelijkbaar met de overeenstemming tussen de twee menselijke lezers zelf.
De resultaten toonden aan dat de gedecomposeerde pipeline zeer accuraat was en in het overgrote deel van de gevallen de kritieke bevindingen correct identificeerde. Wanneer de onderzoekers naar de belangrijkste variabelen keken, zoals de aanwezigheid van een acute beroerte of de ernst van blokkades in belangrijke slagaders, kwam de computer met een nauwkeurigheidspercentage tussen de 97 en 99 procent overeen met de conclusies van de menselijke experts. Dit hoge niveau van prestatie hield stand, zelfs toen het systeem werd getest op gevallen die specifiek waren gekozen omdat ze zeldzame of moeilijke bevindingen bevatten, die normaal gesproken het moeilijkst zijn voor enig systeem om te verwerken. De studie benadrukte ook dat het systeem stabiel is over de tijd; het maanden later opnieuw door het systeem halen van dezelfde gegevens leverde dezelfde resultaten op, een cruciale vereiste voor elk hulpmiddel dat wordt gebruikt in langdurig medisch onderzoek. De onderzoekers merkten op dat hoewel het systeem uitstekend was in het extraheren van feiten die duidelijk in de rapporten werden vermeld, het minder perfect was in het interpreteren van meer ambigue beschrijvingen, wat een bekende beperking is van elk hulpmiddel dat tekst leest in plaats van naar de daadwerkelijke beelden te kijken.
Dit werk demonstreert dat het mogelijk is om een betrouwbaar, geautomatiseerd systeem te bouwen voor het omzetten van complexe medische narratieven in gestructureerde gegevens op een schaal die voorheen onmogelijk was. Door de taak op te delen in kleinere, beheersbare stukken en meerdere modellen te gebruiken om het werk te controleren, creëerden de onderzoekers een pipeline die zowel reproduceerbaar als accuraat is. De studie beweert niet dat computers de noodzaak voor menselijke artsen hebben vervangen of dat het systeem perfect is voor elke mogelijke medische vraag. In plaats daarvan biedt het een praktisch pad voorwaarts voor onderzoekers die grote datasets moeten analyseren om ziektepatronen te begrijpen. De gekwantificeerde foutmarges die in de studie zijn geïdentificeerd, geven toekomstige onderzoekers een duidelijk beeld van de beperkingen van het systeem, waardoor ze de gegevens met vertrouwen kunnen gebruiken terwijl ze precies weten waar ze aanvullende menselijke controle moeten toepassen. Uiteindelijk biedt deze aanpak een manier om de waarde te ontsluiten die verborgen ligt in miljoen medische rapporten, door ongestructureerde tekst om te zetten in een bron die grootschalige ontdekkingen in de neurologie en de spoedeisende geneeskunde kan stimuleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.