A Configurable LLM System for Automated Data Extraction in Meta-Analysis Using a Minimal Atomic Unit Framework

In de wereld van de moderne geneeskunde vertrouwen artsen en beleidsmakers op een rigoureus proces dat een systematische review wordt genoemd om te beslissen welke behandelingen het beste werken. Stel je voor dat je probeert de effectiviteit van een nieuw medicijn te begrijpen door slechts één studie te lezen; het beeld zou incompleet en potentieel misleidend zijn. In plaats daarvan verzamelen experts elke relevante studie over een onderwerp, extraheren ze de specifieke cijfers uit elk daarvan en combineren deze om een duidelijk antwoord te vinden. Dit proces, bekend als een meta-analyse, is de gouden standaard voor evidence-based besluitvorming. Het werk is echter ongelooflijk arbeidsintensief. Onderzoekers moeten handmatig tientallen dichte medische rapporten doorlezen, op zoek naar minuscule details zoals hoeveel patiënten verbeterden, wat hun gezondheidstoestand bij aanvang was en exact wanneer de metingen werden verricht. Eén kleine fout bij het kopiëren van een getal of het verkeerd lezen van een tabel kan het uiteindelijke resultaat volledig scheeftrekken, wat leidt tot onjuiste conclusies over patiëntenzorg.

Jarenlang hebben wetenschappers gehoopt dat kunstmatige intelligentie deze tijdrovende data-jacht zou kunnen overnemen. Large language models, hetzelfde type technologie dat geavanceerde chatbots aandrijft, zijn uitstekend in het begrijpen van menselijke taal. Toch struikelen deze modellen vaak wanneer ze worden gevraagd om specifieke getallen uit complexe medische rapporten te halen. Ze kunnen een resultaat van één patiëntengroep verwarren met die van een andere, een cruciaal detail missen dat in een paragraaf begraven ligt, of erger nog, een plausibel klinkend getal verzinnen dat nooit in de originele tekst voorkwam. Deze neiging tot het "hallucineren" van data is gevaarlijk in de geneeskunde, waar nauwkeurigheid niet onderhandelbaar is. Een recente studie door onderzoekers van de Xi'an Jiaotong-Liverpool University en hun collega's zette zich in om dit probleem op te lossen door de kunstmatige intelligentie een nieuwe manier aan te leren om over de taak na te denken, niet alleen als een algemene lezer, maar als een precieze data-extractor.

Het team ontwikkelde een systeem dat de chaotische informatie in een medisch rapport opbreekt in kleine, beheersbare stukjes die zij "minimale atomaire eenheden" noemen. In plaats van de computer te vragen een hele pagina te lezen en te raden welke getallen waar thuishoren, dwingt het systeem de computer om zich te concentreren op één specifieke combinatie van feiten tegelijk: een specifieke groep patiënten, een specifiek moment waarop zij werden gecontroleerd, en een specifieke gezondheidsuitkomst die wordt gemeten. Denk aan het verschil tussen iemand vragen de inhoud van een rommelige kamer in één zin te beschrijven versus vragen om de items op de vloer te lijsten, dan de items op de tafel, en dan de items op de planken, één categorie per keer. Door de kunstmatige intelligentie te dwingen de extractie in deze kleine, gestructureerde stappen aan te pakend, zorgden de onderzoekers ervoor dat elk getal dat de computer eruit haalde, direct gekoppeld was aan de specifieke zin of tabel waar het werd gevonden.

Om te testen of deze methode werkte, probeerden de onderzoekers het eerst op een kleine set van drie medische rapporten. Ze vergeleken de nieuwe, stapsgewijze aanpak met een meer traditionele methode waarbij de computer werd gevraagd alles in één keer te doen zonder de gestructureerde onderverdeling. De resultaten waren scherp. Wanneer de computer de nieuwe methode gebruikte, identificeerde hij bijna elk stukje data dat hij moest vinden correct, en hij verzon nooit een getal dat er niet was. In tegenstelling hiertoe miste de traditionele aanpak meer dan drie kwart van de belangrijke details en had moeite om de verschillende patiëntengroepen uit elkaar te houden. De onderzoekers merkten echter op dat deze eerste test slechts een voorlopige blik was, waarbij dezelfde rapporten werden gebruikt om zowel het systeem te trainen als te testen, waardoor het nog geen definitief bewijs van succes was.

Om een ware maatstaf voor prestaties te krijgen, paste het team hun gefinaliseerde systeem toe op een veel grotere en onafhankelijke set van 88 medische rapporten die vijf zeer verschillende gebieden van de geneeskunde beslaan: borstkankerchirurgie, de behandeling van schizofrenie, preventie van hartziekten, het beheer van type 2 diabetes en orthopedische revalidatie. Deze rapporten bevatten complexe tabellen, meerdere patiëntengroepen en diverse manieren om succes te meten. Het systeem verwerkte deze documenten en produceerde een gestructureerde lijst van datapunten, waarbij elk getal direct terugverwijst naar de originele brontekst zodat een mens dit direct kan verifiëren. De resultaten waren opmerkelijk sterk. Van bijna 26.000 individuele datapunten die het systeem moest extraheren, gaf het bijna elke keer het juiste antwoord. Het miste zeer weinig informatie, en wanneer het een fout maakte, was dat bijna altijd het geval van het achterlaten van een lege ruimte in plaats van het verzinnen van een vals getal. De snelheid waarmee data werd verzonnen was verwaarloosbaar klein en kwam slechts voor in een fractie van een procent van de gevallen.

De studie keek ook naar hoe het systeem presteerde in de verschillende medische velden. Het werkte uitzonderlijk goed voor studies over borstkanker en hartziekten, waarbij het bijna elk vereist getal vond. Het presteerde iets minder perfect voor diabetesstudies, waarbij het af en toe herhaalde getallen miste die in meerdere rijen van een tabel verschenen, maar zelfs dan bleef het zeer nauwkeurig. De onderzoekers stelden vast dat de meest voorkomende fouten geen wilde gokken waren, maar eerder het weglaten van informatie die in de tekst werd herhaald of verwarring tussen vergelijkbaar klinkende medische termen. Cruciaal was dat het systeem nooit een resultaat produceerde zonder de specifieke tekst aan te sluiten die het originele rapport ondersteunde, wat ervoor zorgde dat een menselijke beoordelaar het werk altijd kon controleren.

Ondanks deze indrukwekkende resultaten zijn de auteurs voorzichtig om niet te beweren dat het probleem volledig is opgelost. Ze benadrukken dat hun systeem een krachtig hulpmiddel is om menselijke experts te ondersteunen, en geen vervanging voor hen. De vergelijking tussen de nieuwe methode en de oude methode was gebaseerd op een kleine set rapporten die werden gebruikt tijdens de ontwikkelingsfase, dus hoewel de resultaten sterk suggereren dat de nieuwe methode superieur is, is het nog niet bewezen in een volledig onafhankelijke, head-to-head trial tegen andere systemen. Bovendien vereist het systeem nog steeds menselijk toezicht om de zeldzame gevallen te vangen waarin het een detail zou missen of worstelt met ongebruikelijke opmaak. De onderzoekers concluderen dat deze aanpak een veelbelovend pad biedt voor evidence synthesis, waarbij een traag, foutgevoelig handmatig proces wordt omgezet in een snelle, traceerbare en zeer nauwkeurige workflow, mits menselijke experts in de loop blijven om de uiteindelijke output te verifiëren.