💬 NLP

Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

Dit artikel presenteert een pipeline die gebruikmaakt van grote taalmodellen om klinische bevindingen uit medische casusrapporten te extraheren en in de tijd te lokaliseren, wat resulteert in een open-access corpus van tekstuele tijdreeksen voor Sepsis-3 dat, vergeleken met annotaties door artsen, hoge nauwkeurigheid toont in het herstellen van gebeurtenissen en de temporele ordening.

Oorspronkelijke auteurs: Shahriar Noroozizadeh, Jeremy C. Weiss

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shahriar Noroozizadeh, Jeremy C. Weiss

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het traject van een patiënt door een ziekenhuis voor als een complexe film. De gestructureerde data (zoals vitale functies en laboratoriumresultaten) zijn de speciale effecten en de soundtrack – makkelijk te lezen door computers, maar ze tonen je alleen de scènes in volgorde, waarbij vaak de plotdetails ontbreken. De klinische casusrapporten (de geschreven verhalen van artsen) zijn het volledige filmscript. Ze bevatten de rijke details van wat er gebeurd is, waarom het gebeurd is en de emotionele context. Er is echter een addertje onder het gras: het script wordt meestal geschreven nadat de film klaar is. Het is een retrospectieve samenvatting, en de 'tijdstempels' in het verhaal zijn vaak vaag of uit de volgorde (bijvoorbeeld: de arts schrijft bovenaan 'De patiënt is overleden', terwijl dat aan het einde gebeurde).

Dit artikel, "Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs", gaat over het leren aan een superintelligente AI (een Large Language Model of LLM) om dat afgewerkte filmscript te bekijken en het te herschrijven in een perfect getimede, minuut-per-minuut tijdlijn.

Hier is de uiteenzetting van hun werk met behulp van eenvoudige analogieën:

1. Het Probleem: De 'Terugspoel'-knop is defect

Sepsis is een levensbedreigende reactie op een infectie. Om te begrijpen hoe we het beter kunnen behandelen, moeten artsen precies weten wanneer dingen misgingen.

Het Probleem: Ziekenhuiscomputers hebben datastromen, maar deze zijn vaak onvolledig (zoals een film met ontbrekende frames). De geschreven casusrapporten bevatten alle frames, maar ze worden achteraf geschreven. Een arts kan schrijven: "De patiënt had gisteren koorts", maar de computer weet niet of dat 2 uur geleden was of 2 dagen geleden.
Het Doel: De auteurs wilden deze geschreven verhalen nemen en AI gebruiken om een "Tekstuele Tijdsreeks" te extraheren. Denk hierbij aan het omzetten van een tekstparagraaf in een nauwkeurig kalenderoverzicht van gebeurtenissen, waarbij elk symptoom en elke behandeling is gekoppeld aan een specifiek uur ten opzichte van de aankomst van de patiënt.

2. De Oplossing: De AI-'Tijdmaker'

De onderzoekers bouwden een processtroom met krachtige AI-modellen (zoals GPT-5 en Llama 3.3) die fungeerden als een forensische tijdmaker.

De Taak: Ze voerden de AI duizenden medische casusrapporten van internet (PubMed) toe.
De Magie: De AI kreeg de opdracht het verhaal te lezen, elke klinische gebeurtenis (zoals "koorts", "diagnose", "operatie") te vinden en er een tijdstempel aan te koppelen.
- Voorbeeld: Als de tekst zegt: "Drie dagen voor opname had de patiënt koorts", berekent de AI: "Opname is Uur 0. Drie dagen geleden is Uur -72."
- Het splitst ook complexe zinnen. Als een tekst zegt "metastasen in lever en pancreas", behandelt de AI dit als twee aparte gebeurtenissen: één voor de lever, één voor de pancreas, beide op hetzelfde moment.

3. Het "T2S2"-Corpus: Een nieuwe bibliotheek van tijdlijnen

Het resultaat van dit werk is een nieuwe, open-access bibliotheek genaamd T2S2 (Textual Time Series for Sepsis).

Grootte: Het bevat 2.139 gedetailleerde casusrapporten.
Inhoud: Elk rapport is omgezet van een tekstblok in een lijst van meer dan 3.000 specifieke gebeurtenissen met precieze tijden.
Waarom het belangrijk is: Dit is de eerste keer dat een dergelijke grote collectie "getimeerde" sepsisverhalen is gecreëerd uit vrijetekstrapporten. Het is alsof je een bibliotheek van romans omzet in een database van precieze historische tijdlijnen.

4. Kreeg de AI het goed? (De Kwaliteitscontrole)

De auteurs vertrouwden de AI niet zomaar; ze legden het een strenge "examen" voor om te zien of het hallucineerde (dingen verzon) of de timing verkeerd had.

Het Menselijk Examen: Ze lieten echte artsen 40 van deze verhalen handmatig annoteren om een "Gouden Standaard" antwoordensleutel te maken.
De Resultaten:
- Gebeurtenisherstel: De beste AI (GPT-5) vond 93% van de gebeurtenissen die de artsen vonden. Het was zeer goed in het opsporen van het "wat".
- Tijdsnauwkeurigheid: De AI was uitstekend in het correct ordenen van gebeurtenissen (96,5% overeenstemming over de volgorde).
- De "Hallucinatie"-controle: Ze controleerden of de AI gebeurtenissen verzon die niet in de tekst stonden. In een steekproef van 1.500 gebeurtenissen werden nul niet-ondersteunde hallucinaties gevonden. De AI bleef bij het script.
De Zwakte: De AI had soms moeite met zeer lange tijdsintervallen. Als een verhaal zei: "Hij stierf 6 maanden later", was de AI goed in de volgorde, maar gokte het soms het exacte uur verkeerd. Het is alsof je weet dat de film eindigt in het derde bedrijf, maar het exacte moment waarop de aftiteling begint verkeerd raadt.

5. Wat dit Is (en Wat het Niet Is)

De auteurs zijn zeer duidelijk over de grenzen van hun werk:

Het IS: Een krachtig onderzoeksinstrument. Het stelt wetenschappers in staat het verhaal van sepsis te bestuderen met fijnmazige timing. Het helpt bij het bouwen van betere modellen om risico's te voorspellen of te begrijpen hoe de ziekte in de loop van de tijd verloopt.
Het IS NIET: Een instrument dat nu in een ziekenhuis gebruikt kan worden om real-time beslissingen te nemen. De data komt uit gepubliceerde verhalen (die bewerkt en gepolijst zijn), niet uit de rommelige, real-time notities die artsen schrijven terwijl een patiënt momenteel op de IC ligt.
De Beperking: Omdat dit gepubliceerde verhalen zijn, kunnen ze zich richten op zeldzame of interessante gevallen (publicatiebias). Ze zijn geen perfecte weergave van elke sepsispatiënt ter wereld.

Samenvattende Analogie

Stel je een stapel oude, handgeschreven dagboeken uit een oorlog voor. Ze vertellen je alles wat er gebeurd is, maar de data zijn rommelig en sommige pagina's zijn gescheurd.

Gestructureerde Data is een spreadsheet van troepenbewegingen waar de helft van de kolommen ontbreekt.
Dit Artikel is het inhuren van een team AI-historici om elk dagboek te lezen, de exacte datum en tijd van elke slag te achterhalen en ze te ordenen in één perfecte tijdlijn.
Het Resultaat: Een enorme, doorzoekbare tijdlijn van de oorlog die onderzoekers kunnen gebruiken om het verloop van de strijd te begrijpen, ook al is de AI geen generaal die vandaag troepen aanvoert aan de frontlinie.

Het artikel bewijst dat AI effectief rommelige medische verhalen kan omzetten in precieze, tijd-geordende data, waardoor de deur opengaat voor beter onderzoek naar hoe ziekten zoals sepsis in de loop van de tijd verlopen.

Technische Samenvatting: Reconstructie van Sepsis-trajecten uit Klinische Casusrapporten met behulp van LLM's

Probleemstelling
Klinische casusrapporten en ontslagrapporten bieden de meest volledige en accurate samenvatting van patiëntcontacten; echter, deze worden pas definitief na afloop van het contact vastgesteld, wat resulteert in een grove temporele resolutie in vergelijking met de gedetailleerde gebeurtenissen die ze beschrijven. Omgekeerd zijn gestructureerde datastromen (bijv. vitale functies, laboratoriumwaarden) in real-time beschikbaar, maar lijden ze vaak aan aanzienlijke onvolledigheid, waardoor het moeilijk is om diagnoses zoals sepsis te stellen of te bevestigen. Hoewel gestructureerde data de primaire bron is voor huidige vroege waarschuwingssystemen en fenotyperingsstudies, leidt de ontbrekende data tot suboptimale modellering. Er is een kritieke behoefte aan een dataset die de narratieve volledigheid van klinische tekst combineert met fijnmazige temporele granulariteit om betere temporele analyses, causale redenering en voorspelling van sepsis-trajecten mogelijk te maken. Bestaande inspanningen hebben zich grotendeels gericht op temporele relaties tussen klinische concepten in plaats van op het tijdstip van gebeurtenissen, of hebben gebruik gemaakt van kleine steekproeven en geselecteerde samenvattingen.

Methodologie
De auteurs introduceren een pipeline om het Textual Time Series for Sepsis-3 (T2S2)-corpus te construeren, bestaande uit 2.139 open-access casusrapporten uit de PubMed Open Access (PMOA)-subset. De methodologie omvat een vierfasig proces:

Detectie en Fenotypering van Casusrapporten: De pipeline filtert PMOA-rapporten met behulp van regex en Large Language Models (LLM's) om rapporten te identificeren die voldoen aan de Sepsis-3-criteria (vermoedelijke/bevestigde infectie plus afwijkingen in qSOFA).
Extractie van Klinische Bevindingen: Met behulp van een gestructureerde prompt met few-shot voorbeelden extraheren zes LLM's (waaronder GPT-5, DeepSeek-R1 en diverse Llama 3.x-modellen) klinische bevindingen. De extractieregels vereisen het splitsen van voegwoorden (bijv. "lever- en alvleeskliermetastasen" wordt twee gebeurtenissen) en het behoud van specifieke tekstfragmenten.
Temporele Toewijzing: De modellen wijzen tijdstippen toe ten opzichte van opname ( $t=0$ ) in uren. Voorafgaande gebeurtenissen krijgen negatieve tijdstippen. De pipeline behandelt duur-gebeurtenissen door het starttijdstip toe te wijzen en leidt tijden af voor gebeurtenissen zonder expliciete temporele markers via contextuele redenering.
Evaluatiekader: Het systeem wordt gevalideerd tegen een gouden standaardset van 40 door clinici geannoteerde rapporten (sepsis-40) en een bronzen standaard proxy-set (sepsis-100). Evaluatiemetingen omvatten:
- Event Match Rate: Recursieve beste matching met behulp van de cosinusafstand van PubMedBERT-embeddings (drempel $\theta=0,1$ ).
- Temporele Ordening: Concordantie-index (c-index) voor paren van gebeurtenissen.
- Tijdsnauwkeurigheid: Mediaan Absolute Fout (MAE) en het Oppervlak onder de Log-Tijd Curs (AULTC), dat discrepanties over tijdschalen integreert om te voorkomen dat fouten op lange termijn het criterium overheersen.

Belangrijkste Bijdragen

T2S2 Corpus: Het eerste open-access tekstuele tijdreeks-corpus voor Sepsis-3, met 2.139 casusrapporten met geëxtraheerde paren van gebeurtenis-tijdstip.
Annotatiepipeline: Een nieuwe LLM-als-annotator-aanpak die specifiek is ontworpen om tijdsgebonden klinische bevindingen uit vrije tekst te extraheren, onderscheidend van eerdere werk dat zich richtte op i2b2-stijl conceptrelaties.
Gouden Standaard Annotaties: 3.229 handmatig geannoteerde referentiegebeurtenissen verspreid over 40 PMOA-casusrapporten, die een rigoureus benchmark bieden voor evaluatie.
Evaluatiecriteria: Aangepaste metrieken voor tekstuele tijdreeksen waarbij overeenkomende bevindingen niet identieke strings hoeven te zijn, met gebruikmaking van semantische embeddingsafstanden en log-tijds schaling voor foutmeting.
Meerlaagse Validatie: Een uitgebreid kader inclusief bootstrap-onzekerheidskwantificatie, onderlinge overeenstemming tussen annotatoren (clinici versus clinici), audit op hallucinaties, zelfconsistentie-analyse en volledige-corpus cross-model overeenstemming.

Resultaten

Extractieprestaties: Op de door clinici geannoteerde sepsis-40-set toonde GPT-5 de sterkste algehele prestatie met een event match rate van 0,93, een concordantie van 0,965 en een mediaan absolute fout van 4 uur. DeepSeek-R1 en Llama 3.3 70B leverden concurrerende open-model baselines, waarbij DeepSeek-R1 een match rate van 0,79 behaalde en Llama 3.3 0,76.
Temporele Ordening: Grote modellen vertoonden sterke capaciteiten voor temporele ordening. GPT-5 en Llama 3.3 behaalden concordantiescores van respectievelijk 0,965 en 0,908, aanzienlijk beter dan kleinere modellen (bijv. Llama 3.1 8B op 0,856) en de BERT tijd-regressie baseline.
Validatiebevindingen:
- Hallucinatie-audit: Bij een handmatige audit van 1.517 gebeurtenissen van DeepSeek-R1 en Llama 3.3 werden nul niet-ondersteunde gehallucineerde gebeurtenissen geïdentificeerd, hoewel tijdstipfouten mogelijk bleven, zelfs voor gebaseerde gebeurtenissen.
- Zelfconsistentie: Meervoudige generatie toonde hoge stabiliteit over random seeds, wat aangeeft dat het extractieproces niet wordt gedreven door stochastische ruis.
- Menselijke Variabiliteit: De overeenstemming tussen clinici over dezelfde rapporten was niet perfect (match rate 0,681), wat suggereert dat de kloof tussen modelprestaties en menselijke prestaties kleiner wordt en dat modelfouten vaak vergelijkbaar zijn met variabiliteit in menselijke annotatie.
- Beperkingen: De prestaties verslechterden op de i2m4-dataset (legacy i2b2-concepten) door ontologie-mismatches (gefragmenteerde concepten versus compositieve bevindingen) en onder-identificatie-bias. Bovendien vertoonden gebeurtenissen op lange termijn (maanden/jaren) hogere tijdstipdiscrepanties.

Betekenis en Beweringen
Het artikel karakteriseert het vermogen van LLM's om klinische bevindingen temporeel te lokaliseren, en toont aan dat foundation-modellen met instructietuning effectief retrospectieve klinische trajecten uit tekst kunnen reconstrueren. De auteurs beweren dat T2S2 dient als een hoogtrouw retrospectief onderzoeksresource voor downstream taken zoals risicovoorspelling, causale redenering en karakterisering van ziekteverloop.

De auteurs stellen expliciet dat T2S2 geen klaar voor gebruik klinisch extractiesysteem is. Zij benadrukken beperkingen zoals publicatiebias inherent aan casusrapporten, het ontbreken van exhaustieve clinische validatie voor het volledige corpus, en de moeilijkheid om deze pipeline te vertalen naar prospectieve, real-time klinische omgevingen waar data ruwer is en continu evolueert. Het werk suggereert dat hoewel LLM's temporele structuren met hoge trouw kunnen herstellen, de primaire faalmodus vaak het toewijzen van onjuiste tijden aan echte bevindingen is in plaats van het fabriceren van gebeurtenissen. Toekomstig nut wordt envisioned in het integreren van deze uit narratieven afgeleide tijdlijnen met gestructureerde fysiologische data om uitgebreide multimodale representaties van patiënttrajecten te bouwen.