Sentiment in Clinical Notes: A Predictor for Length of Stay?

Hoewel sentimentanalyse van klinische notities slechts een zwakke voorspeller is voor de ziekenhuisopnameduur, overtreft het direct schatten van de opnameduur door een groot taalmodel (LLM) deze sentimentbenadering, hoewel dit ten koste gaat van de rekentijd.

De kern

Stel je voor dat een ziekenhuis een enorme, drukke haven is. Elke dag komen er duizenden schepen (patiënten) aan, en de havenmeesters (artsen) moeten beslissen: Hoe lang blijft dit schip hier liggen voordat het weer vertrekt? Dit tijdsbestek noemen we de "verblijfsduur" (Length of Stay of LOS).

Deze havenmeesters hebben al een heel goede radar: ze kijken naar de technische gegevens van het schip (leeftijd, bloeddruk, bloedwaarden). Maar wat als je ook naar de dagboeken van de schippers zou kunnen kijken? In die dagboeken staat niet alleen de data, maar ook hoe de schipper zich voelt over de situatie. Is hij bezorgd? Is de situatie chaotisch? Of klinkt het allemaal heel rustig en beheerst?

Dit onderzoek van Aidan Boyne en zijn team probeerde precies dat uit te vinden. Ze wilden weten of we door de gevoelens (sentiment) in de medische aantekeningen te analyseren, beter kunnen voorspellen hoe lang een patiënt in het ziekenhuis blijft.

Hier is hoe ze het aanpakken, vertaald naar alledaagse taal:

1. De Proef: Het Lezen van de "Gevoelskrant"

Ze namen 4.500 aantekeningen van patiënten met longontsteking (pneumonie) uit de afgelopen 10 jaar. Vervolgens lieten ze vier verschillende "digitale lezers" deze teksten lezen:

• De snelle, simpele lezers (VADER & TextBlob): Dit zijn als een kind dat een tekst leest en telt hoeveel woorden er "slecht" of "goed" klinken. Ze zijn supersnel, maar misschien wat oppervlakkig.
• De slimme, diepzinnige lezer (Longformer): Dit is als een ervaren leraar die de hele tekst in één keer doorneemt en probeert de sfeer van het hele verhaal te begrijpen.
• De super-intelligente AI (GPT-oss): Dit is een moderne, krachtige robot die niet alleen naar woorden kijkt, maar probeert de betekenis te snappen.

2. De Twee Vragen

Ze stelden deze digitale lezers twee soorten vragen:

1. De "Gemoedstoestand"-vraag: "Hoe negatief of positief klinkt deze tekst?" (Sentiment).
2. De "Directe Voorspelling"-vraag: "Als je deze tekst leest, hoe lang denk je dat de patiënt hier blijft?" (Directe schatting).

3. Wat Vonden Ze? (De Verassing)

Het resultaat was een beetje zoals het zoeken naar een naald in een hooiberg, maar dan met een knipoog:

• Gevoel is lastig te vangen in medische teksten: Artsen zijn getraind om heel objectief te schrijven. Ze schrijven niet: "Ik ben zo overstuur dat deze patiënt waarschijnlijk weken blijft!" Nee, ze schrijven: "Patiënt is hypotensief en heeft een hoge koorts."

  • Voor een computer is "hypotensief" (lage bloeddruk) niet per se een "negatief gevoel" zoals "boos" of "verdrietig". Het is gewoon een feit. Daarom waren de "gevoelslezers" (sentiment) niet erg goed in het voorspellen van de verblijfsduur. Het was alsof je probeert te voorspellen of het gaat regenen door te kijken naar de kleur van de kleding van de mensen op straat; het heeft een klein verband, maar het is niet betrouwbaar.

• De slimme robot wint het van de gevoelens: De AI die direct werd gevraagd: "Hoe lang blijft hij?" (zonder eerst naar gevoelens te kijken), deed het het beste.

  • Het was alsof je de robot vraagt: "Lees dit verslag en geef me een inschatting," in plaats van "Is dit verslag verdrietig?" De AI kon de complexe medische signalen in de tekst beter vertalen naar een tijdsduur dan de simpele "gevoelsmeters".

• Snelheid vs. Kracht: Er was een groot verschil in snelheid. De simpele lezers deden 100 teksten in 2 seconden (zoals een bliksemsnelle blik). De super-intelligente AI had daar 370 seconden voor nodig (zoals een langzame, grondige analyse).

4. De Grote Les

De onderzoekers concluderen dat gevoelens in medische teksten wel een klein verband hebben met hoe lang iemand blijft, maar dat het verband te zwak is om er echt op te vertrouwen. De taal van artsen is te droog en feitelijk voor "gevoelsanalyse".

De beste oplossing?
Gebruik de krachtige AI (zoals de GPT-robot) niet om te kijken of de arts "verdrietig" is, maar vraag haar direct om de situatie te beoordelen. En combineer dit slimme lezen met de traditionele, harde cijfers (zoals leeftijd en bloeddruk).

Kortom:
Je kunt proberen te voorspellen hoe lang een patiënt blijft door te kijken naar de "stemming" in het dossier, maar dat is als proberen de weersvoorspelling te doen door naar de kleur van de paraplu's te kijken. Het is beter om een slimme AI te vragen om het dossier te lezen en direct te zeggen: "Op basis van dit verhaal, denk ik dat deze patiënt ongeveer 9 dagen blijft." Dat werkt iets beter, maar de echte kracht zit hem in het combineren van die slimme AI met de standaard medische cijfers.

Technische samenvatting

Titel: Sentiment in Klinische Notities: Een Predictor voor de Duur van het Ziekenhuisverblijf?

Auteurs: Aidan Boyne, Maximillian Feygin, John Sholeen, Andrew Zimolzak (Baylor College of Medicine)
Bron: medRxiv preprint (niet gepubliceerd door peer review)

---

1. Het Probleem

De duur van het ziekenhuisverblijf (Length of Stay, LOS) is een cruciale metriek voor de operationele efficiëntie van ziekenhuizen en de kwaliteit van zorg. Bestaande modellen voor het voorspellen van LOS vertrouwen zwaar op gestructureerde data (zoals demografie, vitale functies, laboratoriumwaarden en comorbiditeitsindices).

• De uitdaging: Unstructured data, specifiek de tekstuele opnames van artsen bij opname (anamnese en lichamelijk onderzoek), bevat vaak latente prognostische informatie over diagnostische onzekerheid en ziektecomplexiteit die niet in gestructureerde velden staat.
• De vraag: Kan sentimentanalyse (het computergestuurde identificeren van positieve, neutrale of negatieve houdingen in tekst) uit deze ongestructureerde notities dienen als een effectieve predictor voor de daadwerkelijke verblijfsduur?

2. Methodologie

Het onderzoek was een retrospectieve studie uitgevoerd op een dataset van 4.503 volwassen patiënten met een primaire diagnose van community-acquired pneumonia (CAP) tussen juni 2013 en juni 2023.

Data-voorbereiding:

• Opname-notities (History & Physical) werden geëxtraheerd uit het EPIC EHR-systeem van Baylor St. Luke's Medical Center.
• Alleen notities geschreven door artsen, fellows of residenten werden geselecteerd.
• Preprocessing: Tekst werd gestandaardiseerd (kleine letters, witruimte). Een subset werd handmatig gecontroleerd om zinnen te identificeren die door artsen zijn gegenereerd. Fuzzy regex-matching werd gebruikt om relevante secties (anamnese, beoordeling, plan) te filteren van automatisch gegenereerde tekst of vultekst.

Modellen en Benaderingen:
Vier verschillende NLP-modellen werden getest om sentiment-scores te genereren (schaal -1 tot 1, waarbij -1 zeer negatief en 1 zeer positief is):

1. VADER: Een regelgebaseerd model.
2. TextBlob: Een regelgebaseerd model.
3. Longformer: Een encoder-based model (ontworpen voor lange documenten).
4. GPT-oss-20B: Een open-source Large Language Model (LLM).

Experimentele Opzet:

• Sentimentanalyse: Alle modellen kregen de notities om een sentiment-score te genereren.
• Zero-shot LOS-schatting: Het LLM (GPT-oss-20B) werd ook direct gevraagd om de LOS te voorspellen door de tekst te interpreteren als een "onpartijdige medisch administrateur" die de verwachte verblijfsduur schat (geschaald van -1 voor zeer lang tot 1 voor zeer kort).
• Validatie: De modeluitvoer werd geassocieerd met de werkelijke LOS (berekend als ontslagtijd minus opnametijd) via lineaire regressie en Pearson-correlatiecoëfficiënten.

3. Belangrijkste Resultaten

Correlatie met daadwerkelijke LOS:
Hoewel de correlaties statistisch significant waren, waren ze over het algemeen zwak.

• Directe LLM-schatting: Dit was de beste presterende methode. De directe schatting van LOS door het LLM toonde de sterkste correlatie met de werkelijke duur (r = -0.218, p < 0.001) en verklaarde een R² van 0.017.
• Sentimentmodellen:
  • Longformer: Bereikte de hoogste variantie-uitklaring onder de sentimentclassificatoren (R² = 0.019), gevolgd door VADER (R² = 0.014).
  • LLM (Sentiment): Toonde een correlatie van r = -0.118.
  • TextBlob: Verklaarde vrijwel geen variantie (R² = 0.000) en had een zeer zwakke correlatie (r = -0.030).

Modelovereenkomst en Efficiëntie:

• Overeenkomst: De overeenkomst tussen de verschillende modellen was slecht (Intraclass Correlation Coefficient, ICC = 0.059), wat aangeeft dat de modellen fundamenteel verschillende interpretaties van de tekst geven.
• Berekeningstijd: Er was een groot verschil in rekentijd per 100 notities:
  • TextBlob: ~2,6 seconden (zeer snel).
  • Longformer: ~9,0 seconden.
  • GPT-oss-20B: >370 seconden (zeer traag).

4. Kernbijdragen en Discussie

1. Beperkte Voorspellende Kracht van Sentiment: De studie concludeert dat sentimentanalyse een statistisch significant maar praktisch beperkt verband heeft met de LOS. De objectieve, niet-evaluatieve aard van klinische documentatie (waarbij termen als "sepsis" of "intubatie" klinisch ernstig zijn maar niet noodzakelijk "negatief" in een emotioneel sentiment-model) beperkt de bruikbaarheid van traditionele sentimentanalyse als biomarker.
2. Superioriteit van Directe LLM-schatting: Het direct laten voorspellen van de uitkomst door een LLM (zero-shot) presteerde beter dan het extraheren van sentiment en het daarop baseren van een voorspelling. Dit suggereert dat LLMs beter in staat zijn om klinische complexiteit te interpreteren dan puur emotionele lading te detecteren.
3. Rol van Modelarchitectuur: Longformer presteerde beter dan kleinere modellen (VADER, TextBlob) omdat het ontworpen is om lange contexten te verwerken en sleutelzinnen over het hele document te synthetiseren, in plaats van geïsoleerde fragmenten te analyseren.
4. Signalen in Ruis: Ondanks de "ruis" in klinische notities (automatische tekst, kopieer- en plakfouten) bevatten ongestructureerde teksten nog steeds meetbare, latente informatie over ziekteernst die gestructureerde data mist.

5. Betekenis en Conclusie

De studie toont aan dat sentimentanalyse van opnamenotities alleen niet voldoende is om de verblijfsduur nauwkeurig te voorspellen, voornamelijk vanwege de beperkte gevoeligheid van sentimentmodellen voor de specifieke terminologie en toon van medische verslaglegging.

• Praktische Implicatie: Bestaande modellen die uitsluitend op gestructureerde data vertrouwen, blijven superieur voor LOS-voorspelling.
• Toekomstperspectief: De meest veelbelovende richting is de ontwikkeling van multimodale systemen. Deze systemen zouden de sterke voorspellende waarde van gestructureerde data moeten combineren met geavanceerde, fijnafgestemde (fine-tuned) NLP-modellen die in staat zijn om latente, complexe klinische informatie uit ongestructureerde teksten te halen. Zero-shot prompting is een eerste stap, maar gesuperviseerde fine-tuning (bijv. via LoRA) en Retrieval Augmented Generation (RAG) zullen waarschijnlijk nodig zijn om de prestaties significant te verbeteren.

Opmerking: Dit is een preprint en is nog niet door peer review beoordeeld; de resultaten moeten daarom niet direct worden gebruikt om klinische praktijken te sturen.