Technische Samenvatting: Klinische Evaluatie van door LLM gegenereerde Ontslagbrieven voor Langdurige Hospitalisaties

Probleemstelling

Ontslagbrieven bij ontslag uit het ziekenhuis zijn cruciaal voor een veilige overgang van zorg, maar vormen een aanzienlijke cognitieve belasting voor clinici, met name tijdens langere hospitalisaties (7–21 dagen). Deze verlengde verblijven genereren een hoog volume aan gefragmenteerde, repetitieve en complexe documentatie, wat het synthetiseren van een beknopte, accurate transitiedocument moeilijk maakt. Ho hoewel Large Language Models (LLM's) veelbelovend zijn gebleken bij het genereren van ontslagbrieven, heeft eerder onderzoek zich grotendeels gericht op kortere verblijven en heeft zelden de specifieke prioriteiten van de ontvangende clinici (huisartsen, of PCPs) of de rapportage van incidentele bevindingen onderzocht. Bovendien ontbreekt in de bestaande literatuur bewijs over de vraag of LLM's effectief gegevens uit Elektronische Gezondheids Dossiers (EHR's) kunnen verwerken die de huidige context window-beperkingen van modellen overschrijden, een veelvoorkomende uitdaging bij langdurige verblijven.

Methodologie

De studie voerde een klinisch georiënteerde evaluatie uit waarbij LLM-gegenereerde ontslagbrieven werden vergeleken met door mensen geschreven samenvattingen voor 60 Interne Geneeskunde hospitalisaties die duurden tussen 7 en 21 dagen.

Gegevensverwerking en Pipeline:

• Cohort: 60 ontmoetingen werden gestratificeerd uit een pool van 400 historische inpatient gevallen bij Stony Brook University Hospital (januari 2023–december 2024).
• Inputgegevens: De pipeline extraheerde 370 unieke type notities (inclusclusief SEH-notities, consulten, voortgangsnotities en beeldvormingsrapporten) uit de Oracle Cerner EHR. Dit resulteerde in een gemiddelde reductie van 55% in tekstvolume per ontmoeting na filtering.
• LLM-architectuur: Om de beperkingen van het context window aan te pakken, ontwikkelden de auteurs een schaalbare pipeline met behulp van een sliding window-benadering. Klinische documenten werden gesegmenteerd in chunks van 50.000 tokens. Een iteratief verfijningsproces werd toegepast waarbij de LLM (GPT-5.2) een eerste chronologische, opsommende conceptversie genereerde vanuit het eerste segment en deze bijwerkte naarmate opeenvolgende segmenten werden verwerkt.
• Incidentele Bevindingen: Een aparte prompt-workflow werd ontworpen om klinisch relevante incidentele bevindingen uit radiologieverslagen te identificeren en te extraheren.
• Eindoutput: Het systeem consolideerde de chronologische conceptversie en de incidentele bevindingen tot een definitieve narratieve samenvatting.

Evaluatieprotocol:

• Beoordelaars: 12 medisch specialisten (6 hospitalisten en 6 huisartsen/PCPs) evalueerden de samenvattingen onafhankelijk.
• Workflow-afstemming: Hospitalisten bekeken alle inpatient-notities voordat zij de samenvattingen evalueerden, terwijl huisartsen eerst de samenvattingen bekeken en vervolgens de bevindingen verifieerden met de inpatient-notities om de werkelijke werkstromen bij de overgang van zorg te simuleren.
• Metrieken:
  • Kwantitatief: Beoordelaars beoordeelden de samenvattingen op een 5-punts Likert-schaal voor kwaliteit, leesbaarheid, feitelijkheid en volledigheid. Huisartsen gaven aanvullende beoordelingen over de begrijpelijkheid, de verbalisering naar patiënten en de bruikbaarheid voor de follow-up.
  • Foutannotatie: Beoordelaars annoteerden onnauwkeurigheden en weglatingen, waarbij zij de potentiële schade en de waarschijnlijkheid van schade beoordeelden met behulp van een aangepaste schaal van de Agency for Healthcare Research and Quality (AHRQ).
  • Incidentele Bevindingen: Beoordelaars beoordeelden de nauwkeurigheid en de geschiktheid van de gerapporteerde incidentele bevindingen.
• Kwalitatief: Na de beoordeling werden semi-gestructureerde debriefing-sessies gehouden om kwalitatieve feedback te verzamelen over workflow en vertrouwen.

Belangrijkste Resultaten

Prestaties en Voorkeur:

• Voorkeur: Medische beoordelaars gaven de voorkeur aan de door LLM gegenereerde samenvattingen in 95% van de 60 ontmoetingen.
• Kwaliteitsmetrieken: LLM-gegenereerde samenvattingen ontvingen significant hogere gemiddelde scores dan door mensen geschreven samenvattingen over alle metrieken:
  • Kwaliteit: 4,71 vs. 3,16 ($p = 1,40 \times 10^{-17}$)
  • Leesbaarheid: 4,66 vs. 3,39 ($p = 3,25 \times 10^{-15}$)
  • Feitelijkheid: 4,62 vs. 3,73 ($p = 1,08 \times 10^{-13}$)
  • Volledigheid: 4,69 vs. 3,42 ($p = 2,67 \times 10^{-15}$)
• Consistentie: LLM-samenvattingen vertoonden een grotere consistentie, met een gemiddelde absolute afwijking in Likert-scores die minder dan de helft was van die van door mensen geschreven samenvattingen (0,49 vs. 1,07).

Foutanalyse:

• Frequentie: LLM-gegenereerde samenvattingen bevatten minder totale fouten (gemiddeld 0,42) vergeleken met door mensen geschreven samenvattingen (gemiddeld 0,73; $p = 0,011$).
• Type Fouten: De reductie in fouten werd primair gedreven door minder weglatingen in de LLM-samenvattingen. Er was geen significant verschil in de frequentie van onnauwkeurigheden tussen de twee groepen.
• Schadepotentieel: Er was geen statistisch significant verschil in de geschatte potentiële schade of de waarschijnlijkheid van schade door fouten in de door LLM gegenereerde versus de door mensen geschreven samenvattingen.

Stakeholder-specifieke Bevindingen:

• Perspectief van de Huisarts (PCP): Huisartsen beoordeelden de LLM-samenvattingen significant hoger dan de hospitalisten op het gebied van leesbaarheid en volledigheid. Huisartsen identificeerden aanzienlijk meer weglatingen in beide typen samenvattingen dan de hospitalisten en gaven hogere scores voor de waarschijnlijkheid van schade bij fouten, wat hun verantwoordelijkheid voor de longitudinale nazorg reflecteert.
• Incidentele Bevindingen: Van de 31 door de LLM geïdentificeerde incidentele bevindingen werd 93,5% als feitelijk correct beoordeeld en 87,1% als geschikt voor rapportage.

Kwalitatieve Inzichten:

• Beoordelaars noemden een verminderde cognitieve belasting, hogere consistentie en een duidelijkere presentatie van de behandelingsratio en onopgeloste follow-up kwesties als de primaire redenen voor hun voorkeur voor LLM-samenvattingen.
• Hospitalisten merkten op dat door mensen geschreven samenvattingen vaak leden onder redundantie en arts-afhankelijke variabiliteit, terwijl de LLM-samenvattingen meer uniform en beknopt waren.
• Huisartsen benadrukten dat de LLM-samenvattingen de overgang van zorg beter faciliteerden door actiepunten en lopende resultaten te benadrukken.

Betekenis en Claims

Het artikel claimt dat deze studie voortbouwt op eerder werk door de klinische bruikbaarheid van LLM's bij het samenvatten van langere, complexere hospitalisaties aan te tonen, een scenario dat voorheen onderbelicht bleef vanwege technische uitdagingen en de omvang van de documentatie.

• Stakeholder-gecentreerd Ontwerp: De resultaten benadrukken dat het ontwerpen van transitiedocumenten rond de informatieve prioriteiten van de ontvangende clinici (specifiek huisartsen) leidt tot significante verbeteringen in de waargenomen kwaliteit en bruikbaarheid. De studie suggereert dat prompting-strategieën die zijn afgestemd op de workflow van de huisarts (bijv. focus op actiepunten en follow-up) cruciaal zijn.
• Technische Schaalbaarheid: De studie levert bewijs dat LLM's effectief EHR's kunnen verwerken die de standaard context window overschrijden met behulp van iteratieve sliding window-technieken, waarbij een hoge kwaliteit van de output behouden blijft, zelfs voor 21-daagse hospitalisaties.
• Veiligheid en Toezicht: Hoewel de door LLM gegenereerde samenvattingen minder weglatingen vertoonden en een hogere kwaliteit hadden, benadrukken de auteurs dat ze niet foutloos zijn. De bevindingen ondersteunen een model van gesuperviseerde LLM-ondersteunde samenvatting, waarbij de AI de cognitieve belasting vermindert en de kwaliteit van de documentatie verbetert, maar waarbij klinisch toezicht essentieel blijft voor verificatie, met name met betrekking tot risicovolle inhoud zoals medicatiewijzigingen en incidentele bevindingen.

De auteurs concluderen dat LLM-ondersteunde ontslag-samenvatting het potentieel heeft om de klinische belasting te verminderen en de communicatie tijdens de overgang van zorg te verbeteren, mits dit wordt geïmplementeerd met gepaste klinische verificatieworkflows.