Empowering Healthcare Practitioners with Language Models: Structuring Speech Transcripts in Two Real-World Clinical Applications

Titel: Het empoweren van zorgverleners met Taalmodellen: Het structureren van spraaktranscripten in twee real-world klinische toepassingen

Auteurs: Jean-Philippe Corbeil et al. (Microsoft Healthcare & Life Sciences)

---

1. Probleemstelling

Grote Taalmodellen (LLM's) zoals GPT-4o hebben bewezen sterk te zijn in gestandaardiseerde medische benchmarks (bijv. MedQA, PubMedQA). Echter, twee hoog-impact taken in de dagelijkse klinische praktijk blijven onderbelicht vanwege gebrek aan data en de gevoeligheid van medische gegevens:

1. Gestructureerde rapportage vanuit verpleegkundige dictaten: Verpleegkundigen gebruiken vaak spraakherkenning, maar de output moet worden omgezet in gestructureerde tabellen (flowsheets) binnen het Elektronisch Gezondheidsdossier (EHR). Deze tabellen kunnen honderden rijen bevatten, wat de contextlimieten van LLM's overstijgt.
2. Extractie van medische orders uit arts-patiëntconsulten: Het automatisch extraheren van specifieke instructies (medicatie, labs, follow-up) uit lange, ongestructureerde gesprekken tussen arts en patiënt, inclusief het vullen van vrije tekstvelden (zoals de reden voor de order).

De huidige uitdagingen omvatten het hanteren van lange contexten, het verwerken van disfluente spraak (aarzelingen, correcties), en het extraheren van complexe structuren zonder dat er grote, openbare datasets beschikbaar zijn.

2. Methodologie

De auteurs evalueren zowel gesloten (closed-weight) als open (open-weight) LLM's voor deze twee taken en introduceren nieuwe methoden voor datageneratie.

A. Dataverzameling en Generatie

Om het gebrek aan openbare data op te lossen, hebben de auteurs twee nieuwe datasets ontwikkeld:

• SYNUR (Synthetic Nursing Dataset): Een synthetische dataset voor verpleegkundige observaties.
  • Proces: Een zes-staps "agentic" pipeline waarbij een LLM (GPT-4o) en menselijke experts samenwerken.
  • Stappen: Mining van observaties uit 80 seed-dictaten $\rightarrow$ Consolidatie tot 97 concepten $\rightarrow$ Expansie naar 193 concepten $\rightarrow$ Generatie van scenario's $\rightarrow$ Synthese van realistische dictaten (met aarzelingen en correcties) $\rightarrow$ Validatie door expert-verpleegkundigen.
  • Resultaat: 223 synthetische dictaten met 3000 observaties, gevalideerd op kwaliteit en realisme.
• SIMORD (Simulated Orders Dataset): De eerste open-source dataset voor medische orders.
  • Bron: Bestaande datasets (ACI-Bench en PriMock57) met lange arts-patiënt dialogen.
  • Annotatie: Medisch getrainde annotatoren hebben de "gold-standard" orders (medicatie, lab, follow-up, imaging) met redenen en bronvermelding (provenance) uit de dialogen gehaald.
  • Resultaat: 64 trainingssamples en 100 testsamples.

B. Technische Aanpak

• Verpleegkundige Observatie-extractie (Nurse Observation Extraction):

  • Architectuur: Een drie-staps proces (Figuur 3).
    1. Segmentatie: Het splitsen van het stromende transcript in medisch coherente segmenten.
    2. RAG-filtering (Retrieval-Augmented Generation): Het filteren van de enorme flowsheet-schema's naar de top-N meest relevante rijen op basis van cosine-ähnelijkheid met het huidige segment. Dit lost het probleem van "overflowing flowsheets" op.
    3. Extractie: De LLM extrahert de observaties en normaliseert ze naar het gereduceerde schema.
  • Modellen: Geëvalueerd met GPT-4o, 4o-mini, 4.1 en 4.1-mini.

• Medische Order-extractie (Medical Order Extraction):

  • Taak: Het genereren van gestructureerde JSON-objects met velden: description, order_type, reason, en provenance (regnummers in het transcript).
  • Modellen: Geëvalueerd met gesloten modellen (GPT-4o, o1-mini, o3-mini, etc.) en open modellen (Phi-3.5, MediPhi-Instruct, Llama3-Med42).
  • Settings: Zero-shot en Few-shot (met 1 of 2 voorbeelden).

3. Belangrijkste Resultaten

Verpleegkundige Observaties (SYNUR & Proprietary Data)

• Prestaties: GPT-4.1 presteerde consistent het beste op de echte ziekenhuisdata (F1-score tot 93.6%). GPT-4o deed het het beste op de synthetische SYNUR-data (waarschijnlijk door de generatiemethode).
• Few-shot learning: Het toevoegen van voorbeelden (few-shot) verbeterde de prestaties aanzienlijk voor alle modellen.
• Uitdagingen: Modellen worstelen met het afleiden van waarden op medische schalen en het infereren van ontbrekende medische identifiers.
• Validatie: De synthetische data (SYNUR) toonde hoge overeenstemming met echte data (Cohen's kappa 0.634 tussen annotatoren).

Medische Orders (SIMORD)

• Gesloten Modellen: Geen enkel model was overal superieur.
  • GPT-4o excelleerde in het genereren van beschrijvingen en types.
  • Reasoning-modellen (zoals o1-mini) presteerden significant beter op Provenance (+25.7% verbetering t.o.v. non-reasoning), wat aantoont dat diepere inferentie nodig is om de bron van een order in een lang gesprek te traceren.
  • Er is een grote kloof tussen de "Match"-score (of een order correct is geïdentificeerd) en de "Description"-score (kwaliteit van de tekst), wat aangeeft dat het genereren van vrije tekst nog verbetering behoeft.
• Open Modellen:
  • MediPhi-Instruct (3.8B parameters): Bereikte prestaties die vergelijkbaar waren met GPT-4o (bij 2-shot vs 1-shot) en sloeg deze zelfs op de metrics voor description en reason. Dit bewijst dat lichtgewicht open modellen zeer geschikt zijn voor deze taak.
  • Parsing: Open modellen hadden vaker problemen met het correct parsen van JSON-uitvoer (vooral bij lange reeksen in provenance), terwijl modellen zoals GPT-4o en o1-mini zeer betrouwbaar waren (0-1% fouten).
• Impact van Voorbeelden: Few-shot learning (1 of 2 voorbeelden) leverde aanzienlijke verbeteringen op voor vrije tekstvelden (Description en Reason).

4. Bijdragen

1. SYNUR Dataset: De eerste open-source synthetische dataset voor het extraheren van gestructureerde observaties uit verpleegkundige dictaten.
2. SIMORD Dataset: De eerste open-source dataset voor het extraheren van medische orders uit gesimuleerde arts-patiënt dialogen.
3. Agente Data-generatie Pipeline: Een bewezen methode om realistische, niet-gevoelige synthetische verpleegkundige data te genereren met expert-validatie.
4. Systematische Evaluatie: Een uitgebreide studie die de sterktes en beperkingen van zowel gesloten als open LLM's (inclusief reasoning-modellen) in deze specifieke klinische taken in kaart brengt.

5. Betekenis en Conclusie

Dit paper toont aan dat LLM's potentieel hebben om de administratieve last voor zorgverleners aanzienlijk te verminderen, waardoor ze meer tijd kunnen besteden aan patiëntenzorg.

• Praktische toepasbaarheid: De voorgestelde pipeline (segmentatie + RAG + extractie) biedt een werkende oplossing voor het probleem van lange flowsheets in EHR-systemen.
• Open vs. Gesloten: Hoewel gesloten modellen (GPT-4o) vaak robuuster zijn in parsing, tonen de resultaten aan dat goed getrainde open-weight modellen (zoals MediPhi) concurrerend zijn, wat belangrijk is voor transparantie en kostenbeheersing in de zorg.
• Toekomst: De beschikbaarheid van SYNUR en SIMORD zal verdere research stimuleren. Toekomstig werk moet zich richten op het uitbreiden van datasets voor fine-tuning en het oplossen van parsing-fouten via constrained decoding.

De studie benadrukt dat hoewel benchmarks zoals MedQA nuttig zijn, de echte uitdaging ligt in het omzetten van ongestructureerde spraak naar gestructureerde klinische data in complexe, real-world workflows.