Toward Automatic Filling of Case Report Forms: A Case Study on Data from an Italian Emergency Department

Probleemstelling

Case Report Forms (CRF's) zijn fundamenteel voor klinisch onderzoek, omdat ze gestructureerde data over patiënten verzamelen. Traditioneel worden deze handmatig ingevuld op basis van ongestructureerde klinische notities (zoals artsenverslagen). Hoewel er recent vooruitgang is geboekt met Large Language Models (LLM's) voor het automatisch vullen van CRF's, staat de ontwikkeling van deze technologieën stil door een gebrek aan geannoteerde datasets. Bestaande methoden vertrouwen vaak op sleutelwoordmatching of synthetische data, wat de contextuele rijkdom van medische taal mist en niet voldoet aan de eisen van realistische klinische omgevingen. Er is een dringende behoefte aan datasets die direct uit ziekenhuisomgevingen komen om LLM's te trainen en te evalueren.

Methodologie

1. Dataset Constructie en Analyse
De auteurs hebben een nieuwe dataset ontwikkeld bestaande uit 290 klinische notities afkomstig van de Spoedeisende Hulp (SEH) van het San Giovanni Bosco Hospital in Turijn, Italië (verzameld tussen 2021 en 2023).

• Bronnen: De notities omvatten zeven categorieën, waaronder anamnese, triage, verpleegkundige notities, specialistische consulten, medische verslagen, diagnostische rapporten en ontslagbrieven.
• Anonymisatie: Alle persoonsgegevens zijn strikt verwijderd door een derde partij. Hierdoor kunnen notities van dezelfde patiënt over verschillende categorieën heen niet aan elkaar worden gekoppeld (geen longitudinale reconstructie), wat de privacy garandeert maar de dataset beperkt tot individuele notities.
• CRF Schema: De notities zijn geannoteerd volgens een vooraf gedefinieerd CRF-schema met 134 items, verdeeld over zeven groepen (bijv. anamnese, klinisch onderzoek, laboratoriumresultaten, behandeling, einddiagnose).
• Waarden: De items hebben gesloten sets van toegestane waarden (binair, ordinaal, of gemeten/onnbekend). Het label "unknown" is altijd een geldig antwoord als de informatie niet in de notitie staat.
• Datakwaliteit: De dataset toont de realiteit van klinische documentatie: grote onbalans (veel "unknown"-waarden), variabele lengte van notities (gemiddeld 131 woorden), en een ongelijke verdeling van annotaties (bijv. veel data over anamnese, weinig over laboratoriumresultaten).

2. Taaldefinitie
De taak is gedefinieerd als het automatisch invullen van de 134 CRF-items voor elke notitie.

• Input: Een klinische notitie in het Italiaans.
• Output: Een waarde uit een vooraf gedefinieerde lijst in het Engels.
• Challenge: Dit vereist cross-linguaal begrip. Als een item niet uit de notitie kan worden afgeleid, moet het model "unknown" teruggeven.

3. Experimenteel Opzet

• Model: Een pilot-experiment uitgevoerd met LLaMA-3-8B Instruct (een open-source LLM).
• Setting: Zero-shot prompting. Er werd geen fine-tuning toegepast.
• Prompt-strategie: Elke CRF-item werd onafhankelijk bevraagd in een prompt die bestond uit: (i) systeemrol, (ii) introductie van de item-groep, (iii) specifieke instructie met toegestane waarden, en (iv) de volledige Italiaanse notitie.
• Evaluatiemetrics:
  • Micro-F1: Meet de algehele nauwkeurigheid over alle items (gevoelig voor de dominante "unknown"-klasse).
  • Macro-F1: Meet de gemiddelde prestatie per waarde, wat een eerlijker beeld geeft van het herkennen van zeldzame, maar klinisch belangrijke waarden.

Belangrijkste Resultaten

De resultaten van de pilot-experimenten worden vergeleken met een "most-frequent-value" baseline (die altijd "unknown" voorspelt).

• Micro-F1: De baseline scoort extreem hoog (0.963) omdat de meeste waarden inderdaad "unknown" zijn. Het LLM scoort iets lager (0.920), wat logisch is omdat het model probeert ook zeldzame waarden te voorspellen.
• Macro-F1: Het LLM presteert aanzienlijk beter dan de baseline (0.548 vs 0.353). Dit toont aan dat het model succesvol is in het herkennen van informatieve, niet-triviale waarden die de baseline mist.
• Foutanalyse:
  • 90,42% van de voorspellingen is correct wanneer de ground truth "unknown" is.
  • Slechts 1,57% van de niet-"unknown" waarden wordt correct herkend.
  • Het model vertoont een voorzichtige bias: het neigt naar "unknown" als het niet zeker is, wat klinisch veilig is maar de recall voor specifieke waarden verlaagt.
• Schema-conformiteit: Het model hield zich strikt aan de vooraf gedefinieerde sets van toegestane waarden en produceerde geen ongeldige output.

Bijdragen

1. Nieuwe Dataset: De publicatie van de eerste openbare dataset specifiek voor CRF-vulling, afkomstig uit een echte Italiaanse ziekenhuisomgeving (290 geanonymiseerde notities + 134-item schema).
2. Taakdefinitie en Evaluatie: Een duidelijke definitie van de CRF-vullingstaak in een cross-linguale setting (Italiaans naar Engels) en een evaluatiemethode die rekening houdt met de extreme onbalans in de data (Micro- vs. Macro-F1).
3. Feasibility-studie: Een pilot-studie die aantoont dat state-of-the-art LLM's in een zero-shot setting al bruikbaar zijn voor deze taak, hoewel ze nog niet klinisch perfect zijn.

Significantie en Conclusie

Dit werk markeert een belangrijke stap in de automatisering van klinisch onderzoek. De beschikbaarheid van deze dataset vult een kritieke lacune in de literatuur en biedt een realistische benchmark voor toekomstig onderzoek.

De resultaten tonen aan dat:

• CRF-vulling vanuit Italiaanse klinische notities haalbaar is in een zero-shot setting.
• LLM's een groot potentieel hebben om structurele data uit ongestructureerde tekst te halen, maar dat ze nog gevoelig zijn voor bias (vooral de neiging om "unknown" te kiezen).
• Verdere ontwikkeling nodig is, zoals het fine-tunen van modellen of het gebruik van geavanceerde prompting-strategieën, om de prestaties op zeldzame maar klinisch cruciale waarden te verbeteren en de kwaliteit te verhogen tot een niveau dat voldoet aan klinische eisen.

De dataset is beschikbaar gesteld onder een Creative Commons-licentie om reproduceerbaar onderzoek en snellere vooruitgang in de automatisering van klinische narratieven te stimuleren.