Technische Samenvatting: EDEN – Een grootschalige corpus van klinische aantekeningen voor het Italiaans

Probleemstelling

Klinische aantekeningen bevatten een schat aan patiëntinformatie, maar blijven grotendeels ontoegankelijk voor onderzoek vanwege regelgevende barrières (bijv. AVG/GDPR), technische uitdagingen (ongestructureerde, heterogene natuurlijke taal) en datafragmentatie over geïsoleerde systemen. Deze schaarste is bijzonder acuut voor talen andere dan het Engels, zoals het Italiaans. Hoewel wetenschappelijke literatuur (bijv. PubMed) beschikbaar is, kan deze de plaats van real-world klinische data niet innemen voor toepassingen zoals de automatische samenstelling van digitale gezondheidsdossiers. Bovendien heeft onderzoek in de spoedeisende hulp (SEH) historisch gezien achtergestaan bij andere specialismen vanwege de gefragmenteerde, tijdsdruk-gevoelige aard van SEH-praktijken, wat traditionele handmatige gegevensverzameling onhaalbaar maakt. Er is een kritieke behoefte aan grootschalige, geanonimiseerde, real-world klinische datasets in het Italiaans om de ontwikkeling en evaluatie van Large Language Models (LLM's) voor medische toepassingen te ondersteunen.

Methodologie

Datacollectie en Anonimisering

De EDEN (Emergency Department Electronic Notes) corpus werd verzameld onder de NLP-DeVal studie, onderdeel van het door Horizon Europe gefinancierde eCREAM-project. De gegevens werden afkomstig van de spoedeisende hulpafdelingen van twee Italiaanse ziekenhuizen: San Giovanni Bosco (Turijn) en Sant'Andrea (Vercelli), over de periode 2021–2023.

• Protocol: De studie ontving goedkeuring van de ethische commissies van de ziekenhuizen en hield zich aan strikte regels voor gegevensbescherming.
• Anonimisering: Een proces van twee fasen werd toegepast:
  1. Verwijdering van alle directe verwijzingen naar patiënten en klinische context (namen, datums, diagnoses, ontslagstatus).
  2. Toepassing van gecertificeerde anonimiseringssoftware (AnonymAI) om resterende verwijzingen naar derden (bijv. contactgegevens van familieleden) te elimineren.
• Omvang: De resulterende corpus bestaat uit ongeveer 4,2 miljoen klinische aantekeningen (221 miljoen woorden) verdeeld over 10 veelvoorkomende categorieën (bijv. Anamnese, Triage, Ontslag, LIS, RIS) en ziekenhuisspecifieke categorieën.

Annotatieschema (CRF Filling)

Om een gestructureerde benchmark te creëren, werd een subset van 5.746 aantekeningen uit de San Giovanni Bosco (SGB) dataset handmatig geannoteerd door getrainde clinici.

• Taak: De annotatie volgt een "CRF Filling"-paradigma, waarbij clinici informatie extraheren uit vrije tekstnotities om een virtueel Case Report Form (vCRF) in te vullen.
• Structuur: Het vCRF bevat 132 items georganiseerd in klinische domeinen (bijv. Lichamelijk Onderzoek, Anamnese, Laboratoriumresultaten).
• Waardetypes: Items ondersteunen vier typen waarden:
  1. Binair (J/N): bijv. Toediening van diuretica.
  2. Categorisch: bijv. Cardiovasculair falen (acuut/chronisch).
  3. Numeriek: bijv. pH-waarden.
  4. Gemengd (Getal-of-Categorie): bijv. Hartslag (numerieke waarde of categorieën zoals bradycard of tachycard).
• Omgaan met ontbrekende gegevens: Als er onvoldoende bewijs is, worden items gemarkeerd als "onbekend".
• Proces: Annotatie werd uitgevoerd met Label Studio, voorafgegaan door een kalibratiefase om ambiguïteiten op te lossen. De dataset is sterk ongebalanceerd; hoewel sommige aantekeningen dicht geannoteerd zijn, bevat ongeveer 30% geen ingevulde items, en de meerderheid van de 132 velden per aantekening is doorgaans "onbekend".

Experimentele Opzet

De auteurs evalueerden de haalbaarheid van het gebruik van LLM's voor deze gestructureerde extractietaken in een zero-shot setting.

• Modellen: Twee modellen werden getest: Gemma-27B (algemeen doel) en MedGemma-27B (biomedisch aangepaste variant).
• Prompting Strategieën: Drie configuraties werden geëvalueerd om efficiëntie en controle in balans te brengen:
  1. Item: Eén prompt per item (132 calls per aantekening).
  2. Group: Eén prompt per klinische groep (7 calls per aantekening).
  3. Full: Alle 132 items in één enkele prompt (1 call per aantekening).
• Metrieken: Macro-F1 werd gekozen als de primaire metriek om de extreme klasse-onbalans (waarbij "onbekend" domineert) aan te pakken, naast Micro-F1, Weighted-F1 en Accuracy.
• Baselines: Willekeurige voorspelling en "Meest Veelvoorkomend" (altijd "onbekend" voorspellen).

Belangrijkste Bijdragen

1. EDEN Corpus: De grootste vrij beschikbare corpus van Italiaanse klinische aantekeningen, met ~4 miljoen geanonimiseerde aantekeningen uit echte SEH-omgevingen.
2. Geannoteerde Subset: Een handmatig gecureerde subset van 5.746 aantekeningen met 15.528 annotaties over 132 gestructureerde CRF-items, die diverse waardetypes en klinische domeinen beslaat.
3. CRF Filling Benchmark: De introductie van een gestructureerde informatie-extractietaak specifiek ontworpen voor klinische aantekeningen, wat verder gaat dan standaard Named Entity Recognition (NER) naar complexe waarde-extractie.
4. Zero-Shot Baselines: De eerste evaluatie van 27B-parameter LLM's op Italiaanse klinische CRF-filling, die aantoont dat biomedische domein-adaptatie (MedGemma) significante verbeteringen oplevert ten opzichte van algemene modellen.

Resultaten

• Baseline Prestaties: De "Meest Veelvoorkomend" baseline (het voorspellen van "onbekend" voor alle items) behaalde een hoge Micro-F1 (0,978) en Accuracy (0,978) vanwege de klasse-onbalans, maar een lage Macro-F1 (0,404), wat de moeilijkheid benadrukt van het extraheren van informatieve, niet-standaard waarden.
• Model Prestaties:
  • MedGemma-27B presteerde consequent beter dan Gemma-27B in de Item en Group configuraties, en behaalde een Macro-F1 van 0,702 in de Group-configuratie. Dit bevestigt de waarde van biomedische domein-pretraining voor Italiaanse klinische taken.
  • De Full prompting configuratie vertoonde een lichte daling in prestaties of een omkering voor MedGemma, wat suggereert dat het genereren van 132 voorspellingen in één enkel antwoord het vermogen van het model om instructies op te volgen overbelast.
• Efficiëntie: De Group configuratie bleek de optimale afweging te zijn, waarbij de inferentietijd met ongeveer 10x werd verminderd vergeleken met de Item configuratie, terwijl de hoogste Macro-F1 scores werden behouden.

Betekenis en Claims

Het artikel positioneert EDEN als een cruciale bron om het gat in de Italiaanse klinische data te dichten, wat onderzoek mogelijk maakt naar LLM's voor medische toepassingen met een hoge inzet. De auteurs beweren dat:

• EDEN de grootste vrij beschikbare corpus van Italiaanse klinische aantekeningen is.
• De dataset uniek is door zijn gestructureerde output-diversiteit (binair, categorisch, numeriek, gemengd) over meerdere klinische domeinen.
• Large Language Models in staat zijn om betekenisvolle klinische informatie te extraheren uit Italiaanse aantekeningen zonder taakspecifieke supervisie (zero-shot), met name wanneer biomedisch-aangepaste modellen en gegroepeerde prompting strategieën worden gebruikt.
• De bron beoogt onderzoek te katalyseren in Italiaanse klinische NLP, gestructureerde informatie-extractie en de betrouwbare evaluatie van LLM's in spoedeisende zorgsettings.

De auteurs blijven bescheiden over de huidige staat van de technologie en merken op dat de zero-shot resultaten, hoewel veelbelovend, ruimte laten voor verbetering via few-shot en fine-tuning benaderingen, die gepland zijn voor toekomstig werk. Ze erkennen ook de structurele knelpunten in ethische goedkeuring en datatransfer die het verzamelproces hebben gehinderd, en wijzen op de noodzaak voor gestandaardiseerde regelgevende kaders voor retrospectieve NLP-studies.