Corpus for Benchmarking Clinical Speech De-identification

Dit paper introduceert de SREDH-AICup-corpus, een tijdsgealigneerde dataset van 20 uur met klinische spraak in het Engels en Mandarijn, die is geannoteerd met 38 categorieën van gevoelige gezondheidsinformatie om de ontwikkeling en benchmarking van systemen voor de-identificatie van medische spraak te ondersteunen.

De kern

🏥 Het Grote Geheim van de Medische Spraak

Stel je voor dat artsen en verpleegkundigen constant praten over patiënten. In die gesprekken zitten heel veel gevoelige gegevens: namen, geboortedata, telefoonnummers en medische ID's. Als deze gesprekken worden opgenomen (bijvoorbeeld voor een app of een AI), moet je die gevoelige stukjes er direct uit kunnen halen en vervangen door sterretjes (***), zodat niemand de identiteit van de patiënt kan achterhalen. Dit heet de-identificatie.

Het probleem? Tot nu toe bestonden er wel grote verzamelingen van geschreven medische dossiers die al "gezuiverd" waren, maar er waren bijna geen opnames van gesprekken die ook zo'n zuivering hadden. Het was alsof je een receptenboek had met alle ingrediënten, maar geen enkele video van iemand die daadwerkelijk kookt.

🎤 De Oplossing: De SREDH-AICup Schatkaart

De onderzoekers in dit artikel hebben een nieuwe schatkaart gemaakt: de SREDH-AICup corpus. Ze hebben een verzameling van 20 uur aan medische spraakopnames gecreëerd, waarbij elk gevoelig woordje exact is gemarkeerd met een tijdstempel (tot op de milliseconde).

Je kunt dit zien als een gigantische, geanimeerde zoek-en-vernietig game:

• De Spelers: 25 mensen (9 mannen, 16 vrouwen) hebben scripts voorgelezen.
• De Scripts: Ze hebben bestaande medische dossiers omgezet naar spreektaal én fragmenten uit Taiwanese ziekenhuis-drama's gebruikt.
• De Markering: Vier experts hebben naar de opnames geluisterd en met een digitaal potlood precies aangegeven: "Hier begint de naam van de patiënt, hier eindigt hij."

🛠️ Hoe hebben ze dit gemaakt? (De Keuken)

Het proces leek op het samenstellen van een complexe maaltijd uit verschillende ingrediënten:

1. De Basis (OpenDeID): Ze namen bestaande medische teksten (zoals een receptenboek) die al veilig waren gemaakt. Maar omdat dit alleen tekst was, moesten ze deze "vertalen" naar gesproken taal. Ze lieten mensen deze teksten voorlezen alsof ze echt aan het praten waren.
2. De Variatie (DAMT): Ze gebruikten bestaande opnames van psychologische gesprekken, maar zonder de gevoelige labels. Die moesten ze dus zelf gaan "labelen".
3. De Kleur (PTS): Ze namen fragmenten uit medische drama's op het Taiwanese tv-kanaal. Dit zorgde voor een mix van Engels en Mandarijn, en maakte het geluid natuurlijker (minder als een robot, meer als een echte arts).

Vervolgens hebben ze alles samengevoegd in één groot systeem dat de tekst perfect synchroniseert met het geluid. Het is alsof je een film hebt waarbij je op elk woord kunt klikken om te zien wat er precies gezegd wordt.

📊 Wat hebben ze gevonden? (De Resultaten)

• De Grootte: Ze hebben 20 uur aan audio gemaakt, verdeeld in drie bakken: een bak om te leren (training), een bak om te oefenen (validatie) en een bak om te testen.
• De Talen: Het merendeel is Engels (ongeveer 19 uur), maar er zit ook een klein beetje Mandarijn in (ongeveer 1 uur). Dit is belangrijk, omdat er heel weinig medische spraakdata in het Chinees beschikbaar is.
• De Gevoelige Gegevens: Ze hebben in totaal bijna 8.000 gevoelige stukjes gevonden en gemarkeerd.
  • Interessant detail: Net als in het echte leven komen sommige dingen heel vaak voor (zoals "datum" of "naam van de arts"), terwijl andere heel zeldzaam zijn (zoals een specifiek telefoonnummer). Dit noemen ze een "lange staart": veel kleine dingen, maar een paar grote blokken.

🚀 Waarom is dit belangrijk?

Vroeger konden computers alleen maar kijken naar wat er geschreven stond om privacy te beschermen. Met deze nieuwe dataset kunnen ze nu leren om naar geluid te luisteren en direct te weten: "Oh, hier wordt de naam van de patiënt genoemd, die moet ik nu alvast vervangen!"

Dit is cruciaal voor:

• Live-bescherming: Denk aan een app die een arts helpt tijdens een consult en direct de namen van de patiënt verbergt terwijl de arts spreekt.
• Meertaligheid: Het helpt om ook in andere talen (zoals Chinees) privacy te waarborgen, iets wat nu nog erg moeilijk is.

🏁 Conclusie

Kortom: De onderzoekers hebben een nieuwe, super-nauwkeurige "trainingsveld" gebouwd voor computers. Hier kunnen AI-systemen leren hoe ze gevoelige medische gesprekken veilig moeten maken, zonder de patiënt te schaden. Het is een grote stap van "tekst lezen" naar "spraak begrijpen" in de wereld van medische privacy.

Technische samenvatting

Probleemstelling

Er is een aanzienlijk tekort aan publiek beschikbare datasets die specifiek zijn gericht op het de-identificeren van klinische spraak. Hoewel er uitgebreide tekstuele datasets bestaan voor medische NLP-taken (zoals i2b2, MIMIC-III en OpenDeID v2), ontbreken er bronnen met tijd-gealigneerde annotaties van gevoelige gezondheidsinformatie (SHI - Sensitive Health Information) op audio-niveau.
Bestaande spraakdatasets (zoals LibriSpeech of AISHELL) zijn voornamelijk ontworpen voor automatische spraakherkenning (ASR) en bevatten geen klinisch relevante, fijnmazige entiteitsannotaties. Dit beperkt de ontwikkeling van systemen die niet alleen spraak naar tekst transcriberen, maar ook real-time gevoelige gegevens (zoals namen, data, medische ID's) kunnen detecteren en maskeren in spraakstromen.

Methodologie

De auteurs hebben de SREDH-AICup SHI spraakcorpus ontwikkeld door drie verschillende bronnen te integreren en te standaardiseren:

1. Data Bronnen:

   • OpenDeID v2: Een tekstuele corpus met elektronische medische dossiers (EMR's) die al geanonimiseerd en geannoteerd waren volgens de HSA-richtlijnen. Omdat dit geen audio bevatte, werden deze teksten herschreven naar scripts voor opname.
   • DAMT (Dataset for Automated Medical Transcription): Bestaande opnames van psychiatrische dialogen met scripts, maar zonder SHI-annotaties.
   • PTS (Taiwan Public Television Services): Medisch gerelateerde dialogen uit Taiwanese televisiedrama's, geselecteerd en getranscribeerd om de linguïstische diversiteit (Mandarijn en Engels) te vergroten.

2. Data Generatie en Voorbereiding:

   • Scripting: 300 EMR-rapporten uit OpenDeID v2 werden door twee specialisten herschreven naar natuurlijke spreekscripts (100-200 woorden), waarbij de originele SHI-annotaties (nu vervangen door surrogaatwaarden) behouden bleven.
   • Opname: 25 deelnemers (9 man, 16 vrouw) namen deze scripts op in een rustige omgeving met smartphones. De opnames varieerden in lengte (1,0 tot 1,8 minuut).
   • Preprocessing: De audio werd verwerkt met Montreal Forced Aligner (MFA) voor tekst-audio synchronisatie en Voice Activity Detection (VAD) om clips onder de 30 seconden te creëren.

3. Annotatie:

   • Schema: Het corpus gebruikt het Health Science Alliance (HSA) schema, uitgebreid naar 38 subcategorieën binnen 8 hoofdcategorieën (bijv. Naam, Locatie, Datum, Contact, ID's).
   • Proces: Vier getrainde annotatoren markeerden SHI-entiteiten op milliseconden-niveau met behulp van Label Studio. Ze gebruikten zowel de getranscribeerde tekst als de golfvormvisualisatie om de exacte start- en eindtijdstippen te bepalen.
   • Kwaliteitsborging: Er werden iteratieve kalibratierondes uitgevoerd. Na 12 rondes werd een Fleiss' Kappa van 0,907 bereikt (boven de drempel van 0,8), wat een hoge onderlinge overeenstemming aangeeft. Een tolerantievenster van ±200ms werd toegepast voor tijdsranden.

Belangrijkste Resultaten

Het resulterende corpus omvat 20 uur geannoteerde audio, verdeeld in trainings-, validatie- en testsets:

• Verdeling: 10 uur training (1.539 bestanden), 5 uur validatie (775 bestanden), 5 uur test (710 bestanden).
• Totaal aantal entiteiten: 7.830 SHI-entiteiten.
• Taalverdeling: 19,36 uur Engels en 0,89 uur Mandarijn Chinees.
• Bronverdeling: 59% afkomstig van DAMT, 36% van herschreven OpenDeID v2, en 5% van PTS-drama's.
• Kwaliteit: Alle subsets hebben een signaal-ruisverhouding (SNR) van gemiddeld meer dan 28 dB, wat voldoende duidelijkheid garandeert voor downstream-verwerking.
• Distributie: De dataset vertoont een lange-staartverdeling (long-tail), waarbij sommige entiteiten (zoals datum en arts) veelvuldig voorkomen, terwijl andere (zoals contactgegevens of specifieke ID's) zeldzaam zijn. Dit weerspiegelt de realiteit van klinische documentatie.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste Tijd-gealigneerde Benchmark: Het is het eerste publiek beschikbare corpus dat milliseconden-precieze, tijd-gealigneerde annotaties biedt voor klinische spraakde-identificatie, in plaats van alleen tekstuele annotaties.
2. Multilinguale Ondersteuning: Het introduceert zeldzame, maar waardevolle Mandarijn Chinese klinische spraakdata, wat een gat vult in de huidige literatuur die sterk Engels-gedomineerd is.
3. Reproduceerbaarheid: Door gestandaardiseerde protocollen, openbare scripts en gedetailleerde annotatiegidsen (38 categorieën) faciliteert het de reproduceerbare benchmarking van spraakgebaseerde privacybeschermingsmodellen.
4. Toekomstige Toepassingen: De dataset maakt onderzoek mogelijk naar real-time of streaming de-identificatiesystemen, wat cruciaal is voor de implementatie van privacybescherming in live klinische gesprekken (bijv. telemedicine).

Conclusie:
De SREDH-AICup SHI spraakcorpus biedt een klinisch onderbouwde, grondig geannoteerde dataset die de basis legt voor de ontwikkeling van geavanceerde, automatische systemen voor het beschermen van patiëntprivacy in spraakdata. Het adresseert direct de beperkingen van bestaande ASR-datasets en stelt onderzoekers in staat om modellen te trainen die specifiek zijn voor de complexe eisen van de gezondheidszorg.