Data Augmentation for Clinical Multilingual Information Extraction

Technische Samenvatting: Data-augmentatie voor Klinische Multilinguale Informatie-extractie

Probleemstelling
Klinische Natural Language Processing (NLP) is cruciaal voor gezondheidsinformatica-toepassingen zoals cohortidentificatie, farmacovigilantie en klinische besluitvormingsondersteuning. De inzet van robuuste modellen over verschillende instellingen en talen heen wordt echter ernstig beperkt door de schaarste aan geannoteerde klinische tekst. Hoewel Pre-trained Language Models (PLM's) de state-of-the-art hebben geavanceerd, vereisen ze taakspecifieke geannoteerde datasets voor fine-tuning, wat kostbaar en arbeidsintensief is om handmatig te creëren. Deze bottleneck is bijzonder acuut in meertalige contexten, waar hoogwaardige bronnen vaak alleen in het Engels beschikbaar zijn, waardoor andere talen met aanzienlijke prestatiekloven kampen. Bestaande strategieën voor data-augmentatie vertrouwen vaak op computationeel dure generatieve modellen of vereisen gecureerde synoniemenlexica, wat hun schaalbaarheid en aanpasbaarheid naar nieuwe talen en domeinen beperkt.

Methodologie
De auteurs stellen een lage kosten, computationeel efficiënte data-augmentatiestrategie voor die gebaseerd is op naburige woordvervanging met behulp van word embeddings. De methode maakt gebruik van getrainde Word2Vec (W2V) en FastText (FT) embeddings om semantisch vergelijkbare woorden te identificeren voor vervanging binnen entiteitsvermeldingen.

De aanpak verschilt licht voor de twee doeltaken:

• Named Entity Recognition (NER): Het algoritme werkt op zin-per-zin basis. Het identificeert entiteitsvermeldingen binnen een zin en selecteert willekeurig één woord uit elke vermelding (met uitzondering van structurele woorden) om te vervangen door de dichtstbijzijnde buur ($v_1$) op basis van cosinus-gelijkenis, mits de gelijkenissscore een vooraf gedefinieerde drempelwaarde ($\tau$) overschrijdt. Dit proces wordt $t$ keer herhaald (augmentatiefactor) om variaties te genereren. Om diversiteit te waarborgen, doorloopt het algoritme de woorden in een vermelding en, als alle woorden zijn vervangen voordat $t$ iteraties zijn voltooid, gaat het verder naar de volgende dichtstbijzijnde buur ($v_2$, etc.).
• Entity Linking (EL): Het algoritme groepeert entiteitsvermeldingen op basis van hun bijbehorende codes. Voor elke code probeert het elke vermelding $t$ keer te augmenteren. In tegenstelling tot NER, waarbij een woord wordt vervangen door een enkele dichtstbijzijnde buur, gebruikt de EL-augmentatie alle naburige woorden met een gelijkenissscore boven de drempelwaarde $\tau$ (tot de top vijf) om een bredere variëteit aan augmentaties per ronde te genereren.

De studie evalueerde deze methode over vijf talen (Spaans, Engels, Frans, Italiaans, Portugees) met behulp van drie meertalige benchmarks: SympTEMIST (symptoomherkenning en normalisatie), CANTEMIST (tumor morfologie), en MultiCardioNER (ziekte- en medicijnherkenning). De auteurs vergeleken de prestaties van PLM's die gefinetuned zijn op niet-geaugmenteerde data versus data geaugmenteerd met W2V en FT embeddings, gebruikmakend van verschillende gelijkenisdrempels ($0,75$ tot $0,90$).

Belangrijkste Bijdragen

1. Een Lichtgewicht Augmentatie-algoritme: Een eenvoudige, schaalbare methode voor meertalige klinische NER en EL die geen gecureerde synoniemenlexica of grote generatieve modellen vereist, wat het aanpasbaar maakt aan omgevingen met beperkte middelen.
2. Uitgebreide Meertalige Evaluatie: Een uitgebreide beoordeling over drie belangrijke klinische benchmarks verspreid over vijf talen, wat een breed beeld geeft van de effectiviteit van de methode in diverse linguïstische contexten.
3. Embedding Model Analyse: Een vergelijkende analyse van Word2Vec en FastText embeddings, die duidelijke sterktes onthult voor respectievelijk de NER- versus de EL-taken.

Resultaten

• NER Prestaties: De augmentatiestrategie verbeterde de NER-prestaties over het algemeen, met stijgingen in de F1-score variërend van 0,75 tot 5,54 procentpunt.
  • De meest significante verbetering werd waargenomen in de Italiaanse MultiDrug taak, waarbij de F1-score met 5,54 punten toenam.
  • Een nieuwe state-of-the-art resultaat werd bereikt voor Engelse medicijnherkenning in de MultiCardioNER benchmark, waarmee de vorige beste score met 0,22 punten werd overtroffen.
  • Word2Vec presteerde over het algemeen beter dan FastText voor NER. De auteurs schrijven dit toe aan het vermogen van W2V om meer diverse synoniemen te genereren (bijv. "nier" vervangen door "lever" in een functionele context) vergeleken met FastText, dat vaak morfologische variaties produceert (bijv. het veranderen van enkelvoud naar meervoud) die minder trainingsdiversiteit bieden.
• EL Prestaties: De winsten voor Entity Linking waren bescheidener maar over het algemeen positief in vier van de vijf talen, met verbeteringen in nauwkeurigheid tot 0,77 punten.
  • FastText presteerde beter dan WordVec voor EL. De auteurs suggereren dat terwijl de diverse substituties van W2V de NER ten goede komen, de subwoord-niveau modellering van FastText concept-specifieke betekenissen beter behoudt, wat cruciaal is voor nauwkeurige entity linking.
  • Lagere gelijkenisdrempels ($0,75, 0,80$) belemmerden de EL-prestaties consequent, terwijl hogere drempels ($0,85, 0,90$) marginale verbeteringen opleverden.

Significantie en Claims
Het artikel concludeert dat woord-embedding-gebaseerde naburige vervanging een eenvoudige en computationeel efficiënte benadering biedt om de trainingsdiversiteit voor meertalige klinische NLP te vergroten. De methode is bijzonder effectief voor het versterken van de NER-prestaties in omgevingen met weinig middelen, waar de schaarste aan gelabelde data een primaire bottleneck vormt.

Voor Entity Linking stellen de auteurs dat de methode bescheiden verbeteringen biedt, maar benadrukken zij de beperkingen ervan: de hoge semantische precisie die vereist is voor conceptnormalisatie betekent dat eenvoudige woordvervanging onnauwkeurigheden kan introduceren als de vervangen woorden niet exact naar hetzelfde klinische concept mappen. Bijgevolg suggereren de auteurs dat toekomstige augmentatiestrategieën voor EL de nadruk moeten leggen op conceptbehoud, mogelijk door middel van gecontroleerde vocabulaire of ontologie-geïnformeerde restricties.

In algemene zin ondersteunt het werk de ontwikkeling van meer schaalbare gezondheidsinformatica-pipelines door de extractie van informatie uit klinische documenten mogelijk te maken, zelfs wanneer gelabelde data beperkt zijn, zonder de zware computationele overhead van generatieve modellen.