Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs

Probleemstelling

Klinische aantekeningen bevatten waardevolle, maar ongestructureerde informatie die essentieel is voor zorgmanagement, onderzoek en kwaliteitsverbetering. Named Entity Recognition (NER) is een techniek om medische concepten automatisch te extraheren uit deze teksten. Hoewel er veel onderzoek is gedaan naar NER in het Engels, zijn er slechts weinig benchmarks beschikbaar voor het Portugese taalgebied.

Daarnaast staan klinische datasets vaak bekend om hun zeer onbalans van klassen (multilabel imbalance), waarbij sommige medische entiteiten veel vaker voorkomen dan andere. Dit maakt het trainen van effectieve modellen moeilijk. Bovendien is het onduidelijk hoe moderne BERT-modellen en Large Language Models (LLMs) presteren op zowel publieke als privé-klinische data in het Portugees, en welke strategieën het beste werken om deze onbalans op te lossen.

Methodologie

1. Datsets
De studie gebruikte twee datasets:

• SemClinBr: Een publieke, semantisch geannoteerde dataset met 1.000 klinische aantekeningen uit meer dan twaalf medische specialismen (in- en ambulante zorg). De annotatie omvatte 15 UMLS semantische groepen.
• Borstkanker-dataset: Een privé-dataset van 500 ambulante bezoeken aan een oncologisch zorgcentrum in Brazilië. Deze bevatte 10 specifieke entiteiten gerelateerd aan borstkanker (bijv. ER, PR, HER2, histologisch type, metastase). De annotatie werd uitgevoerd door een team van medische studenten onder supervisie van een arts, met consensus als einddoel.

2. Geëvalueerde Modellen
De auteurs vergeleken verschillende architecturen:

• BERT-varianten: BioBERTpt (gespecialiseerd in klinisch en biologisch Portugees), BERTimbau (algemeen Portugees), ModernBERT (geoptimaliseerde architectuur) en mmBERT (een nieuw multilinguaal model met verbeterde pre-training voor low-resource talen).
• LLMs: Verschillende versies van GPT-5 (nano, mini, standaard) en Gemini-2.5 (flash, pro), getest met een "few-shot" prompt-strategie. De LLM's werden alleen op de publieke dataset getest om privacy van de privé-data te waarborgen.

3. Training en Evaluatie

• Taak: Multilabel token-classificatie.
• Data-split: 60% train, 20% validatie, 20% test.
• Strategieën voor onbalans: Er werden drie methoden getest om de onbalans aan te pakken:
  1. Iteratieve stratificatie: Een algoritme dat de verdeling van zeldzame klassen behoudt bij het splitsen van de data.
  2. Gewogen loss (Weighted Loss): Het toewijgen van hogere straffen aan fouten bij zeldzame klassen.
  3. Oversampling: Het kopiëren van voorbeelden van zeldzame klassen.
• Metingen: Precision, Recall en F1-score (zowel micro- als macro-gemiddeld). De beste drempelwaarde voor waarschijnlijkheid werd gekozen om de F1-score te maximaliseren.

Belangrijkste Resultaten

1. Prestatie van Modellen

• mmBERT-base behaalde de beste resultaten op beide datasets, met een micro F1-score van 0,7646 op de SemClinBr-dataset. Dit stelt een nieuwe state-of-the-art voor Portugese klinische NER.
• BioBERTpt presteerde als tweede, gevolgd door ModernBERT.
• LLMs (zoals GPT-5 en Gemini) presteerden over het algemeen slechter dan de gespecialiseerde BERT-modellen, ondanks het gebruik van geavanceerde prompts. Hoewel het verhogen van het "redeneringsvermogen" (reasoning effort) bij GPT-5 een kleine prestatieverbetering gaf, was dit niet genoeg om de BERT-modellen te overtreffen en ging het gepaard met een aanzienlijke toename in kosten en inferentietijd.
• BERT-modellen waren sneller, konden lokaal draaien op standaard hardware (geen privacyrisico's) en waren kosteneffectiever.

2. Omgaan met Class Imbalance

• Iteratieve stratificatie bleek de meest effectieve strategie. Op de SemClinBr-dataset verbeterde dit de micro F1-score van mmBERT van 0,6904 (bij willekeurige splitsing) naar 0,7646.
• Op de borstkanker-dataset gaf de combinatie van iteratieve stratificatie en gewogen loss (met een minimale weging van 1,0 voor frequente klassen) de beste resultaten.
• Oversampling leverde minder consistente verbeteringen op dan de andere methoden.

3. Annotatieschema's
Er werd een verschil gevonden tussen het IO (Inside/Outside) en BIO (Begin/Inside/Outside) schema. Bij mmBERT en ModernBERT leidde het BIO-schema tot een grotere daling in de macro F1-score vergeleken met BioBERTpt, wat suggereert dat sommige architecturen minder goed schalen bij een verdubbeling van het aantal doelklassen.

Bijdragen en Significantie

1. Nieuwe State-of-the-Art: De studie vestigt een nieuwe benchmark voor klinische NER in het Portugees, waarbij mmBERT als superieur model wordt geïdentificeerd.
2. Validatie op Privé-data: Het bewijst dat modellen getraind op publieke data ook goed generaliseren naar privé-klinische data (borstkanker), wat cruciaal is voor de adoptie van technologie in de zorgsector.
3. Strategieën voor Onbalans: De studie biedt empirisch bewijs dat iteratieve stratificatie een kritieke stap is bij het voorbereiden van multilabel klinische datasets. Het toont ook aan dat het combineren van stratificatie met een gewogen loss-functie (met een vloerwaarde) de prestaties voor zowel zeldzame als frequente klassen kan optimaliseren.
4. Haalbaarheid: Het demonstreert dat hoogwaardige NER-systemen voor het Portugees kunnen worden ontwikkeld binnen zorginstellingen met beperkte middelen (lokaal draaiende modellen) en beperkte annotatie-inspanning (500 notities waren voldoende voor een goed werkend model).
5. Open Science: Alle broncode is openbaar gemaakt, wat reproduceerbaarheid en verdere onderzoeksmogelijkheden in de gemeenschap faciliteert.

Conclusie:
Voor klinische NER-taken in het Portugees blijken moderne, multilinguale encoder-only modellen (zoals mmBERT) superieur aan huidige LLM's, vooral gezien de kosten, snelheid en privacy. De succesvolle implementatie hangt sterk af van de juiste data-splitsingstechnieken om klassenonbalans aan te pakken. Toekomstig onderzoek moet zich richten op domeinspecifieke pre-training van deze modellen op Portugese biomedische corpora.