An Experimental Study on Data Augmentation Techniques for Named Entity Recognition on Low-Resource Domains

Probleemstelling

Named Entity Recognition (NER) is een cruciale taak in de informatiewinning die zich richt op het identificeren en categoriseren van entiteiten in tekst. Hoewel er veel datasets beschikbaar zijn voor algemene domeinen (zoals nieuws en sociale media), kampen gespecialiseerde domeinen zoals medische, juridische en financiële sectoren met een tekort aan gelabelde data. Deze worden "low-resource domains" genoemd en bevatten vaak "long-tail entiteiten" (zeldzame of specifieke entiteiten).

Het ontbreken van voldoende trainingsdata beperkt de prestaties van NER-modellen. Traditionele methoden vereisen veel handmatige annotatie, wat kostbaar en tijdrovend is. Hoewel Data Augmentation (het genereren van extra trainingsdata) een veelbelovende oplossing is, is er onvoldoende onderzoek gedaan naar:

1. De impact van de hoeveelheid gegenereerde voorbeelden op de modelkwaliteit.
2. Of er een universeel optimaal aantal augmentaties bestaat.
3. Hoe verschillende augmentatietechnieken presteren in combinatie met verschillende NER-architecturen in low-resource scenario's.

Methodologie

De auteurs hebben een uitgebreid experiment opgezet om twee prominente augmentatietechnieken te evalueren op twee veelgebruikte NER-architecturen.

1. Gebruikte Datasets:
Er werden vier datasets uit verschillende low-resource domeinen gebruikt:

• i2b2-2010: Biomedisch domein (Engels).
• MaSciP: Materiaalwetenschap (Engels).
• BioCreative V CDR: Biomedisch domein (Engels).
• JusBrasil: Juridisch domein (Portugees).

Voor elke dataset werden verschillende trainings subsets geselecteerd om low-resource scenario's te simuleren: vaste aantallen (50, 150, 500 zinnen) en percentages van de volledige dataset (25%, 50%, 75%).

2. Augmentatietechnieken:
Twee specifieke technieken werden toegepast:

• Mention Replacement (MR): Vervangt bestaande entiteiten (mentions) in de tekst door andere entiteiten met hetzelfde label uit de trainingsset. Dit wordt toegepast op tokens die gelabeld zijn als entiteiten (niet "O").
• Contextual Word Replacement (CWR): Gebruikt een BERT-model om contextueel geschikte woorden te vervangen, maar alleen voor tokens die niet tot een entiteit behoren (gelabeld als "O"). Dit veronderstelt dat BERT minder gespecialiseerd is in de specifieke domeinterminologie en dus veiligere vervangingen kan doen voor niet-entiteit woorden.

3. NER Architecturen:

• Bi-LSTM+CRF: Een klassieke deep learning-architectuur met een Conditional Random Field laag voor sequentielabeling.
• BERT: Een transformer-architectuur (specifiek SciBERT voor wetenschappelijke teksten en multilingual BERT voor andere).

4. Experimenteel Ontwerp:

• De hoeveelheid augmentatie werd gevarieerd van 0% tot 500% (d.w.z. tot 5x de oorspronkelijke datasetgrootte).
• Er werden in totaal 784 groepen van modellen getraind (combinatie van datasets, subsets, architecturen, technieken en augmentatiehoeveelheden).
• Elke groep bestond uit 10 modellen die vanaf nul werden getraind om variantie te meten.
• De prestaties werden gemeten aan de hand van de gemiddelde F1-score op de testset.

Belangrijkste Bijdragen

1. Systematische evaluatie van augmentatiehoeveelheid: Het onderzoek is uniek in het systematisch testen van verschillende hoeveelheden augmentatie (van 0% tot 500%) om te bepalen of er een verzadigingspunt is.
2. Publicatie van nieuwe data en code: De auteurs hebben een dataset uit het juridische domein (JusBrasil) geanalyseerd die eerder niet in deze context was bestudeerd, en hebben alle datasets en code openbaar gemaakt.
3. Praktische richtlijnen: Het biedt empirisch bewijs voor NER-praktici over wanneer en hoeveel ze moeten augmenteren, in plaats van te vertrouwen op een "one-size-fits-all" aanpak.

Resultaten

De resultaten tonen een complex beeld van de effectiviteit van data augmentatie:

• Prestatieverschil per Datasetgrootte:

  • Kleine subsets (< 500 zinnen): Data augmentatie leidt vaak tot significante verbeteringen in de F1-score. Voor zeer kleine datasets is augmentatie essentieel.
  • Grote subsets: Voor grotere datasets (bijv. volledige datasets of subsets > 500 zinnen) leidt augmentatie vaak tot geen verbetering of zelfs tot een verslechtering van de prestaties. Dit suggereert dat de toegevoegde "ruis" (ongeldige voorbeelden) de kwaliteit van de trainingsdata ondermijnt bij voldoende grote datasets.

• Vergelijking van Technieken:

  • CWR vs. MR: Contextual Word Replacement (CWR) presteerde over het algemeen beter dan Mention Replacement (MR). CWR leverde meer statistisch significante verbeteringen op (7 vs. 4 gevallen in de samenvatting).
  • Reden: CWR introduceert meer variatie en heeft meer mogelijke vervangingen (alle "O"-tokens) dan MR, maar brengt ook meer risico op ruis met zich mee.

• Vergelijking van Architecturen:

  • BERT vs. Bi-LSTM+CRF: BERT-modellen profiteerden over het algemeen meer van data augmentatie dan Bi-LSTM+CRF-modellen (9 significante verbeteringen voor BERT vs. 2 voor Bi-LSTM+CRF).
  • Uitzondering: Bij het JusBrasil-dataset (Portugees) presteerden de kleinere subsets van Bi-LSTM+CRF slechter met augmentatie, waarschijnlijk vanwege de beperkte pre-training van multilingual BERT op Braziliaans Portugees.

• Geen Universeel Optimum:

  • Er is geen vastgesteld optimaal percentage augmentatie dat voor alle gevallen werkt. Het optimale aantal hangt af van de dataset, het domein en de architectuur.
  • Er is een verzadigingspunt: Na een bepaald punt leidt meer augmentatie tot afnemende meerwaarde of schade aan het model.

Betekenis en Conclusie

De studie concludeert dat data augmentatie een krachtig hulpmiddel is voor NER in low-resource domeinen, maar dat het niet blindelings moet worden toegepast.

• Aanbeveling voor Praktici: NER-ontwikkelaars moeten experimenteren met verschillende hoeveelheden augmentatie voor hun specifieke project. Er is geen vooraf bepaald "beste" aantal.
• Risico op Ruis: De toevoeging van te veel augmentatie kan leiden tot overfitting op ongeldige voorbeelden, vooral in grotere datasets.
• Toekomstig Onderzoek: Er is behoefte aan geavanceerdere augmentatietechnieken die semantische consistentie beter bewaken en strategieën die rekening houden met de zeldzaamheid van specifieke entiteitstypen.

Kortom, terwijl augmentatie de prestaties van low-resource NER-modellen (vooral BERT) kan verbeteren, vereist het een zorgvuldige afweging tussen diversiteit en validiteit om de modelkwaliteit niet te schaden.