Learning Nested Named Entity Recognition from Flat Annotations

Probleemstelling

Named Entity Recognition (NER) is een fundamentele taak in informatiewinning. Traditionele systemen gaan uit van niet-overlappende entiteiten. In realistische teksten komen echter vaak geneste (nested) entiteiten voor, waarbij één entiteit binnen een andere is opgenomen (bijv. "Verenigd Koninkrijk" binnen "Ministerie van Buitenlandse Zaken van het Verenigd Koninkrijk").

Het identificeren van deze geneste structuren vereist echter dure, multi-niveau annotatie. Hoewel er overvloedige flat NER-corpora bestaan (waarbij alleen de buitenste entiteiten zijn gemarkeerd), zijn resources voor geneste NER schaars. De auteurs onderzoeken of modellen geneste structuren kunnen leren uitsluitend op basis van deze goedkope, vlakke annotaties, zonder extra menselijke inspanning voor geneste labels.

Methodologie

De auteurs evalueren vier benaderingen om geneste structuren te herwinnen uit vlakke annotaties, getest op het NEREL-dataset (een Russisch benchmark met 29 entiteitstypes, waarvan 21% genest is).

1. String Inclusions (Insluitingen):

   • Concept: Het identificeren van geneste entiteiten door te zoeken naar substring-overeenkomsten in het corpus. Als een vlakke entiteit (bijv. "Ministerie van Buitenlandse Zaken") een andere bekende entiteit bevat (bijv. "Rusland"), wordt deze insluiting toegevoegd als een positief voorbeeld voor een geneste entiteit.
   • Aanpassing: Voor het Russisch (een rijk morfologisch taalgebruik) wordt ook lemmatisatie toegepast om variaties in naamvallen te overbruggen.

2. Entity Corruption (Entiteitscorruptie):

   • Concept: Het creëren van "pseudo-geneste" trainingsdata door tokens binnen lange entiteiten te vervangen door ruis (bijv. willekeurige letters of cijfers).
   • Doel: Het model leren dat de resterende delen van een beschadigde entiteit nog steeds geldige entiteiten kunnen zijn.
   • Strategieën: Er wordt getest met verschillende vervangingssymbolen (cijfers, letters, leestekens) en posities (begin, einde, midden). De auteurs vinden dat corruptie aan het einde van de entiteit het beste werkt, omdat het hoofdwoord (vaak aan het begin in het Russisch) behouden blijft.

3. Flat Neutralization (Vlakke Neutralisatie):

   • Concept: Tijdens het trainen op vlakke data worden sub-reeksen binnen een gemarkeerde entiteit normaal gesproken behandeld als negatieve voorbeelden (geen entiteit). De auteurs introduceren een derde categorie: neutrale spans.
   • Implementatie: Spans die overeenkomen met bekende entiteitsvormen (via de "Inclusions"-methode) worden gemarkeerd als neutraal en worden uitgesloten van de verliesfunctie. Dit voorkomt dat het model leert dat geldige geneste entiteiten "fout" zijn.

4. Hybride Fine-tuned + LLM-pijplijn:

   • Concept: Een tweestapsproces. Eerst detecteert een fijn-afgestemd (fine-tuned) model de buitenste entiteiten. Vervolgens gebruikt een Large Language Model (LLM) de tekst van deze buitenste entiteiten om binnenin geneste entiteiten te identificeren.
   • Doel: De sterktes combineren: boundary-detectie van het traditionele model en redeneervermogen van de LLM.

Belangrijkste Resultaten

De experimenten werden uitgevoerd met het Binder-model (gebaseerd op RuRoBERTa-large) en vergeleken met een volledig genest gesuperviseerde bovenlimiet.

• Prestatie van Vlakke Training: Trainen alleen op vlakke data resulteert in een zeer lage F1-score voor geneste entiteiten (3,84%), wat aantoont dat modellen zonder expliciete signalen geen geneste structuren leren.
• Impact van Insluitingen: Het toevoegen van string-insluitingen verhoogt de F1-score voor geneste entiteiten aanzienlijk naar 21,36%.
• Beste Combinatie: De combinatie van lemmatisatie-insluitingen, entiteitscorruptie en vlakke neutralisatie bereikt een inner F1-score van 26,37%.
  • Dit sluit 40% van de kloof tussen vlakke supervisie en volledige geneste supervisie (die 65,48% bereikt).
  • De prestatie voor buitenste entiteiten blijft hoog (82,54%), wat aantoont dat de methode de basis-entiteiten niet schaadt.
• LLM-resultaten:
  • Pure LLM: Zelfs met few-shot prompting presteren LLMs (zoals DeepSeek-R1) slecht (42,39% overall F1) vergeleken met fijn-afgestemde modellen. Ze worstelen met de 29 entiteitstypes en genereren vaak hallucinaties.
  • Hybride aanpak: De hybride pijplijn bereikt 70,16% overall F1, maar presteert slechter dan de puur fijn-afgestemde methoden op het detecteren van geneste entiteiten (18,84% vs 26,37%). Dit suggereert dat huidige LLMs moeite hebben met fijne, geneste structuren over veel entiteitstypes.

Bijdragen

1. Systematische Vergelijking: Een grondige evaluatie van methoden om geneste NER te leren van vlakke annotaties op een uitdagend Russisch benchmark met 29 entiteitstypes.
2. Nieuwe Inzichten in Corruptie: Het vaststellen dat corruptie aan het einde van een entiteit consistent beter presteert dan andere posities, een eerder ongedocumenteerde bevinding.
3. Hybride Pijplijn: Het introduceren en evalueren van een hybride fine-tuned + LLM-pijplijn, met de conclusie dat LLMs op dit moment geen vervanging zijn voor gesuperviseerde data bij fijne geneste taken.
4. Empirisch Bewijs: Het aantonen dat eenvoudige, goedkope methoden (zoals substring-matching en neutralisatie) een aanzienlijk deel van de prestatiekloof kunnen dichten zonder extra annotatiekosten.

Significantie en Conclusie

Het paper concludeert dat het mogelijk is om modellen te trainen om geneste entiteiten te herkennen met alleen vlakke annotaties, hoewel er nog een significante prestatiekloof blijft ten opzichte van volledige supervisie.

• Beantwoording van de onderzoeksvragen:
  • Kunnen modellen geneste entiteiten leren van vlakke data? Ja, met name via insluitingen en corruptie.
  • Kunnen LLMs de kloof dichten? Deels, maar ze presteren slechter dan fijn-afgestemde modellen op geneste taken en kunnen de ontbrekende annotaties niet volledig compenseren.
  • Kunnen LLMs ontbrekende annotaties compenseren? Nee, pure LLM-benaderingen zijn niet voldoende voor complexe, geneste NER-taken.

De studie biedt een praktische route voor onderzoekers en organisaties om geneste NER-systemen te ontwikkelen in domeinen waar geneste annotatie te duur of onmogelijk is, door gebruik te maken van bestaande vlakke datasets en slimme data-augmentatiestrategieën.