Concordance Comparison as a Means of Assembling Local Grammars

Technische Samenvatting: Concordantievergelijking als Middel voor het Samenstellen van Lokale Grammatica's

Probleemstelling
Named Entity Recognition (NER) voor persoonsnamen is een kritieke maar uitdagende taak in informatiewinning, voornamelijk omdat persoonsnamen een open woordklasse vormen die continu uitbreidt. Hoewel machine learning en hybride benaderingen gangbaar zijn, blijven op regels gebaseerde methoden met Lokale Grammatica's (LG's) effectief, met name voor het Portugees. Het opstellen van LG's vereist echter aanzienlijke taalkundige expertise en handmatige inspanning, met beperkte computergestuurde hulpmiddelen die helpen bij de selectie en combinatie van meerdere kleine grammatica's. De specifieke uitdaging die wordt aangepakt, is hoe men systematisch een set kleine, individuele Lokale Grammatica-Grappen (LGG's) kan assembleren tot een samenhangende, hoogpresterende grammatica zonder uitsluitend te vertrouwen op trial-and-error of puur handmatige intuïtie.

Methodologie
De auteurs stellen een methodologie voor die het open-source-systeem Unitex en zijn ConcorDiff-concordantievergelijkingstool gebruikt om de handmatige samenstelling van Lokale Grammatica's te ondersteunen. Het proces omvat de volgende stappen:

1. Invoerrepository: Een verzameling kleine LGG's die zijn ontworpen om persoonsnamen in Portugese teksten te herkennen (sommige afgeleid uit literatuur, andere door de auteurs gemaakt) dient als uitgangspunt.
2. Generatie van concordanties: Elke LGG wordt toegepast op de "Gouden Collectie" (GC) van het Second HAREM-corpus (129 geannoteerde teksten met 1.609 persoonsnaam-entiteiten). Dit genereert een concordantiedossier voor elke grammatica, waarin herkende voorkomens met context worden vermeld.
3. Paarwijze vergelijking: De ConcorDiff-tool vergelijkt concordantiedossiers paarwijze. Het visualiseert verschillen via een HTML-interface waarbij:
   • Blauwe lijnen identieke voorkomens aangeven die in beide grammatica's zijn gevonden.
   • Rode lijnen overlappende maar niet-identieke voorkomens aangeven (bijvoorbeeld: de ene grammatica herkent een volledige naam, de andere slechts een deel).
   • Groene/Roze lijnen voorkomens aangeven die uniek zijn voor de ene grammatica.
4. Set-theoretische analyse: De auteurs analyseren deze vergelijkingen om set-theoretische relaties (inclusie, doorsnede en disjunctie) te identificeren tussen de verzamelingen van voorkomens die door elk grammaticapaar zijn geïdentificeerd.
5. Assemblage van grammatica: Op basis van deze relaties (samengevat in Tabel 1 van het artikel) passen de auteurs specifieke logica toe om te beslissen welke grammatica's behouden, verworpen of gecombineerd moeten worden. Bijvoorbeeld: als de resultaten van Grammatica A een deelverzameling zijn van die van Grammatica B, kan Grammatica A worden verworpen; als ze disjunct zijn, worden beide behouden. Dit proces resulteerde in een definitieve, grotere grammatica bestaande uit 30 LGG's.
6. Verfijning: Handmatige aanpassingen werden doorgevoerd om specifieke Portugese taalkundige kenmerken te behandelen, zoals het opnemen van aanheften (bijvoorbeeld "Rainha") en sociale posities in kleine letters binnen de tags voor naamelijke entiteiten, gebaseerd op de HAREM-annotatierichtlijnen.

Belangrijkste Bijdragen

• Concordantievergelijking als ontwerptool: Het artikel introduceert een systematische aanpak waarbij concordantievergelijking wordt gebruikt om de relaties tussen verschillende grammatica's te visualiseren, waardoor het assemblageproces wordt getransformeerd van een puur handmatige taak naar een proces dat wordt geleid door waarneembare set-theoretische data.
• Beslissingskader: De auteurs definiëren een reeks regels (Tabel 1) die specifieke patronen van concordantievergelijking (bijvoorbeeld inclusie versus disjunctie) koppelen aan beslissingen over welke grammatica's behouden of verworpen moeten worden.
• Verbeterde NER voor het Portugees: De methodologie werd gebruikt om een verbeterde LG te construeren voor het extraheren van Portugese persoonsnamen, die de state-of-the-art-systeem (Rembrandt) voor de Second HAREM-evaluatie overtrof.

Resultaten
De definitief samengestelde Lokale Grammatica werd geëvalueerd tegen de Second HAREM Gouden Collectie met het SAHARA-evaluatiesysteem.

• Vergelijking met Rembrandt: Bij het evalueren van de categorie 'persoon', specifiek het subtype 'individu' (PERSON(INDIVIDUAL)), bereikte de voorgestelde LG een F-Maat van 76,86%, vergeleken met 70,76% voor Rembrandt. Dit vertegenwoordigt een winst van 6 punten ten opzichte van het vorige beste systeem.
• Precisie en Recall: De definitieve LG behaalde 79,75% precisie en 74,18% recall. De recall was opmerkelijk hoger (ongeveer 10 punten) dan die van Rembrandt, hoewel de precisie ook iets hoger was.
• Breder toepassingsgebied: Bij evaluatie tegen andere tools voor alle 'persoon'-subtypen (PERSON(*)) bereikte de LG een F-Maat van 69% (Precisie 81%, Recall 60%). De auteurs merken op dat hoewel de precisie superieur is, de recall lager is dan die van sommige hybride systemen, omdat de LG momenteel slechts twee subtypen herkent ('individu' en 'positie') in plaats van de acht subtypen die door bredere systemen worden herkend.

Betekenis en Aanspraken
Het artikel beweert dat concordantievergelijking een praktische, computergestuurde hulp biedt voor de handmatige constructie van Lokale Grammatica's. Door een overzicht te bieden van wat elke grammatica herkent binnen een specifiek corpus, stelt de tool onderzoekers in staat om ambiguïteiten, vals-positieven en redundantie efficiënt te identificeren. De auteurs stellen dat deze aanpak resulteerde in een "compactere en makkelijker te begrijpen grammatica" en aantoonde dat LG's, wanneer ze op de juiste manier met deze methode worden samengesteld, state-of-the-art op regels gebaseerde en hybride systemen kunnen overtreffen voor specifieke NER-taken in het Portugees. Het werk suggereert dat deze methodologie overdraagbaar is naar andere NER-taken en talen, en dat toekomstig werk kan bestaan uit het automatiseren van het creëren van elementaire LGG's uit voorbeelden, waarbij concordantievergelijking wordt gebruikt om de besluitvorming bij die automatisering te faciliteren.