Technische Samenvatting: Interpretabele Evaluatie van Coreferentieoplossing met Gebruik van Expliciete Semantiek

Probleemstelling

Coreferentieoplossing (CR) wordt momenteel voornamelijk geëvalueerd via geaggregeerde statistische metrieken zoals CoNLL-F1, MUC, B3 en CEAF$\phi_4$. Hoewel deze metrieken stabiele prestatieindicaties bieden, lijden ze onder aanzienlijke beperkingen:

1. Gebrek aan Diagnostisch Inzicht: Ze meten structurele overlap zonder aan te geven of een systeem worstelt met specifieke semantische categorieën (bijvoorbeeld personen versus gebeurtenissen versus objecten).
2. Semantische Blindheid: Standaardmetrieken straffen kleine span-afwijkingen of annotatie-ongelijkheden af als volledige fouten, waardoor kwalitatieve verschillen in modelgedrag worden verdoezeld.
3. Beperkte Interpretabiliteit: Enkele geaggregeerde scores verbergen vaak systemische faalmodi. Bijvoorbeeld, een model kan goed presteren op persongerichte verhalen maar falen bij gebeurtenis- of objectgerelateerde coreferentie; een dergelijke achteruitgang is voor standaard scores onzichtbaar.
4. Ondoelmatige Semantische Granulariteit: Eerdere pogingen om semantiek in de evaluatie op te nemen, maakten gebruik van standaard Named Entity Recognition (NER)-tagsets (doorgaans PER, ORG, LOC, MISC). Deze zijn te grofkorrelig en sluiten gewone naamwoorden en nominale concepten uit, die een groot deel van de coreferentiemeningen uitmaken, waardoor veel clusters ongetypeerd blijven.

Methodologie

De auteurs stellen een semantisch verrijkt evaluatiekader voor dat Concept- en Named Entity Recognition (CNER) overlegt op coreferentie-outputs. Deze aanpak verandert het coreferentiemodel zelf niet, maar voegt een diagnostische laag toe om de outputs te interpreteren.

1. Techniek voor Labeling en Propagatie

Het kader hanteert een tweestapsproces om semantische labels toe te wijzen aan coreferentieclusters:

• Stap 1: Toewijzing van Meningen: Het systeem aligneert coreferentiemeningen met CNER-geannoteerde spans met behulp van een Jaccard-overlapfunctie op token-niveau ($\Omega$). Als de overlap een drempelwaarde overschrijdt ($\tau=0,5$), krijgt de mening het corresponderende CNER-label.
• Stap 2: Propagatie van Categorie: Voor elke coreferentiecluster wordt een semantisch label bepaald via meerderheidsstemming over de toegewezen meningen. Dit dominante label wordt vervolgens gepropageerd naar alle meningen binnen de cluster, inclusief voornaamwoorden en eerder ongelabelde meningen.

2. Semantische Evaluatiemetrieken

Zodra clusters semantisch getypeerd zijn, berekent het kader twee gestratificeerde F1-scores:

• Getypeerde Mening F1: Evalueert de kwaliteit van meningenextractie voor een specifieke semantische klasse, onafhankelijk van clustering.
• Getypeerde Link F1: Evalueert de kwaliteit van voorspelde coreferentielinks (clustering) voor een specifieke semantische klasse. Om linkprestaties te isoleren, wordt deze metriek berekend met gold-standard meningen als invoer.

3. Experimentele Opstelling

Het kader werd geëvalueerd op drie verschillende Engelse datasets:

• OntoNotes: Een corpus met meerdere genres met gebalanceerde entiteitstypes.
• LitBank: Een literair corpus met restrictieve richtlijnen, sterk gekanteld naar persoon (PER)-meningen (83,1%).
• PreCo: Een dataset gebaseerd op kleuterwoordenschat, met nadruk op alledaagse entiteiten.

De auteurs evalueerden drie varianten van het Maverick-coreferentiemodel (een encoder-only neurale architectuur), waarbij elke variant was getraind op één van de drie datasets, en testte ze zowel binnen het domein als buiten het domein.

Belangrijkste Bijdragen

1. Een Nieuw Evaluatiekader: De auteurs introduceren een techniek die CNER-tags samenvoegt met coreferentie-outputs, waardoor dichte, granulaire semantische annotaties worden geboden voor het merendeel van de coreferentiemeningen (dekkend voor zowel naamlijke entiteiten als nominale concepten).
2. Gedetailleerde Analyse: Het kader blootlegt systematische, semantisch interpreteerbare foutpatronen die onder standaard geaggregeerde metrieken verborgen blijven. Het toont aan dat NER-gebaseerde evaluatie ontoereikend is vanwege lage dekking en grofkorrelige granulariteit in vergelijking met CNER's inventaris van 29 categorieën.
3. Hanteerbare Diagnostiek voor Dataaugmentatie: De auteurs tonen aan dat deze diagnostiek gerichte, kosteneffectieve dataaugmentatie kan sturen. Door ondervertegenwoordigde semantische categorieën in de trainingsdata van een model te identificeren, genereerden ze synthetische documenten om deze gaten specifiek aan te vullen.

Resultaten

• Dekking en Granulariteit: De CNER-gebaseerde aanpak bereikte na propagatie ongeveer 90% meningen-dekking over alle datasets, aanzienlijk beter dan standaard NER (die slechts ongeveer 22–53% dekte). CNER bood een veel rijker labelruimte (29 categorieën versus 4), waardoor detectie van prestatievariaties over diverse semantische types mogelijk werd.
• Blootlegging van Systematische Zwaktes: De evaluatie toonde aan dat modellen getraind op het persongerichte LitBank-dataset ernstige prestatiedalingen leden bij evaluatie buiten het domein, met name op categorieën die afwezig waren in de trainingsdata (bijvoorbeeld ZIEKTE, CULTUUR, GELD). Standaard metrieken maskeerden deze specifieke fouten.
• Impact van Gerichte Augmentatie: De auteurs trainden een geaugmenteerd model op LitBank-data aangevuld met drie synthetische documenten die ondervertegenwoordigde semantische klassen bevatten.
  • Het gebruik van ongelimiteerde annotatie (die alle CNER-klassen dekt) voor de synthetische data resulteerde in een verbetering van +2,8 CoNLL-F1 punten en een verbetering van ongeveer 9,5 punten in Mening F1 op datasets buiten het domein, vergeleken met de baseline.
  • Dit bevestigde dat semantisch gerichte diagnostiek dataaugmentatiestrategieën direct kan sturen om de generalisatie van modellen te verbeteren.

Betekenis en Claims

Het artikel stelt dat semantische gronding van meningen essentieel is om voorbij geaggregeerde statistieken te gaan naar echt interpreteerbare evaluatie. Door de "interpretabiliteitskloof" aan te pakken, stelt het kader onderzoekers in staat om:

• Specifieke semantische categorieën te identificeren waar modellen falen.
• Te begrijpen of fouten te wijten zijn aan meningenextractie of linklogica.
• Kosteneffectieve, gerichte interventies (zoals dataaugmentatie) te ontwerpen in plaats van te vertrouwen op brute-force schaling.

De auteurs positioneren dit werk als een stap naar robuustere coreferentie-evaluatie, met de nadruk dat hoewel de huidige propagatietechniek een schaalbare baseline is, het een niveau van diagnostische diepte mogelijk maakt dat eerder onbeschikbaar was. Ze erkennen beperkingen, waaronder de afhankelijkheid van Engelse CNER-bronnen en het feit dat ongeveer 10% van de meningen (voornamelijk clusters bestaande uit alleen voornaamwoorden) ongelabeld blijft, maar betogen dat het kader succesvol de waarde van expliciete semantiek in het evalueren en verbeteren van coreferentieoplossing aantoont.