The LSCD Benchmark: a Testbed for Diachronic Word Meaning Tasks

Technische Samenvatting: De LSCD Benchmark

Probleemstelling
Lexical Semantic Change Detection (LSCD) is een complexe taak op lemma-niveau die de automatisering van de analyse van betekenisverschuivingen van woorden in de tijd mogelijk maakt. Het vakgebied lijdt momenteel aan aanzienlijke heterogeniteit wat betreft modelopties, taakdefinities, datasetversies, voorverwerkingsstrategieën en evaluatiemetrics. LSCD wordt doorgaans geoperationaliseerd als een modulaire pijplijn met drie sequentiële subtaken:

1. Word-in-Context (WiC): Het bepalen van semantische proximaliteit tussen paren van woordgebruiken.
2. Word Sense Induction (WSI): Het clusteren van deze gebruiken in betekenisklassen op basis van proximaliteit.
3. LSCD: Het vergelijken van betekenisklassen over tijdperiodes heen om verandering te detecteren (Binair of Gegradeerd).

Deze modulariteit, hoewel een weerspiegeling van het annotatieproces, heeft geleid tot een gebrek aan vergelijkbare evaluatievoorwaarden. Bestaande leaderboards missen vaak gemeenschappelijke modelimplementaties, en eerdere uitgebreide repositories (bijv. Schlechtweg et al., 2019) richtten zich op type-gebaseerde modellen, die inmiddels zijn ingehaald door token-gebaseerde contextuele embeddings en modellen die zijn fijngefineerd voor WiC. Bijgevolg is het moeilijk om resultaten te reproduceren, optimale modelcombinaties te selecteren, of de specifieke bijdrage van individuele pijplijncomponenten te evalueren.

Methodologie
De auteurs presenteren een benchmarkrepository die is ontworpen om de LSCD-evaluatie te standaardiseren over meerdere talen en historische periodes. De methodologie is gebaseerd op de volgende pijlers:

• Modulair Evaluatiekader: De benchmark ondersteunt expliciet de evaluatie van de drie constitutieve taken (WiC, WSI en LSCD) onafhankelijk van elkaar en als volledige pijplijn. Dit stelt onderzoekers in staat om prestatieknelpunten te isoleren en specifieke componenten (bijv. een specifiek WiC-model) te testen over verschillende datasets heen.
• Dataset-integratie: De repository integreert een breed scala aan door mensen geannoteerde datasets (bijv. DWUG, NorDiaChange, RuSemShift, ChiWUG) die talen zoals Duits, Engels, Zweeds, Spaans, Noors, Chinees, Italiaans en Russisch bestrijken. Deze datasets worden verenigd onder een gemeenschappelijke voorverwerkingspijplijn (tokenisatie, lemmatisatie, normalisatie) en een standaard train/dev/test-verdeling (CoMeDi-verdeling).
• Implementatie van State-of-the-Art (SOTA) Modellen: De benchmark implementeert token-gebaseerde benaderingen, waaronder:
  • Generatie van Embeddings: Met behulp van BERT en XLM-R (met opties voor laagaggregatie zoals middeling of concatenatie).
  • WiC-modellen: Implementatie van zowel op afstand gebaseerde benaderingen (Euclidisch, Manhattan, Cosine op embeddings) als neurale classifiers (DeepMistake, XL-LEXEME, XL-DURel).
  • Clustering: Ondersteuning voor correlatieclustering op paarsgewijze scores en standaard clustering op embeddings.
  • Aggregatiematen: Implementatie van directe methoden voor veranderingdetectie die clustering overslaan, zoals Average Pairwise Distance (APD), Cosine-afstand tussen gemiddelde embeddings (COS) en DiaSense.
• Experimenteel Ontwerp: De auteurs voerden experimenten uit met focus op Gegradeerde Verandering en COMPARE-taken, waarbij SOTA WiC-modellen (DeepMistake, XL-LEXEME, XL-DURel) werden vergeleken in combinatie met diverse aggregatiematen. Zij onderzochten ook de impact van datasetversies, voorverwerking (lemmatisatie, normalisatie) en de discretisatie van gegradeerde WiC-predicties.

Belangrijkste Resultaten
De experimenten leverden verschillende significante bevindingen op over de huidige stand van LSCD:

1. Dominantie van APD: Voor zowel Gegradeerde Verandering als COMPARE-taken presteerde de Average Pairwise Distance (APD)-metric consistent beter dan andere aggregatiemethoden (COS, DiaSense), wat eerdere bevindingen bevestigt.
2. Nieuwe SOTA-modellen: Het recent gepubliceerde XL-DURel-model (fijngefineerd voor ordinaal WiC) toonde superieure prestaties in vergelijking met DeepMistake en XL-LEXEME, waarmee een nieuwe SOTA is gevestigd.
3. Voordelen van Discretisatie: Het discretiseren van gegradeerde WiC-predicties naar ordinale waarden (via thresholding) verbeterde de prestaties voor XL-DURel, wat beter aansluit bij het menselijke annotatieproces, hoewel dit verwaarloosbare of negatieve effecten had op XL-LEXEME.
4. WiC als Determinant: Er is een sterke correlatie tussen WiC-prestaties en algehele LSCD-prestaties; echter, de relatie is niet absoluut. Verbeteringen in WiC-rangschikking garanderen niet altijd betere LSCD-resultaten, wat suggereert dat de verdeling van scores een kritieke rol speelt bij aggregatie.
5. Betrouwbaarheid van Data: Modelrangschikkingen kunnen aanzienlijk verschuiven afhankelijk van de gebruikte datasetversie. Oudere, minder betrouwbare versies van datasets (met minder annotatierondes) leidden tot andere optimale modelkeuzes in vergelijking met nieuwere, hogere kwaliteit versies, wat het risico benadrukt van het vertrouwen op verouderde ground truth.
6. Robuustheid tegen Spelling: Huidige basis-embedders bleken robuust tegen historische spellingvariaties, waarbij ruwe invoer (geen voorverwerking) vaak de beste resultaten opleverde, in tegenstelling tot de aanname dat normalisatie strikt noodzakelijk is.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis van dit werk ligt in de creatie van een gestandaardiseerde, transparante en reproduceerbare benchmark voor LSCD. Door evaluatieprocedures en datasets te verenigen, stelt de repository het volgende mogelijk:

• Eerlijke Vergelijking: Onderzoekers kunnen nu modellen vergelijken onder identieke voorwaarden, waardoor het ruis veroorzaakt door variërende voorverwerking en datasetversies wordt geëlimineerd.
• Componentanalyse: Het modulaire ontwerp maakt een zorgvuldige evaluatie van steeds complexere modelcomponenten mogelijk, wat gerichte optimalisatie faciliteert.
• Reproduceerbaarheid: Transparante implementatie zorgt ervoor dat resultaten eenvoudig kunnen worden gereproduceerd en uitgebreid.

De auteurs concluderen dat hun resultaten een "triviale, maar zelden erkende trend" ondersteunen: modellen die het menselijke annotatieproces nauwkeuriger nabootsen (bijv. door gebruik van ordinale WiC-oordeelsvorming en discretisatie) neigen betere prestaties te behalen. Zij benadrukken dat het vakgebied moet afstappen van het vertrouwen op onbetrouwbare, oudere datasetversies om valse conclusies over modelefficacy te voorkomen. Hoewel de huidige benchmark zich richt op token-gebaseerde modellen en voor beknoptheid clustering-gebaseerde benaderingen overslaat, legt het de basis voor toekomstige vergelijkingen die clustering-modellen en aanvullende datasets betrekken.