Rethinking Metrics for Lexical Semantic Change Detection

Probleemstelling

Lexicale semantische verandering (LSCD) richt zich op het automatisch kwantificeren van hoe woordbetekenissen evolueren in tijd. Hoewel recente methoden steeds meer vertrouwen op ingekapselde (contextualised) taalmodel-embeddings, blijven de meeste benaderingen afhankelijk van een beperkte set metrics om verandering te meten. De twee dominante metrics zijn:

1. Average Pairwise Distance (APD): Berekent de gemiddelde afstand tussen alle paren van woordgebruiken uit twee verschillende corpora.
2. Prototype Distance (PRT): Berekent de afstand tussen de centroiden (gemiddelden) van de embeddings van een woord in twee perioden.

Het paper identificeert een fundamenteel probleem met deze metrics: ze aggregeren informatie globaal. Hierdoor kunnen ze lokale verschijnselen maskeren, zoals het ontstaan van een nieuwe betekenis, het verdwijnen van een oude, of veranderingen die slechts een klein subset van het gebruik beïnvloeden. Bovendien blijken deze metrics gevoelig voor ruis en presteren ze slecht in verminderde (reduced) representatieruimtes of bij het gebruik van niet-gespecialiseerde encoders.

Methodologie

De auteurs introduceren twee nieuwe metrics die gebaseerd zijn op lokale correspondentie tussen woordgebruiken in plaats van globale distributieverschillen.

1. Average Minimum Distance (AMD):

   • Deze metric meet voor elk gebruik in corpus A de afstand tot het dichtstbijzijnde gebruik in corpus B (en vice versa).
   • De uiteindelijke score is het gemiddelde van deze minimale afstanden.
   • AMD is asymmetrisch te decomponeren (A→B en B→A), wat inzicht geeft in ongelijkmatige veranderingen (bijv. betekenisverbreding of -vernauwing).
   • Het concept is dat semantische verandering wordt weerspiegeld in hoe goed individuele gebruiksfalen uit de ene periode kunnen worden gekoppeld aan semantisch vergelijkbare gebruiksfalen in een andere periode.

2. Symmetric Average Minimum Distance (SAMD):

   • Een symmetrische variant van AMD die een één-op-één koppeling (one-to-one alignment) afdwingt tussen gebruiksfalen in de twee perioden.
   • Het selecteert greedy de kleinste resterende afstanden en verwijdert de corresponderende rijen en kolommen totdat alle paren zijn gematcht.
   • Dit vermindert het effect van "hubness" (waarbij één punt in een ruimte de naaste buur is voor een disproportioneel groot aantal andere punten), wat een veelvoorkomend probleem is in hoge-dimensionale ruimtes.

Experimenteel Ontwerp:

• Datasets: Evaluatie op benchmarks in zeven talen (Engels, Duits, Zweeds, Latijn, Spaans, Noors, Chinees).
• Modellen: Vergelijking tussen gespecialiseerde encoders (XL-LEXEME, specifiek getraind voor LSCD) en niet-gespecialiseerde encoders (multilinguale modellen zoals XLM-RoBERTa en monolinguale modellen zoals RoBERTa voor Engels).
• Representatieruimtes: De metrics werden getest in vier scenario's:
  1. Volledige embeddings (FULL).
  2. Definitie-gebaseerde ruimte (DEF): Embeddings geprojecteerd op een ruimte van gegenereerde tekstuele definities.
  3. Principal Component Analysis (PCA): Behoud van globale variantie.
  4. Willekeurige dimensies (RAND): Extreme dimensiereductie zonder semantische structuur.

Belangrijkste Bijdragen

1. Introductie van AMD en SAMD: Nieuwe metrics die focussen op lokale correspondentie in plaats van globale aggregatie.
2. Robuustheidsonderzoek: Het aantonen dat deze metrics aanzienlijk robuuster zijn dan APD en PRT, vooral onder condities van dimensiereductie en bij gebruik van niet-gespecialiseerde taalmodellen.
3. Interpreteerbaarheid: Het combineren van AMD met een definitie-gebaseerde ruimte, wat inzichtelijke, menselijk begrijpelijke semantische ruimtes mogelijk maakt zonder in te leveren op prestaties.
4. Openbare Code: Publicatie van code, resultaten en gegenereerde definities om experimenten te reproduceren.

Resultaten

De experimenten tonen een consistent patroon aan:

• Algemene Prestaties: AMD en SAMD presteren over het algemeen beter (hogere Spearman-correlatie met gouden scores) en zijn stabieler (lagere variantie) dan APD en PRT over alle ruimtes en talen heen.
• Invloed van Dimensiereductie:
  • APD en PRT lijden zwaar onder dimensiereductie (PCA en willekeurige selectie), waarbij hun correlaties vaak naar nul dalen.
  • AMD en SAMD behouden hun prestaties zelfs bij extreme reductie (tot 4 dimensies).
  • Interessant genoeg kan PCA de prestaties van AMD en SAMD zelfs verbeteren door irrelevante ruis te verwijderen.
• Definitie-ruimte: AMD presteert opvallend goed in de definitie-gebaseerde ruimte, wat suggereert dat semantische verandering in deze ruimte beter wordt gevangen door de uitlijning van de vorm van distributies dan door concentratieverschuivingen.
• Encoder-typen:
  • Voor gespecialiseerde encoders (XL-LEXEME) presteert SAMD met PCA het beste.
  • Voor niet-gespecialiseerde encoders (zowel mono- als multilinguaal) is AMD in combinatie met de definitie-ruimte vaak de sterkste combinatie.
  • Monolinguale encoders presteren over het algemeen beter dan multilinguale encoders voor deze taak, wat wijst op de superioriteit van taalspecifieke modellen voor fijne semantische onderscheidingen.

Betekenis en Conclusie

Het paper concludeert dat er geen "one-size-fits-all" oplossing bestaat voor het meten van semantische verandering. De keuze van de metric is cruciaal en hangt af van de encoder, de kwaliteit van de embeddings en de representatieve beperkingen.

• Complementaire Rol: AMD en SAMD moeten niet worden gezien als vervangingen, maar als essentiële aanvullingen op de methodologische toolkit voor LSCD.
• Robuustheid: Voor toepassingen in realistische scenario's (zoals grote vocabulaire-onderzoek of historische talen met beperkte data) zijn lokale correspondentiemetrics (AMD/SAMD) superieur omdat ze minder gevoelig zijn voor ruis en dimensiereductie.
• Interpreteerbaarheid: De succesvolle integratie van AMD met definitie-ruimtes opent nieuwe wegen voor kwalitatieve analyse van waarom en hoe betekenissen veranderen, wat de kloof tussen "black-box" embeddings en menselijk begrijpelijke semantiek verkleint.

Kortom, het paper pleit voor een verschuiving van puur globale distributiemetrics naar metrics die de lokale, individuele correspondentie tussen woordgebruiken over tijd heen respecteren.