In the LLM era, Word Sense Induction remains unsolved

Titel: In het tijdperk van LLM's blijft Woordbetekenis-Inductie (WSI) onopgelost

Auteurs: Anna Mosolova, Marie Candito, Carlos Ramisch
Affiliaties: Université Paris Cité, CNRS, LLF; Aix Marseille Univ, CNRS, LIS

1. Het Probleem

Woordbetekenis-inductie (Word Sense Induction, WSI) is de taak om betekenissen (zinnen) van woorden automatisch af te leiden uit een corpus zonder vooraf gedefinieerde lexicons of gelabelde trainingsdata. Dit is een cruciaal alternatief voor Woordbetekenis-disambiguatie (WSD), vooral in domeinen met weinig bronnen of specifieke vakgebieden waar geen gestandaardiseerde betekenissen bestaan.

De auteurs stellen dat WSI in het tijdperk van Large Language Models (LLM's) nog steeds niet effectief is opgelost. Er zijn twee hoofdklachten:

1. Methodologische tekortkomingen in evaluatie: Bestaande datasets (zoals SemEval 2010 en 2013) vertonen een vertekend beeld. Ze overschatten polyseme (meerdere betekenissen) woorden en negeren eenduidige woorden, terwijl ze ook kunstmatige verdelingen van het aantal voorkomen per woord hanteren. Dit leidt tot systemen die goed presteren op deze kunstmatige data, maar falen op natuurlijke, volledige corpus-scenario's.
2. Moeilijkheden met LLM's: Hoewel LLM's krachtig zijn, blijken ze moeite te hebben met de directe taak van het clusteren van woordvoorkomens in verschillende betekenissen, en presteren ze vaak slechter dan simpele heuristieken.

2. Methodologie

De auteurs introduceren een nieuwe evaluatieframework en testen diverse benaderingen:

• Nieuwe Dataset (SemCor-WSI): In plaats van de gebruikelijke SemEval-datasets, extraheren ze een dataset uit SemCor 3.0. Deze dataset respecteert de natuurlijke verdeling van woordvoorkomens en polysemy-niveaus van het originele corpus. Ze splitsen deze in ontwikkelings- en testsets voor zelfstandig naamwoorden, werkwoorden en bijvoeglijke naamwoorden.
• Evaluatiemetrics: Ze benadrukken het belang van de F-B3 metric (gewicht op het aantal instanties) in plaats van metrics die alleen op clusters of paren gebaseerd zijn, omdat dit realistischer is voor een volledig corpus.
• Experimentele Opzet:
  • Baselines: Ze vergelijken systemen met een sterke baseline: "één cluster per lemma" (1cpl), waarbij alle voorkomens van een woord in één groep worden geplaatst.
  • Modellen: Ze testen state-of-the-art methoden zoals PolyLM (gebaseerd op taalmodellering) en LSDP (gebaseerd op vervangingen), evenals directe prompting van LLM's (GPT-4o, Llama 3.1/3.3).
  • Clustering: Ze gebruiken pre-trained embeddings (BERT, MirrorWiC, BERT-Wikt) en clustering-algoritmen (AGsilh, X-Means).
  • Data Augmentatie: Ze onderzoeken het toevoegen van ongelabelde data uit bronnen zoals Wikibooks, LLM-gegenereerde zinnen en Wiktionary-voorbeelden.
  • Semi-supervised: Ze gebruiken Wiktionary voor drie doelen: het fine-tunen van embeddings (contrastief leren), het toevoegen van "must-link" constraints (zinnen met dezelfde betekenis moeten bij elkaar blijven), en het bepalen van het aantal clusters.

3. Belangrijkste Resultaten

• De "One Cluster" Baseline wint: De meest opvallende bevinding is dat geen enkel onbewaakt (unsupervised) systeem, inclusief hun eigen methoden en eerdere state-of-the-art (SOTA), de simpele baseline van "één cluster per lemma" (1cpl) verslaat op de nieuwe, natuurlijkere SemCor-WSI dataset. Voor zelfstandig naamwoorden en bijvoeglijke naamwoorden is het simpelweg het beste om aan te nemen dat een woord slechts één betekenis heeft in de context van het corpus.
• LLM's presteren slecht: Directe prompting van LLM's (zoals GPT-4o en Llama) om zinnen te clusteren, levert aanzienlijk lagere scores op dan traditionele clustering-methoden. LLM's hebben moeite met het verwerken van grote aantallen voorbeelden, herhalen antwoorden of weigeren de taak.
• Data Augmentatie is cruciaal: Het toevoegen van extra ongelabelde voorbeelden uit corpora (zoals Wikibooks) verbetert de prestaties aanzienlijk. Het toevoegen van ongeveer 100-150 voorbeelden per lemma uit een corpus is de meest kosteneffectieve en effectieve strategie.
• Wiktionary als krachtige bron: Het combineren van Wiktionary-data op drie manieren (fine-tuning, must-link constraints, en bepalen van het aantal clusters) leidt tot een nieuw SOTA-resultaat. Dit systeem haalt 76.0% F-B3, wat een verbetering is van 3.3% ten opzichte van de vorige SOTA (PolyLM) en ook de 1cpl-baseline verslaat.
• Verschillen per Woordsoort (POS): De prestaties variëren sterk per woordsoort. Werkwoorden (die vaak meer betekenissen hebben) profiteren meer van complexe modellen, terwijl bijvoeglijke naamwoorden en zelfstandig naamwoorden vaak beter doen met de simpele 1cpl-baseline.

4. Bijdragen

1. Kritische evaluatie: Het paper identificeert en kwantificeert de methodologische problemen in huidige WSI-evaluaties (kunstmatige datasets en metrics).
2. Nieuw Framework: Introductie van een robuustere evaluatieframework gebaseerd op SemCor dat de natuurlijke verdeling van het corpus respecteert.
3. LLM Analyse: Het is een van de eerste studies die directe prompting van LLM's voor WSI test en aantoont dat deze momenteel niet concurrerend is met traditionele clustering.
4. Semi-supervised SOTA: Het demonstreert dat het combineren van LLM-gebaseerde embeddings met lexicon-gebaseerde data (Wiktionary) en constraints de enige manier is om de simpele baselines te overtreffen.

5. Betekenis en Conclusie

De conclusie is scherp: WSI is nog niet opgelost. In een realistisch scenario met natuurlijke dataverdelingen falen geavanceerde onbewaakte systemen vaak en presteren ze slechter dan de aanname dat een woord maar één betekenis heeft.

De studie benadrukt dat de toekomst van WSI niet ligt in puur onbewaakte clustering of in het blind vertrouwen op LLM's voor directe clustering. In plaats daarvan ligt de oplossing in een betere integratie van lexicons (zoals Wiktionary) met de lexicale semantische capaciteiten van LLM's. Het gebruik van semi-supervised technieken, waarbij lexicon-data wordt gebruikt om constraints te stellen en embeddings te verfijnen, is essentieel om vooruitgang te boeken.

Dit paper roept de NLP-gemeenschap op om te stoppen met het evalueren van systemen op kunstmatige datasets en te focussen op methoden die werken met de complexe, natuurlijke verdeling van woordbetekenissen in echte teksten.