💬 NLP

CALE : Concept-Aligned Embeddings for Both Within-Lemma and Inter-Lemma Sense Differentiation

Dit artikel introduceert Concept-Aligned Embeddings (CALE), een nieuwe aanpak die Word-in-Context fine-tuning uitbreidt naar inter-lemma scenario's via een nieuwe Concept Differentiation taak en dataset, wat resulteert in modellen die de state-of-the-art prestaties behalen in lexicale semantische taken terwijl ze de ruimtelijke organisatie van embeddings verbeteren.

Oorspronkelijke auteurs: Bastien Liétard, Gabriel Loiseau

Gepubliceerd 2026-01-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bastien Liétard, Gabriel Loiseau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek met boeken hebt, en binnen elk boek zijn woorden als acteurs op een podium. Soms speelt dezelfde acteur (een woord) verschillende rollen (betekenissen) afhankelijk van de scène (context). Andere keren spelen verschillende acteurs (verschillende woorden) precies dezelfde rol.

Lange tijd waren computerprogramma's die taal probeerden te begrijpen als regisseurs die alleen aandacht besteedden aan één acteur tegelijk. Ze konden je wel vertellen of het woord "bank" een plek was om geld te stallen of de oever van een rivier, maar ze hadden moeite om te beseffen dat "bank" en "financiële instelling" eigenlijk dezelfde rol speelden in het verhaal.

Dit artikel introduceert een nieuwe manier om computers te leren taal te begrijpen, genaamd CALE (Concept-Aligned Embeddings). Zo werkt het, eenvoudig uitgelegd:

1. De Oude Manier vs. De Nieuwe Manier

De Oude Manier (Woord-in-Context): Stel je een leraar voor die een leerling vraagt: "Betekent het woord 'bat' (vleermuis of honkbalknuppel) in deze twee zinnen het dier of de sportuitrusting?" De leerling vergelijkt het woord alleen met zichzelf. Dit is alsof je alleen naar de kostuumwisselingen van één acteur kijkt.
De Nieuwe Manier (Concept Differentiatie): De auteurs zeggen: "Laten we naar de hele cast kijken." Ze vragen de computer: "Betekenen deze twee woorden, zelfs als ze er anders uitzien, hetzelfde in deze specifieke scène?"
- Voorbeeld: In de ene zin: "De arts stelde de diagnose bij de patiënt." In de andere zin: "De arts identificeerde de ziekte."
- De oude manier zou moeite hebben om te zien dat "stelde de diagnose" en "identificeerde" hier dezelfde taak uitvoeren. De nieuwe manier is specifiek getraind om dit verband te herkennen.

2. Het Trainingskamp (De Dataset)

Om de computer deze nieuwe vaardigheid te leren, bouwden de auteurs een speciaal trainingskamp genaamd SPCD.

Ze namen een enorme collectie teksten (SemCor) waar woorden al waren getagd met hun "betekenissen" (concepten).
Ze creëerden miljoenen paren zinnen. Sommige paren gebruikten hetzelfde woord met dezelfde betekenis (bijv. "bank" als geldinstelling in beide gevallen). Sommige gebruikten hetzelfde woord met verschillende betekenissen (bijv. "bank" als geldinstelling vs. "bank" als rivieroever).
Cruciaal was dat ze ook verschillende woorden aan elkaar koppelden die hetzelfde betekenden (bijv. "bank" en "financiële instelling").
De taak van de computer was simpel: Kijk naar twee woordgebruiken en zeg: "Ja, ze zijn hetzelfde concept" of "Nee, ze zijn verschillend."

3. Het Resultaat: CALE

Na de training op deze "Concept Differentiatie"-taak werden de computermodellen CALE.

De Magie: Vóór de training was de interne kaart van de computer wat rommelig. Woorden die op elkaar leken of hetzelfde klonken, werden vaak bij elkaar gegroepeerd, zelfs als ze iets anders betekenden.
De Verschuiving: Na de training reorganiseerde de computer zijn kaart. Nu worden woorden die dezelfde concept (het idee erachter) delen, dicht bij elkaar getrokken, als magneten.
- Als twee woorden hetzelfde betekenen, zitten ze in dezelfde buurt, zelfs als ze anders gespeld worden.
- Als een woord twee betekenissen heeft (zoals "bat"), worden die twee betekenissen ver uit elkaar geduwd, zodat de computer niet in de war raakt.

4. Werkte het?

De auteurs testten deze nieuwe modellen tegen oudere, beroemde modellen (zoals XL-LEXEME) op verschillende uitdagingen:

De "Zelfde Woord" Test: Kan het onderscheid maken of "bat" in twee verschillende zinnen het dier betekent? Ja, het was erg goed.
De "Verschillend Woord" Test: Kan het herkennen dat "fast" en "quick" in een specifieke zin hetzelfde betekenen? Ja, het was beter dan de oudere modellen.
De "Tijdreis" Test: Kan het detecteren of de betekenis van een woord in de loop van de tijd is veranderd (bijv. hoe het woord "mouse" vroeger alleen een dier betekende, maar nu ook een computertoestel)? Ja, het presteerde even goed als of beter dan de beste bestaande tools.

5. Het Grotere Plaatje

De meest interessante bevinding gaat over de vorm van de geest van de computer.

Vóór de training was de geest van de computer georganiseerd rondom woorden (lemma's). De computer dacht: "Dit is het woord 'run', dus het hoort hier."
Na de training werd de geest van de computer georganiseerd rondom ideeën (concepten). De computer denkt: "Dit is het idee van 'snel bewegen', dus deze woorden horen hier."

De auteurs concluderen dat door de computer te leren om naar het grotere plaatje van betekenis (concepten) te kijken in plaats van naar het kleine plaatje van spelling (woorden), ze een flexibeler en nauwkeuriger instrument hebben gecreëerd voor het begrijpen van taal. Ze hebben de data en de nieuwe modellen beschikbaar gesteld voor anderen, in de hoop dat dit toekomstig onderzoek naar hoe computers de nuances van menselijke spraak begrijpen, zal helpen.

Technisch Samenvatting: CALE – Concept-Aligned Embeddings voor zowel Intra-Lemma als Inter-Lemma Betekenisdifferentiatie

Probleemstelling

Huidig onderzoek in de computationele lexicale semantiek leunt zwaar op gecontextualiseerde taalmodellen (bijv. BERT, XLM-R) om woordbetekenis te bestuderen. Echter, standaard pre-trained modellen worden vaak gebruikt zonder specifiek te zijn gefinetuned voor lexicale semantiek vanwege een gebrek aan geannoteerde data. Bestaande gefinetunede benaderingen, zoals die voor de Word-in-Context (WiC) taak, zijn beperkt omdat ze alleen voorkomens van hetzelfde lemma vergelijken. Bijgevolg leggen deze modellen intra-woord betekenisvariatie (polysemie) vast, maar falen ze in het modelleren van inter-woord semantische relaties (synoniemie) of de bredere structuur van lexicale betekenis waarbij verschillende woorden hetzelfde onderliggende concept instantiëren.

De auteurs stellen dat om een hoger perspectief te bereiken, de focus moet verschuiven van "woordzinnen" (geconventionaliseerde gebruiken van een specifiek lemma) naar "semantische concepten" (mentale representaties van categorieën, vergelijkbaar met Wikipedia-artikelen of WordNet-synsets). Er is behoefte aan een model dat veelzijdige vectorrepresentaties kan genereren waarbij voorkomens die hetzelfde concept instantiëren, vergelijkbaar zijn, ongeacht of ze hetzelfde lemma delen.

Methodologie

1. Taakdefinitie: Conceptdifferentiatie

Het artikel introduceert Conceptdifferentiatie, een binaire classificatietaak die WiC generaliseert. Gegeven twee woordvoorkomens moet het model bepalen of zij hetzelfde semantische concept instantiëren.

Omvang: In tegenstelling tot WiC omvat deze taak zowel intra-lemma paren (hetzelfde woord, verschillende betekenissen) als inter-lemma paren (verschillende woorden, dezelfde of verschillende concepten).
Doel: Om modellen te trainen die het gebruik in context kunnen vergelijken en subtiele semantische onderscheidingen of consistenties door het corpus heen vastleggen.

2. Dataset: SPCD (SemCor Pairs for Concept Differentiation)

Om deze taak te ondersteunen, hebben de auteurs een nieuwe dataset geconstrueerd afgeleid van SemCor (Miller, 1995), waarbij gebruik is gemaakt van WordNet-synsets als conceptlabels.

Constructie: De dataset bevat 70,3k voorkomens voor 1.902 doel-lemma's die 5.899 concepten beslaan.
Pairing Strategie: Paren zijn gesampled om een rigoureuze evaluatie van generalisatie te waarborgen. De dataset is gesplitst via disjuncte subsets van concepten en lemma's (5% voor validatie, 10% voor test) om te voorkomen dat modellen woord-concept associaties memoriseren.
Categorieën: Paren zijn gelabeld op basis van vier categorieën:
- Zelfde Concept / Zelfde Lemma (SC/SL)
- Zelfde Concept / Verschillend Lemma (SC/DL)
- Verschillend Concept / Zelfde Lemma (DC/SL)
- Verschillend Concept / Verschillend Lemma (DC/DL)
Balans: De testset bevat 44k paren met een labelverdeling van ongeveer 40% positief (hetzelfde concept).

3. Modelarchitectuur: CALE (Concept-Aligned Embeddings)

De auteurs stellen CALE voor, een familie van token-niveau modellen die gefinetuned zijn voor Conceptdifferentiatie.

Architectuur: Gebaseerd op een Siamese architectuur geïnspireerd door SentenceBERT. Het gebruikt een pre-trained gecontextualiseerd taalmodel (bijv. XLM-R, ModernBERT) gevolgd door een pooling-laag om vaststaande dimensionele vectoren te produceren.
Trainingsdoel: Een contrastieve verliesfunctie wordt gebruikt om de cosinus-gelijkenis te maximaliseren voor positieve paren (hetzelfde concept) en te minimaliseren voor negatieve paren (verschillende concepten), waarbij een marge $m$ wordt afgedwongen voor ongelijke paren.
Inputverwerking: Om de betekenis van het doelwoord binnen een zin te isoleren, worden speciale delimiters <t> en </t> rond het doelwoord geplaatst. Het model leert de contrasten te baseren op de betekenis van het gedelimiterde woord, waardoor wordt gewaarborgd dat de embedding de specifieke doelvoorkomst representeert in plaats van de hele zin.

Belangrijkste Bijdragen

Conceptdifferentiatie Taak: Een nieuwe gesuperviseerde taak die de studie van polysemie (binnen-lemma) en synoniemie (inter-lemma) verenigt onder één framework van conceptuele uitlijning.
SPCD Dataset: Een rigoureus geconstrueerde dataset met strikte train/validatie/test scheiding op basis van concepten en lemma's, wat evaluatie van generalisatie naar ongeziene betekenissen en lexicale items mogelijk maakt.
CALE Modellen: Een reeks gefinetunede modellen die aantonen dat training op Conceptdifferentiatie efficiënte, veelzijdige lexicale representaties oplevert.
Analyse van de Embedding Ruimte: Bewijs dat CALE fine-tuning de representatieruimte verschuift van lemma-centrisch naar concept-centrisch.

Experimentele Resultaten

De auteurs evalueerden CALE-modellen tegenover baselines (XLM-R, XL-LEXEME) over drie lexicale semantische taken:

1. Conceptdifferentiatie (SPCD Testset)

Prestaties: CALE-modellen behaalden de hoogste gebalanceerde nauwkeurigheid (79,3%), waarmee ze de sterke meertalige baseline XL-LEXEME (76,7%) en de ruwe XLM-R (70,9%) overtroffen.
Generalisatie: CALE-modellen presteerden goed op zowel Same-Lemma (SL) als Different-Lemma (DL) paren, wat het vermogen aantoont om zowel polysemie als synoniemie aan te pakken.
Meertalige Transfer: Ondanks dat ze alleen op Engelse data zijn gefinetuned, presteerden CALE-modellen gebaseerd op XLM-R competitief op niet-Engelse benchmarks, waarbij ze gebruikmaken van de cross-linguale capaciteiten van het basismodel.

2. Lexical Semantic Change Detection (LSCD)

Taak: Het detecteren van betekenisverschuivingen van een enkel woord over verschillende perioden (Diachronic Word Usage Graphs).
Resultaten: CALE-modellen evenaren of overtreffen XL-LEXEME licht in 5 van de 6 talen (bijv. Engels, Duits, Zweeds).
Implicatie: Het bredere Concept Differentiation object heeft de prestaties op de nauwere, lemma-centrische LSCD-taak niet verslechterd; het lijkt de detectie van semantische verandering zelfs te hebben verbeteren.

3. In-Context Lexical Similarity (CoSimLex)

Taak: Het voorspellen van de gelijkenis tussen twee verschillende woorden in specifieke contexten.
Resultaten: CALE-modellen behaalden de hoogste correlatiescores over alle talen en subtaken (Contextual Changes en Similarity Ratings), waarbij ze consequent XLM-R overtroffen en vaak XL-LEXEME evenaarden of overtroffen.
Betekenis: Dit bevestigt dat CALE effectief inter-woord semantische relaties vastlegt, een capaciteit waar WiC-getrainde modellen (zoals XL-LEXEME) voorheen moeite mee zouden hebben.

4. Analyse van de Ruimtelijke Organisatie

Concept-Centrische Verschuiving: Analyse van de verdeling van cosinus-afstanden onthulde dat CALE succesvol de neiging van basemodellen omkeert waarbij polyseme paren (DC/SL) dichter bij elkaar liggen dan synonieme paren (SC/DL). In CALE liggen synonieme paren dichterbij, wat wijst op een verschuiving naar een concept-centrische organisatie.
WordNet Uitlijning: CALE-embeddings vertoonden de hoogste Spearman-correlatie (>0,50) met Wu-Palmer gelijkenissen in WordNet, wat duidt op een sterkere uitlijning met gevestigde conceptuele hiërarchieën dan andere modellen.
Clustering: CALE-modellen leverden de hoogste Silhouette-scores op, wat wijst op een betere conceptuele clustering, hoewel de scores over het algemeen laag bleven vanwege de fijne granulariteit van WordNet-synsets.

Betekenis en Claims

Het artikel claimt dat Concept Differentiation dient als een veelbelovend, algemeen bruikbaar trainingssignaal voor de lexicale semantiek. De primaire betekenis ligt in het aantonen dat één enkele fine-tuning doelstelling representaties kan produceren die effectief zijn voor:

Veelzijdige toepassingen: Het afhandelen van zowel intra-lemma (zin) als inter-lemma (concept) taken.
Cross-linguale transfer: Het behalen van sterke prestaties op niet-Engelse taken ondanks Engelstalige training.
Structurele uitlijning: Het organiseren van de embeddingruimte om de conceptuele structuur van bronnen zoals WordNet nauwkeuriger te reflecteren dan voorheen state-of-the-art modellen.

De auteurs concluderen dat de verschuiving van een focus op "woordzin" naar een focus op "semantisch concept" modellen in staat stelt om de bredere structuur van lexicale betekenis te vatten, waardoor CALE een waardevolle tool is voor studies die woordvormen aan concepten koppelen en diverse computationele lexicale semantische toepassingen.

Beperkingen

De auteurs erkennen enkele beperkingen:

Datatekort: Fine-tuning werd uitsluitend uitgevoerd op Engelse data; de robuustheid in minder rijke of typologisch afstandelijke talen is niet grondig geëvalueerd.
Binaire Vereenvoudiging: De binaire aard van de taak kan de semantische gelijkenis, die vaak gradueel is, oversimplificeren.
Gebrek aan Ontologische Supervisie: De modellen ontvangen geen directe supervisie met betrekking tot ontologische hiërarchieën (bijv. hyperoniemie) of fijnmazige relaties buiten de binaire concept-match.
Schaalbaarheid: De studie richtte zich op architecturale aanpassingen in plaats van het schalen van modelparameters of embedding-dimensies.