Finding Meaning in Embeddings: Concept Separation Curves

Probleemstelling

Sentence embedding-technieken zijn ontworpen om de kernconcepten van zinnen te coderen in een vectorruimte. Echter, de huidige evaluatiemethoden voor de kwaliteit van deze embeddings zijn grotendeels afhankelijk van extra classificatoren of downstream-taken. Dit creëert een onduidelijkheid: komen goede resultaten voort uit de embedding zelf, of uit het gedrag van de classifier? Daarnaast zijn veel bestaande methoden afhankelijk van dure menselijke annotaties en maken ze de impliciete aanname dat een correct antwoord in een taak ook daadwerkelijk een begrip van onderliggende concepten impliceert. Dit is problematisch, omdat modellen succesvol kunnen zijn zonder de semantische concepten daadwerkelijk te representeren.

Methodologie

De auteurs introduceren een classificator-onafhankelijke methode om de effectiviteit van sentence embeddings te evalueren. De kern van de aanpak is het systematisch introduceren van twee soorten perturbaties (verstoringen) in zinnen en het kwantificeren van hun impact op de resulterende embeddings:

1. Fuzzing (Oppervlakkige verstoring): Het toevoegen van niet-semantische ruis (bijv. het invoegen van een lidwoord zoals "de", "het", "a" of "the"). Dit verandert de oppervlakte-vorm van de zin maar behoudt het concept.
2. Negation (Semantische verstoring): Het toevoegen van een negatief partikel (bijv. "niet" of "not"). Dit verandert de oppervlakte-vorm minimaal, maar keert de betekenis van de zin om.

Het proces:

• Voor elke zin in een corpus worden beide perturbaties toegepast via token-invoeging.
• De embeddings van de originele, de "ge-fuzzed" en de "ge-negateerde" zinnen worden berekend.
• De vectorafstanden (cosine similariteit) tussen de originele zin en de perturbaties worden gemeten.
• Concept Separation Curves (CSCs): Deze visualisaties tonen de verdeling van de similariteitsscores. Een goede embedding zou de "Fuzzed" vectoren dicht bij de originele vector moeten houden (hoge similariteit), terwijl de "Negated" vectoren significant verder weg moeten liggen (lagere similariteit).
• Kwantificering: Om de overlap tussen de twee verdelingen te meten, wordt een oppervlakte-overlap-score berekend (waarbij 0 geen overlap en 1 perfecte overlap betekent). Een lage overlap duidt op een goede conceptseparatie.

De studie gebruikt data in het Nederlands en Engels, variërend in lengte (korte zinnen vs. lange zinnen) en domein (CompetentNL, ESS, Paracrawl), en test diverse modellen (TF-IDF, FastText, GroNLP, MPNET, RobBERTa, LaBSE).

Belangrijkste Bijdragen

1. Concept Separation Curves (CSCs): Een nieuwe, classificator-onafhankelijke methode om embeddings te evalueren door semantische en oppervlakkige perturbaties tegen elkaar af te zetten.
2. Geautomatiseerd, annotatie-vrij framework: Een systeem dat gebaseerd is op gecontroleerde grammaticale wijzigingen (invoeging van tokens) in plaats van handmatige annotatie of menselijke beoordeling.
3. Geometrische overlap-maatstaf: Een nieuwe metriek om de scheiding tussen semantische en niet-semantische effecten in de embedding-ruimte te kwantificeren.
4. Analyse van falingsmodi: Identificatie van problemen gerelateerd aan token-positiesensitiviteit en zinslengte, waarbij bepaalde modellen (zoals MPNET en RobBERTa) zich meer gedragen als hash-algoritmen dan als concept-embeddings.

Resultaten

• Modelprestaties: Er zijn aanzienlijke verschillen tussen modellen. Modellen zoals GroNLP (voor Nederlands) en LaBSE (voor Engels) tonen een goede conceptseparatie (lage overlap, duidelijke scheiding in de curves).
• Foutpatronen: Modellen zoals FastText en bepaalde BERT-varianten (MPNET, RobBERTa) tonen vaak een hoge overlap. In sommige gevallen zijn de "ge-negateerde" zinnen zelfs dichter bij het origineel dan de "ge-fuzzed" zinnen, wat aangeeft dat het model het concept niet goed heeft ingebouwd.
• Token-positiesensitiviteit: Sommige modellen reageren extreem op de positie van tokens in plaats van op de inhoud. Bij korte zinnen leidden zowel Fuzzing als Negation tot drastische vectorveranderingen, wat suggereert dat het model meer werkt als een hash-functie dan als een semantische encoder.
• Invloed van zinslengte: De methode presteert minder goed bij langere zinnen. Omdat de perturbatie (één token) een kleiner percentage van de totale zin uitmaakt bij langere zinnen, wordt het effect minder zichtbaar in de vectorruimte.
• Taalverschillen: Er is een verschil in prestaties tussen het Nederlands en het Engels, waarbij Nederlandse datasets over het algemeen een betere scheiding lieten zien voor de geteste modellen, mogelijk door het verschil in beschikbare trainingsdata.

Betekenis en Conclusie

De paper biedt een interpreteerbare, reproduceerbare en cross-model aanpak om de conceptuele stabiliteit van sentence embeddings te beoordelen zonder afhankelijk te zijn van externe classificatoren of menselijke annotatie.

De belangrijkste conclusies zijn:

• Niet alle state-of-the-art embeddings zijn even goed in het vastleggen van concepten; sommige zijn gevoelig voor oppervlakkige veranderingen of tokenposities.
• De methode blootlegt dat zinslengte een beperkende factor is voor de detectie van conceptuele veranderingen.
• De resultaten suggereren dat sommige modellen, ondanks hun prestaties in downstream-taken, mogelijk geen diepgaand semantisch begrip hebben, maar eerder patronen herkennen die specifiek zijn voor de trainingsdata of de taak.

Deze methode is waardevol voor domeinen waar zekerheid over conceptuele betekenis cruciaal is, en biedt een nieuwe standaard voor het evalueren van de intrinsieke kwaliteit van embedding-modellen. De code en een interactieve demo zijn open source beschikbaar.