Technische Samenvatting: Woordgecentreerde Semantische Grafen voor Interpreteerbare Diachrone Zins-tracking

Probleemstelling

Semantische verschuiving — de transformatie van woordbetekenissen in de loop van de tijd door culturele, technologische en sociale factoren — is een centrale uitdaging in de historische taalkunde en natuurlijke taalverwerking (NLP). Hoewel recente computationele benaderingen de detectie van semantische verandering hebben geavanceerd, kampen bestaande methoden met aanzienlijke beperkingen bij het representeren van polysemie (woorden met meerdere betekenissen).

• Statische Embedding-benaderingen: Methoden die vertrouwen op statische woordembeddings (bijv. Word2Vec) comprimeren meerdere zinnen in een enkele vector. Deze aggregatie maakt het moeilijk om zin-specifieke veranderingen te ontrafelen, aangezien het model niet het onderscheid kan maken tussen een verschuiving in de dominante zin versus de opkomst van een nieuwe zin.
• Contextuele Embedding-benaderingen: Hoewel contextuele modellen (bijv. BERT, RoBERTa) meerdere zinnen kunnen representeren, vereisen ze doorgaans het aggregeren van token-representaties naar discrete zin-inventarissen via clustering of gesuperviseerde classificatie. Dit introduceleert uitdagingen met betrekking tot vergelijkbaarheid over de tijd, de gevoeligheid voor het aantal clusters, en de verwarring tussen gebruiks-gelijkenis en semantische verwantschap.
• Interpretabiliteitskloof: Veel bestaande methoden vertrouwen op vooraf gedefinieerde zin-inventarissen (zoals WordNet) of produceren "black box" vector-drifts die geen transparante, structurele verklaringen bieden voor hoe zinnen evolueren.

De auteurs stellen dat er behoefte is aan een framework dat woordbetekenis relationeel representeert, de dynamiek van polysemie vangt zonder vooraf gedefinieerde inventarissen, en interpreteerbaarheid biedt op zowel het zin- als het woordniveau.

Methodologie

Het artikel stelt een woordgecentreerd semantisch graaf-framework voor dat statische distributionele gelijkenis integreert met contextuele lexicale substituibiliteit om de evolutie van zinnen te modelleren. De methodologie verloopt in vier fasen:

1. Constructie van Woordgecentreerde Semantische Grafen

Voor een doelwoord $w$ in een specifieke tijdssegment $t$, construeren de auteurs een graaf $G^t_w = (N^t_w, E^t_w)$ door twee complementaire bronnen van semantisch bewijs te integreren:

• Distributionele Buren (Statisch): Met behulp van een Skip-gram (Word2Vec) model getraind op het corpus van het tijdssegment, worden de top $k_i$ woorden met de hoogste cosinus-gelijkenis tot $w$ geselecteerd. Deze vangen globale lexicale associaties op.
• Substitutie-Buren (Contextueel): Een RoBERTa masked language model, gefinetuned op hetzelfde corpus, voorspelt substituten voor gemaskeerde voorkomens van $w$. De top $k_c$ voorspelde substituten vormen de substitutie-set, die gebruik-geconditioneerde betekenissen vangt.
• Graaf-expansie: De initiële buurt is de unie van deze twee sets. De graaf wordt vervolgens laag-voor-laag uitgebreid (tot diepte $L$) om indirecte associaties te vangen. Edges worden toegevoegd tussen knopen als zij een distributionele of substitutionele relatie delen.

2. Identificatie van Zin-gemeenschappen via Perifere Connectiviteit

Om onderscheidende zinnen te identificeren zonder embedding-vectoren direct te clusteren, analyseren de auteurs de perifere graaf ($G^t_{w,per}$), wat de originele graaf is waarbij de centrale doelknoop $w$ en de bijbehorende edges zijn verwijderd.

• Connected Components: De verbonden componenten (connected components) van deze perifere graaf worden gedefinieerd als zin-gemeenschappen ($C^t(w)$).
• Ratio: Omdat de centrale knoop de buren triviaal verbindt, onthult het verwijderen ervan de onderliggende structuur waar buren clusteren op basis van wederzijdse semantische verwantschap. Disconnected componenten in de perifere graaf vertegenwoordigen onderscheidende, co-existente zinnen (polysemie), terwijl een enkele grote component een verenigde betekenis suggereert.

3. Temporele Uitlijning en Verfijning

Om zinnen over de tijd te volgen, lijnt het framework clusters van tijd $t$ uit met die van $t-1$ (of eerdere perioden) op basis van knoop-overlap:

• Uitlijningsstrategie: Een cluster $C^t_i$ wordt uitgelijnd met de cluster $C^{t-1}_j$ die de intersectie van hun knoop-sets maximaliseert.
• Historische Uitlijning: Om heropdoemende zinnen te behanden, kan de uitlijning ook terugkijken naar elk vorig tijdssegment $k < t$.
• Verfijning: Clusters die niet gedurende ten minste twee tijdsperioden standhouden, worden samengevoegd in een residu-cluster om efemere ruis of transiënte gebruiksspikes te filteren.

4. Schatting van de Zin-gebruiksdistributie

De frequentie van een zin wordt geschat door de genormaliseerde clustermassa. De grootte van een cluster (aantal knopen) relatief aan de totale graafgrootte levert een waarschijnlijkheidsverdeling over zinnen ($P^t(C_i | w)$), wat het volgen van de dominantie, verbreding of vernauwing van zinnen over de tijd mogelijk maakt.

Belangrijkste Bijdragen

1. Verenigde Graaf-gebaseerde Representatie: Het artikel introduceert een nieuw framework dat statische distributionele gelijkenis en contextuele substituibiliteit combineert in één enkele graafstructuur, waardoor de valkuilen van puur vector-gebaseerde of puur inventaris-gebaseerde benaderingen worden vermeden.
2. Interpreteerbare Zin-tracking: Door zinnen te definiëren als verbonden componenten in een perifere graaf, biedt de methode een transparante, structurele verklaring voor polysemie en semantische verandering zonder afhankelijk te zijn van vooraf gedefinieerde zin-inventarissen.
3. Diachrone Uitlijning zonder Vectorruimte-uitlijning: De aanpak volgt de continuïteit van zinnen via knoop-overlap in plaats van complexe uitlijning van embedding-ruimtes over verschillende tijdsperioden te vereisen.
4. Granulaire Analyse van Semantische Verschuiving: Het framework maakt onderscheid tussen verschillende typen semantische verandering, inclusocief event-gedreven zin-vervanging, geleidelijke associatieverschuivingen en semantische stabiliteit.

Resultaten en Toepassingsstudie

Het framework werd toegepast op een diachroon corpus van New York Times Magazine artikelen (1980–2017), met de focus op drie doelwoorden met contrasterende semantische profielen: trump, god en post.

• Trump (Event-gedreven Vervanging):
  • 1980s: De graaf vertoonde een dichte, cohesieve structuur die overeenkwam met de letterlijke "kaartspel" zin (lage polysemie).
  • 1990s–2000s: De graaf breidde zich uit en fragmenteerde, wat disconnected communities onthulde gerelateerd aan zaken en vastgoed (de carrière van Donald Trump), wat duidt op een periode van hoge polysemie.
  • 2015–2017: De graaf onderging een substantiële herconfiguratie. De letterlijke kaartspel-zin verdween uit de buurt, volledig vervangen door een politieke community (kandidaat, campagne). Dit demonstreerde een volledige zin-vervanging gedreven door historische gebeurtenissen.
• God (Semantische Stabiliteit):
  • De graaf bleef structureel consistent over de tijd met hoge inter-knoop gelijkenissen en zonder de opkomst van disconnected communities.
  • Perifere clustering leverde veel kleine clusters op, maar deze waren semantisch homogeen en sterk onderling verbonden, wat suggereert dat ze facetten van een enkele onderliggende zin vertegenwoordigen in plaats van onderscheidende betekenissen. Dit benadrukt het vermogen van de methode om echt onderscheid te maken tussen ware polysemie en over-segmentatie.
• Post (Geleidelijke Associatieverschuiving):
  • Het woord vertoonde stabiele buurten tot ongeveer 2005–2010.
  • Sindsdien breidde de graaf zich uit om knopen te bevatten die gerelateerd zijn aan digitale communicatie (bijv. twitter, video, email). In tegen tegenstelling tot trump, was dit geen vervanging van een oude zin, maar een verbreding van associaties naarmate technologie meer geïntegreerd raakte in het dagelijs taalgebruik.

Betekenis en Claims

De auteurs positioneren dit werk als een stap naar interpreteerbare en transparante semantische analyse.

• Interpreteerbaarheid: In tegen tegenstelling tot "black box" vector-drifts, laat de graafstructuur onderzoekers toe om visueel en structureel te inspecteren hoe zinnen ontstaan, co-existeren en verdwijnen.
• Geen Vooraf Gedefinieerde Inventarissen: De methode laat zin-structuren dynamisch ontstaan uit corpus-bewijs, waardoor de bias van vaste woordenboeken of de gevoeligheid voor clustering-hyperparameters wordt vermeden.
• Polysemie Dynamiek: Het framework slaagt erin de "polysemie dynamiek" van woorden te vangen, waarbij het laat zien hoe connectiviteitspatronen (dicht vs. disconnected) de mate van polysemie reflecteren.
• Bescheiden Omvang: Het artikel merkt expliciet op dat dit een toepassingsstudie is en geen benchmark-evaluatie. Het legt de nadruk op de interpreteerbaarheid en kwalitatieve inzichten die het framework biedt, in plaats van te claimen superieur kwantitatief te presteren op standaard detectie-benchmarks. De auteurs erkennen beperkingen met betrekking tot de gevoeligheid voor hyperparameters en potentiële corpus-biases (bijv. de redactionele focus van NYT Magazine).

Concluderend demonstreert het artikel dat woordgecentreerde semantische grafen een compacte en flexibele representatie bieden voor het verkennen van de evolutie van zinnen, waarbij ze in staat zijn om contrasterende trajecten van semantische verandering te modelleren zonder afhankelijk te zijn van externe zin-inventarissen.