Geometry of Semantic Space: Comparative Study of Discrete and Continuous Models

Technische Samenvatting: Geometrie van de Semantische Ruimte – Vergelijkende Studie van Discrete en Continue Modellen

Probleemstelling
Het artikel behandelt de uitdaging om de kwaliteit van NLP-modellen (Natural Language Processing) te evalueren door de geometrische consistentie van de geïnduceerde semantische structuren te analyseren. Hoewel gesuperviseerde vector-embeddings (bijv. CamemBERT) een hoge prestatie leveren, vertonen hun geïnduceerde geometrieën vaak onbevredigende distributies die de organisatie van betekenis kunnen verstoren. Daarentegen bieden graafgebaseerde modellen, die steunen op discrete lexicale co-occurrenties, meer expliciete buurtstructuren. De auteurs hypothetiseren dat het vergelijken van de geometrieën afgeleid van deze twee paradigma's op hetzelfde corpus kan onthullen wat hun respectieve beperkingen en complementariteiten zijn, specifiek met betrekking tot hoe goed zij de door mensen bedachte organisatie van betekenis weerspiegelen.

Methodologie
De studie hanteert een vergelijkend kader toegepast op het "Grand Débat National"-corpus (ongeveer 10 miljoen zinnen uit de Franse publieke consultatie van 2019). Om een eerlijke vergelijking te garanderen, maken beide modellen gebruik van dezelfde linguïstische eenheden: regelmatige co-occurrence cliques. Deze cliques zijn verzamelingen woorden die met een hoge waarschijnlijkheid samen voorkomen (gemeten via Pointwise Mutual Information, PMI), en dienen als gecontextualiseerde semantische eenheden in plaats van geïsoleerde woorden.

Twee verschillende modellen worden geconstrueerd:

1. Graafmodel ($G_c$): Een discrete graaf waarbij de knopen co-occurrence cliques zijn. De randen worden gedefinieerd door een gelijkenisfunctie $s$ die lexicale overlap en contextuele gelijkenis (gewogen door $\lambda$) combineert met behulp van Positive PMI (PPMI).
2. Gesuperviseerd Vectormodel ($G_b$): Een continu model dat gebruikmaakt van CamemBERT (een RoBERTa-gebaseerde Transformer die is voorgetraind op Franse tekst). Co-occurrence cliques worden ingebed door de gecontextualiseerde embeddings van hun constituerende woorden over relevante zinnen te middelen, wat resulteert in 768-dimensionale vectoren. Een graaf $G_b$ wordt vervolgens afgeleid uit deze vectoren op basis van cosinus- of Euclidische gelijkenis.

Vergelijkingstechnieken
De auteurs maken gebruik van twee primaire benaderingen om de semantische geometrieën te vergelijken:

• Graph Embedding: De discrete graaf $G_c$ wordt ingebed in vectorenruimtes met behulp van vier methoden (Force-Directed, Spectral, Isomap, Node2Vec) om een directe geometrische vergelijking met de CamemBERT-ruimte mogelijk te maken.
• Structurele Analyse: De vectorenruimte wordt omgezet in een graaf $G_b$, en zowel $G_c$ als $G_b$ worden geanalyseerd met behulp van grafentheoretische instrumenten, waaronder:
  • BFS Subtrees: Om lokale semantische buurten te onderzoeken.
  • Metrische Correlatie: Het vergelijken van graafgebaseerde afstanden met vectorgebaseerde gelijkenissen.
  • Centraliteitsmaten: Het analyseren van de distributies van graad- en tussenliggende centraliteit (betweenness centrality).
  • Clustering: Het gebruik van het Infomap-algoritme om gemeenschappen te detecteren en de clusterhomogeniteit en semantische coherentie te evalueren.
  • Betrouwbaarheid (Trustworthiness, $T_w$): Het meten van hoe goed de lokale structuur van de graaf behouden blijft in de embedding-ruimte naarmate de dimensionaliteit varieert.

Belangrijkste Resultaten

• Lokale versus Globale Consistentie: De modellen vertonen vergelijkbare lokale topologieën; CamemBERT-embeddings stemmen goed overeen met de discrete graafstructuur in de directe buurt van een wortel-clique. Echter, deze correlatie neemt snel af (binnen 10–15 knopen), wat aangeeft dat het continue model er niet in slaagt de geleidelijke, progressieve organisatie van betekenis te behouden die in de discrete graaf aanwezig is.
• Semantische Distorsie in de Continue Ruimte: In de CamemBERT-ruimte worden semantische onderscheiden "gladgestreken" en snel gemiddeld. De distributie van cosinus-gelijkenissen is gecentreerd rond 0,9 (in plaats van 0), wat wijst op een "kegel" van geconcentreerde vectoren en een gebrek aan effectief gebruik van de hoog-dimensionale ruimte (een manifestatie van de Vloek van de Hoge Dimensionaliteit).
• Structurele Divergentie:
  • $G_b$ (Vector-afgeleid): Vertoont een heterogene structuur met enkele hyper-verbonden knopen (graad tot 100) en veel geïsoleerde knopen. Het mist knopen met een hoge tussenliggende centraliteit, wat betekent dat geen enkele clique fungeert als een significante brug tussen lexicale velden.
  • $G_c$ (Graaf-afgeleid): Vertoont een meer homogene structuur met een lagere maximale graad (25) en een breder bereik aan tussenliggende centraliteit. Specifieke cliques (bijv. die ecologie en landbouw verbinden) fungeren als structurele bruggen, waardoor een gelaagde geometrie van lexicale nabijheid ontstaat.
• Clusterkwaliteit: Clustering via Infomap laat zien dat $G_c$ meer homogene clusters produceert met een hogere semantische coherentie. In tegenstelling hiertoe bevatten $G_b$-clusters vaak thematisch ongerelateerde cliques (bijv. "windenergie" en "luidruchtige conversatie").
• Dimensionaliteit: De graaf-embedding van $G_c$ bereikt een hoge betrouwbaarheid (>0,7) met dimensies onder de 100, wat suggereert dat de discrete semantische structuur effectief gerepresenteerd kan worden in lagere dimensies vergeleken met de 768 dimensies die door CamemBERT worden gebruikt.

Significantie en Claims
Het artikel claimt dat hoewel diepe gesuperviseerde modellen effectief zijn voor taken met lokale context, zij lijden onder structurele beperkingen bij het representeren van de globale organisatie van de semantische ruimte. Het discrete graafmodel gebaseerd op co-occurrence cliques demonstreert:

1. Een betere gradatie van semantische afstanden.
2. Een gelijkmatigere distributie van de embedding-ruimte.
3. Een meer homogene graafstructuur met betrekking tot connectiviteit en clustercoherentie.

De auteurs suggereren dat deze bevindingen wijzen op een complementair perspectief: het integreren van graafgebaseerde structurele inzichten zou neurale architecturen kunnen begeleiden naar een stabielere, interpreteerbare convergentie en potentieel de effectieve dimensionaliteit die nodig is voor semantische representatie kan verminderen. De studie is bescheiden van omvang en merkt op dat deze beperkt is tot de Franse taal, één specifiek corpus en één specifiek model, en roept op tot verder onderzoek om deze bevindingen over andere talen en architecturen te valideren.