Technische Samenvatting: Hiërarchische Conceptgeometrie in Taalmodellen Ontstaat uit Woordco-voorkomen

Probleemstelling

Grote Taalmodellen (LLMs) en woordembeddings vertonen geometrische structuren waarbij semantische relaties, zoals hyperoniemie (de "is-een"-relatie), lijken te worden gecodeerd via specifieke richtingen of deelruimten. Eerdere studies, met name Park et al. [13], stelden een "hypothese van lineaire representatie" voor, die suggereert dat hiërarchische geometrie voortkomt uit een functioneel mechanisme waarbij conceptvectoren orthogonaal zijn aan hun ouders, wat een schone semantische manipulatie mogelijk maakt (bijvoorbeeld het sturen van "vogel" naar "vis" zonder het "dier-zijn" te verliezen). De oorsprong van deze geometrie blijft echter omstreden: is het het resultaat van een expliciet functioneel ontwerp of een emergente eigenschap van de data-distributie? Dit artikel onderzoekt of de hiërarchische splitsingsgeometrie die wordt waargenomen in LLMs en woordembeddings een noodzakelijk gevolg is van woordco-voorkomststatistieken in plaats van een hiërarchie-specifiek functioneel mechanisme.

Methodologie

Theoretisch Kader

De auteurs stellen een distributionele theorie voor die gebaseerd is op de aanname dat woorden die dichter bij elkaar liggen in de WordNet-hyperoniemie-graf vaker samen voorkomen in tekst.

1. Co-voorkomstmodel: Ze definiëren een genormaliseerde co-voorkomstmatrix $M^\star$ (gerelateerd aan Pointwise Mutual Information) waarbij de waarden afhangen van de semantische afstand tussen woorden. Ze gaan uit van een kernfunctie $f(\text{dist}(i, j))$ die positief is en strikt afneemt met de afstand.
2. Spectrale Decompositie: Het artikel analyseert de eigendecompositie van $M^\star$ voor woorden die een perfecte binaire subboom van WordNet vormen. Met behulp van een hiërarchie-geadapteerde Haar-golffunctiebasis bewijzen ze dat de eigenvectoren van $M^\star$ zich hiërarchisch organiseren:
   • De leidende eigenvector (schalingsmodus) varieert alleen met diepte.
   • Opvolgende eigenvectoren (golffunctiemodi) splitsen subbomen van grove naar fijne niveaus.
   • Het spectrum vertoont een "grof-naar-fijn" ordening, waarbij dominante niet-schalende modi overeenkomen met hogere taxonomische splitsingen voordat fijnere subtakken worden behandeld.
3. Parametrisch Model: Om kwantitatieve voorspellingen te doen, realiseren de auteurs de kern met een exponentiële afnamefunctie $f(d) = \alpha e^{-\beta d}$, waarbij de parameters worden aangepast aan empirische co-voorkomstgegevens.

Empirische Validatie

De theorie wordt getest tegen twee soorten representaties:

1. Word2vec Embeddings: De auteurs construeren word2vec-embeddings direct uit de top-eigenvectoren van de empirische co-voorkomstmatrix, afgeleid van het Wikipedia-corpus. Ze stalen perfecte binaire subbomen met diepte $L=3$ uit de WordNet-hiërarchie.
2. LLM Representaties: Ze analyseren de unembedding-vectoren van het Gemma 2B-model (en de activaties van de residustroom van Llama 3.2-1B voor robuustheid). De vectoren worden gecentreerd en ge-whitened om globale anisotropie te verminderen.

Metrieken:

• Top-k Eigenspace Alignering: Omdat theoretische eigenvectoren voor ontaarde deelruimten slechts tot rotatie gedefinieerd zijn, vergelijken de auteurs de alignering van de top-$k$ eigenspaces tussen de empirische Gram-matrices en de theoretische Gram-matrices die zijn afgeleid uit de gefitte kern.
• Orthogonaliteit van Conceptvectoren: Ze repliceren de diagnose van Park et al. [13] door de cosinus-similariteit te meten tussen oudervectoren en de "innovatie"-vectoren (kind minus ouder) om te testen op benaderende orthogonaliteit.

Belangrijkste Bijdragen

1. Distributionele Oorsprong van Hiërarchie: Het artikel biedt een eenvoudig statistisch mechanisme dat aantoont dat hiërarchische splitsingsgeometrie natuurlijk voortkomt uit paarwijze woordco-voorkomststatistieken, zonder dat expliciete functionele beperkingen of hiërarchie-specifieke trainingsdoelen nodig zijn.
2. Grof-naar-fijn Spectrale Organisatie: De auteurs bewijzen en verifiëren dat de leidende eigenvectoren van de co-voorkomst-Gram-matrix zich hiërarchisch organiseren, eerst brede taxonomische takken scheiden (bijvoorbeeld planten versus dieren) en vervolgens progressief fijnere subtakken (bijvoorbeeld vogels versus vissen).
3. Uitbreiding naar LLMs: De studie toont aan dat dit specifieke spectrale signatuur opvallend goed van toepassing is op LLM-unembeddings (Gemma 2B), wat suggereert dat de hiërarchische geometrie in LLMs een bijproduct kan zijn van dezelfde co-voorkomststatistieken die word2vec aandrijven.
4. Herinterpretatie van Conceptvectoren: Door aan te tonen dat een puur door co-voorkomst gedreven model het patroon van "orthogonale innovatie" reproduceert dat door Park et al. werd waargenomen, betoogt het artikel dat dit geometrische kenmerk niet noodzakelijkerwijs een functioneel mechanisme voor hiërarchisch redeneren impliceert, maar kan voortkomen uit de spectrale structuur van paarwijze statistieken.

Resultaten

• Theoretische versus Empirische Alignering: Zowel in word2vec als in Gemma 2B-unembeddings aligneren de top-$k$ eigenspaces van de empirische Gram-matrices significant beter met de theoretische voorspellingen (gebaseerd op de gefitte exponentiële kern) dan met baselines met geschudde labels. Deze alignering geldt voor diverse semantische hiërarchieën (bijvoorbeeld organismen, cognitie).
• Visuele Bevestiging: Projecties van taxonomienodes op hoofdcomponenten (PC's) onthullen de voorspelde hiërarchische splitsing. Bijvoorbeeld, in de taxonomie van organismen scheidt PC2 planten van dieren, terwijl de ontaarde PC's 3–4 vogels van vissen en bloemen van bomen splitsen.
• Robuustheid: De resultaten blijven bestaan bij verschillende kernparametriseringen (exponentieel versus machts-wet), verschillende boomdieptes ($L=2$ en $L=3$) en verschillende representatietypes (ge-whitened unembeddings, gecentreerde niet-ge-whitened embeddings en interne activaties van de residustroom).
• Diagnose van Conceptvectoren: Het co-voorkomstmodel reproduceert de bijna-orthogonaliteit van ouder-kind-innovaties die in LLMs worden gevonden, wat bevestigt dat dit patroon consistent is met een puur statistische oorsprong.

Betekenis en Beweringen

Het artikel claimt het functionele beeld van hiërarchische geometrie in representatieruimtes te verfijnen. Hoewel de geometrie echt en robuust is, betogen de auteurs dat deze niet noodzakelijk moet voortkomen uit exacte orthogonale conceptrichtingen die worden gedreven door een hiërarchie-specifiek functioneel mechanisme. In plaats daarvan is de in de praktijk waargenomen benaderende orthogonaliteit een gevolg van de spectrale structuur die wordt veroorzaakt door paarwijze woordstatistieken.

Het werk ondersteunt een bredere visie waarbij woordembeddings worden gekenmerkt door discrete, continue en hiërarchische attributen. Woorden met vergelijkbare attributen komen vaker samen voor, en deze statistische regelmaat alleen al geeft aanleiding tot de elegante geometrische organisatie van embeddings. Hoewel een dergelijke organisatie nuttig kan zijn voor functie, stelt het artikel dat deze niet door die functie wordt gedreven. De bevindingen suggereren dat de hiërarchische structuur in LLMs een emergente eigenschap is van de data-distributie in plaats van een geleerde functionele noodzaak.