💬 NLP

Local and Global Regimes of Geometric Complexity in Language Model Representations

Dit artikel onthult dat de relatie tussen lexicale diversiteit en intrinsieke dimensionaliteit in representaties van taalmodellen een voorspelbare, schaalafhankelijke omkering ondergaat, wat aantoont dat intrinsieke dimensionaliteit geen rechtstreekse maatstaf voor complexiteit is, maar eerder een fundamenteel organisatieprincipe van linguïstische data weerspiegelt.

Oorspronkelijke auteurs: Arwa Osman, Marco Baroni, Iuri Macocco

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arwa Osman, Marco Baroni, Iuri Macocco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de vorm te begrijpen van een enorme, onzichtbare wolk gemaakt van pure gedachte. Dit is de wereld van Kunstmatige Intelligentie, specife**lijk de "hersenen" van een Large Language Model (LLM). Deze modellen slaan niet alleen woorden op; ze veranderen elke zin die ze lezen in een complexe, meerdimensionale kaart. Om te achterhalen hoe ingewikkeld deze kaarten zijn, gebruiken wetenschappers een hulpmiddel genaamd Intrinsieke Dimensionaliteit (ID). Denk aan ID als een manier om te meten hoe "verspreid" of "druk" de data is. Als een groep ideeën heel simpel is, kunnen ze zich samenballen in een compacte, platte cirkel (lage ID). Als ze wild complex en divers zijn, kunnen ze uitstrekken tot een uitgestrekte, hoogdimensionale jungle (hoge ID). Wetenschappers houden ervan om ID te gebruiken om te raden hoe slim een model is of hoe moeilijk een taak is, uitgaande van de aanname dat een hoger aantal wijst op een rijkere, complexere structuur. Maar hier is de crux: wat als het getal helemaal niet zegt over de ideeën, maar alleen over hoe we ze geteld hebben?

Dit is het puzzelstuk waar Arwa Osman, Marco Baroni en Iuri Macocco zich mee bezighouden in hun paper, "Local and Global Regimes of Geometric Complexity in Language Model Representations." Zij ontdekten dat de "complexiteitsscore" (ID) van de hersenen van een taalmodel geen vaste waarheid is. In plaats daarvan kantelt het als een schakelaar, afhankelijk van hoeveel verschillende woorden je het voert versus hoeveel keer je ze herhaalt. Ze ontdekten dat als je een kleine menigte unieke woorden hebt, het model verrassend complex lijkt. Maar als je een enorme menigte unieke woorden hebt, lijkt het model nóg complexer—maar dan om een totaal andere reden. Het meest verrassende deel? Als je twee soorten woorden vergelijkt (zoals "zelfstandige naamwoorden" en " voorzetsels") zonder te controleren voor hoeveel unieke woorden er in elke groep zitten, krijg je misschien het antwoord achterstevoren. Het blijkt dat de "complexiteit" die we zien, slechts een optische illusie kan zijn veroorzaakt door de omvang van de woordenschat, en niet door de werkelijke moeilijkheid van de woorden zelf.

De Grote Woordenschat-Switcheroo

Om dit te begrijpen, laten we de hersenen van een taalmodel voorstellen als een gigantische, magische dansvloer. Elke keer dat het model een woord ziet, stuurt het een danser naar de vloer om een pose aan te nemen. Als het model het woord "kat" duizend keer ziet, stuurt het duizend "kat"-dansers uit. Hoewel dit allemaal "kat"-dansers zijn, kunnen ze net iets anders poseren afhankelijk van de zin waarin ze staan (bijv. "De kat slaapt" versus "De kat springt").

De onderzoekers wilden weten: Hoe verandert het aantal verschillende woorden (lexicale diversiteit) de vorm van deze dansvloer?

Ze zetten een grootschalig experiment op met een dataset van 10.000 samples. Ze creëerden 11 verschillende scenario's. In één scenario gebruikten ze slechts 1 uniek zelfstandig naamwoord (zoals "kat") herhaald 10.000 keer. In een ander scenario gebruikten ze 10.000 unieke zelfstandige naamwoorden (zoals "kat", "hond", "olifant", enz.), waarbij elk woord slechts één keer voorkwam. Vervolgens maten ze de "Intrinsieke Dimensionaliteit" (ID) van de poses van de dansers met een speciale liniaal genaamd GRIDE.

De Twee Regimes: Het Lokale versus Het Globale

De resultaten waren bizar. De relatie tussen het aantal unieke woorden en de complexiteitsscore ging niet alleen omhoog of omlaag; het keerde om afhankelijk van de schaal van de meting.

1. Het Lokale Regime (Het "Drukke Kamer"-effect)
Wanneer de onderzoekers een kleine meetschaal gebruikten (waarbij ze slechts naar een paar buren tegelijk keken) en een lage lexicale diversiteit hadden (weinig unieke woorden, veel herhalingen), gebeurde er iets vreemds. Hoe minder unieke woorden ze hadden, hoe hoger de complexiteitsscore was.

De Analogie: Stel je een dansvloer voor met slechts één type danser (bijvoorbeeld "katten"). Als je 10.000 katten hebt, zitten ze dicht op elkaar gepakt. Maar omdat er zoveel van hen zijn, worden ze gedwongen om elke minuscule, subtiele manier te vinden om anders te poseren om elkaar niet te raken. Het "lokale" gebied rondom elke individuele kat is vol gepakt met variaties. De liniaal ziet deze dichte, drukke variatie en zegt: "Wauw, dit is een zeer complexe, hoogdimensionale ruimte!"
Het Resultaat: Minder unieke woorden = Hogere ID (in deze specifieke lokale kijk).

2. Het Globale Regime (Het "Massale Parade"-effect)
Toen ze overschakelden naar een grotere meetschaal of het aantal unieke woorden verhoogden, draaide de regel om. Nu leidde het hebben van meer unieke woorden tot een hogere complexiteitsscore.

De Analogie: Stel je nu een parade voor met 10.000 verschillende soorten dansers (katten, honden, olifanten, astronauten, enz.). Elk type heeft zijn eigen duidelijke plek op de dansvloer. Het "lokale" gebied rondom elke individuele danser is leeg, omdat er geen andere "katten" in de buurt zijn om hen te verdringen. In plaats daarvan kijkt de liniaal naar de hele parade en ziet dat de dansers verspreid zijn over het hele universum van mogelijkheden. De ruimte is enorm omdat er zoveel verschillende soorten dingen zijn.
Het Resultaat: Meer unieke woorden = Hogere ID (in deze globale kijk).

Het Magische Schakelpunt

Het meest opwindende deel van het paper is dat de auteurs de regel niet alleen observeerden; ze voorspelden exact waar het zou gebeuren.

Ze leidden een eenvoudige, perfecte formule af voor het "kantelpunt" waar de regel omslaat van "minder woorden = hogere ID" naar "meer woorden = hogere ID". De switch vindt plaats wanneer het aantal unieke woorden ( $n$ ) gelijk is aan het totaal aantal samples ( $N$ ) gedeeld door de meetschaal ( $k$ ).

De Formule: $n = N / k$
Wat het betekent: Als je naar een buurt van 128 dansers ( $k=128$ ) kijkt en je hebt 10.000 totale samples ( $N=10.000$ ), dan vindt de switch plaats wanneer je precies 78 unieke woorden hebt ( $10.000 / 128 \approx 78$ ).
Het Bewijs: Ze testten dit op twee verschillende gigantische AI-modellen (Qwen3-8B en Meta-Llama-3-8B) en vonden dat de switch precies bij dit voorspelde aantal plaatsvond, elke keer weer. Het was geen gok; het was een wiskundige zekerheid gebaseerd op hoe de data is gerangschikt.

Waarom Dit Belangrijk Is (En Waarom We het Fout Hadden)

Deze ontdekking is een enorme waarschuwing voor wetenschappers die deze hulpmiddelen gebruiken. Het paper laat zien dat als je twee groepen woorden vergelijkt zonder te controleren voor hoeveel unieke woorden er in elke groep zitten, je de conclusie volledig achterstevoren kunt trekken.

De "Zelfstandig Naamwoord vs. Voorzetsel" Valstrik:
De auteurs toonden een klassiek voorbeeld. In een natuurlijke tekst zijn "zelfstandige naamwoorden" (zoals hond, huis, idee) duizenden unieke woorden, terwijl "voorzetsels" (zoals in, op, bij) slechts een paar tientallen zijn.

De Standaard Visie: Als je alleen de complexiteit van zelfstandige naamwoorden versus voorzetsels meet, lijken zelfstandige naamwoorden in een veel complexere, hoogdimensionale ruimte te leven. Je zou kunnen denken: "Zelfstandige naamwoorden zijn zo rijk en gevarieerd!"
De Realiteit: De auteurs brachten de twee groepen in evenwicht zodat ze beide precies 25 unieke woorden hadden. Plotseling draaide het resultaat om! De voorzetsels zagen er nu complexer uit dan de zelfstandige naamwoorden.
De Les: Het oorspronkelijke verschil kwam niet doordat zelfstandige naamwoorden "beter" of "complexer" waren. Het was een artefact (een foutje) veroorzaakt door het feit dat zelfstandige naamwoorden duizenden unieke types hadden en voorzetsels slechts een paar tientallen. Het meetinstrument reageerde simpelweg op de telling van de unieke woorden, niet op de aard van de woorden.

De Conclusie

Dit paper leert ons dat wanneer we naar de "vorm" van de hersenen van een AI kijken, we heel voorzichtig moeten zijn met wat we eigenlijk meten.

Als je naar een kleine groep herhaalde woorden kijkt, vertelt de complexiteitsscore je hoeveel het model zijn pose varieert voor dat ene woord in verschillende contexten.
Als je naar een enorme groep unieke woorden kijkt, vertelt de complexiteitsscore je hoe ver de gehele woordenschat verspreid is.

Dit zijn twee verschillende dingen. Je kunt ze niet direct vergelijken zonder te beseffen dat je in twee verschillende regimes kijkt. De auteurs vonden een precieze wiskundige regel om te bepalen in welk regime je je bevindt. Het is een herinnering dat in de wereld van AI, soms de meest "complex" lijkende getallen slechts een reflectie zijn van hoe we het experiment hebben opgezet, en niet een diep geheim van de geest van de machine. De "waarheid" van de geometrie van het model hangt volledig af van de schaal waarop je kiest te kijken.

Technische Samenvatting: Lokale en Globale Regimes van Geometrische Complexiteit in Representaties van Taalmodellen

Probleemstelling

Intrinsieke dimensionaliteit (ID) is een standaardmetriek geworden voor het onderzoeken van de representationele complexiteit van taalmodellen (LM's), vaak gebruikt om eigenschappen van linguïstische structuren af te leiden (bijv. of zelfstandige naamwoorden hogere-dimensionale ruimtes bezetten dan voorzetsels). Het blijft echter onduidelijk of geobserveerde ID-verschillen echte linguïstische eigenschappen reflecteren of louter artefacten zijn van de datasetconstructie, specifiek de lexicale diversiteit (het aantal unieke woordtypen).

De paper wijst op een kritieke verwarring: vergelijkingen tussen woordklassen met zeer verschillende natuurlijke vocabulairegroottes (bijv. open klasse zelfstandige naamwoorden versus gesloten klasse voorzetsels) zonder controle op de lexicale diversiteit, leveren misleidende ID-resultaten op. Wanneer de lexicale diversiteit wordt gecontroleerd, kunnen deze resultaten omdraaien, wat suggereert dat standaard ID-schatters mogelijk eigenschappen van de dataset meten in plaats van de intrinsieke geometrische complexiteit van de representaties zelf.

Methodologie

De auteurs isoleren de lexicale diversiteit als een gecontroleerde experimentele variabele om de impact ervan op ID-schattingen te onderzoeken.

Datasetconstructie: Met behulp van WikiText-103 hebben de auteurs 11 verschillende condities geconstrueerd, die elk exact $N = 10.000$ monsters bevatten. Deze condities varieerden systematisch in het aantal unieke doel-zelfstandige naamwoorden ( $n$ ), variërend van 1 unieke zelfstandige naamwoord (10.000 keer herhaald) tot 10.000 unieke zelfstandige naamwoorden (elk één keer voorkomend). Cruciaal is dat de context voorafgaand aan het doelwoord onafhankelijk uit het corpus werd getrokken, waardoor de lexicale diversiteit werd geïsoleerd tot de identiteit van het doeltoken.
Modellen: Experimenten werden uitgevoerd op Qwen3-8B (primair) en Meta-Llama-3-8B (voor cross-architectuur validatie).
ID-schatting: De studie maakte gebruik van de Generalized Ratios Intrinsic Dimension Estimator (GRIDE) over zes nabijheidsschalen ( $k \in \{16, 32, 64, 128, 256, 512\}$ ). GRIDE schat ID op basis van de distributie van afstandratio's tussen dichtstbijzijnde buren.
Validatie: De analyse werd gerepliceerd met de Maximum Likelihood Estimator (MLE) en een door woordsoort (POS) gediversifieerde dataset (inclus': werkwoorden, bijvoeglijke naamwoorden, etc.) om te waarborgen dat de bevindingen niet specifiek waren voor zelfstandige naamwoorden of het GRIDE-algoritme.

Belangrijkste Bevindingen en Resultaten

1. Een Schaalafhankelijke Transitie

De studie onthult een scherpe transitie tussen twee verschillende regimes van ID-gedrag, bepaald door de relatie tussen de nabijheidsschaal ( $k$ ) en het aantal monsters per woord ( $m = N/n$ ).

Lokaal Regime ( $k < m$ ): Wanneer de nabijheidsschaal kleiner is dan het aantal monsters per woord, bemonster de estimator volledig binnen de "wolk" van één enkel woordtype. In dit regime is ID omgekeerd gerelateerd aan de lexicale diversiteit: condities met minder unieke woorden (en dus meer monsters per woord) vertonen een hogere ID. Dit weerspiegelt het vermogen van het model om de contextuele variabiliteit van individuele lexicale items te vangen.
Globaal Regime ( $k \ge m$ ): Wanneer de schaal de monsters per woord overschrijdt, omvat de nabijheid onvermijdelijk verschillende woordtypen. In dit regime is ID direct gerelateerd aan de lexicale diversiteit: condities met meer unieke woorden vertonen een hogere ID. Dit weerspiegelt de geometrische spreiding van de gehele vocabulaire-manifold.

2. Het Exacte Transitiepunt

De auteurs leiden een parameter-vrije formule af voor het transitiepunt waar de ID-ordening omkeert:
$n_{transition} = \frac{N}{k}$
Empirische resultaten bevestigen dat deze transitie exact op dit voorspelde punt plaatsvindt over alle geteste schalen, modellen en lagen. Wanneer ID-curves worden uitgezet tegen de ratio $k/m$ , vallen data van verschillende schalen samen op één traject, waarbij ze de transitie passeren bij $k/m = 1$ .

3. Geometrische Interpretatie

Lokaal Regime: De estimator meet de "rijkdom" van de lokale geometrie rond een specifiek woordtype. Meer monsters maken een betere schatting van de contextuele variantie van het woord mogelijk, wat leidt tot hogere ID-schattingen voor condities met een lage diversiteit.
Globaal Regime: De estimator meet de geometrie van de bredere ruimte van zelfstandige naamwoorden. Naarmate het aantal unieke woorden toeneemt, bemonster de estimator meer onafhankelijke richtingen in de representatieruimte, wat leidt tot hogere ID-schattingen voor condities met een hoge diversiteit.
Verzadiging: In het globale regime verzadigt de ID uiteindelijk wanneer de "globale ratio" (het deel van de buren dat tot andere woordtypen behoort) de 1 nadert. Voorbij een bepaalde lexicale diversiteit levert het toevoegen van meer unieke woorden een afnemend rendement op voor de ID-schatting.

4. Omkering van Schijnbare Linguïstische Effecten

De paper demonstreert dat het "Zelfstandig Naamwoord vs. Voorzetsel" ID-verschil dat wordt waargenomen in vergelijkingen zonder controle op de lexicale diversiteit (waarbij zelfstandige naamwoorden een hogere ID vertonen) een artefact is van de lexicale diversiteit. Wanneer de twee klassen worden gematcht voor de grootte van de vocabulaire (bijv. 25 unieke typen elk), keert de relatie om, waarbij voorzetsels een hogere ID vertonen. Dit bevestigt dat het oorspronkelijke verschil werd gedreven door de datasetconstructie, niet door de syntactische categorie.

Betekenis en Claims

De paper claimt dat ID-schattingen geen absolute maten van complexiteit zijn, maar sterk gevoelig zijn voor de interactie tussen datasetconstructie (lexicale diversiteit) en de schaal van de estimator.

Voorzichtigheid bij Interpretatie: Onderzoekers moeten uiterst voorzichtig zijn bij het interpreteren van ID-verschillen tussen categorieën (bijv. woordklassen, talen of domeinen). Als categorieën verschillen in lexicale diversiteit, kunnen ID-vergelijkingen ongeldig zijn, tenzij de condities binnen hetzelfde regime (lokaal of globaal) vallen.
Diagnostische Instrumenten: De auteurs bieden een formule ( $n_{transition} = N/k$ ) en een "zelfde-woord-fractie" diagnostisch instrument om te bepalen in welk regime een specifieke experimentele conditie zich bevindt. Dit stelt onderzoekers in staat om te verifiëren of ze de lokale contextuele variabiliteit of de globale manifoldstructuur meten.
Fractal-achtige Structuur: De observatie dat ID-profielen (zoals de mid-layer "piek" of "heuvel") in beide regimes verschijnen, suggereert een "fractal-achtige" organisatie van linguïstische data in LLM's, waarbij vergelijkbare geometrische patronen ontstaan op zowel nauwe (lokale) als brede (globale) schalen.
Algemeen Principe: De ontdekking van deze twee regimes onthult een algemeen principe van hoe linguïstische data in LLM's is georganiseerd, wat nieuw licht werpt op de interne manifoldstructuren van deze modellen.

De auteurs concluderen dat hoewel ID een waardevolle probe is, de waarden ervan afhangen van het "gezichtspunt" op de manifold dat door de specifieke schaal en de compositie van de dataset wordt geboden, en dat vergelijkingen tussen verschillende regimes niet eenvoudig zijn.