🤖 machine learning

Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models

Dit artikel stelt een raamwerk voor om de representationele capaciteit van transformer-taalmodellen te schatten door de geometrische limieten van bijna-orthogonale feature-richtingen te analyseren, waarbij wordt onthuld dat capaciteit exponentieel gevoelig is voor orthogonaliteitsbeperkingen en een aangepaste formule wordt geïntroduceerd die de voorspellingsnauwkeurigheid aanzienlijk verbetert ten opzichte van traditionele grenzen.

Oorspronkelijke auteurs: Alexander Guha

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Guha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Hoeveel dingen kan een brein bevatten?

Stel je voor dat je een enorme, lege loods hebt (dit is de "hersenen" of de latente ruimte van het AI-model). De grootte van de loods wordt bepaald door de dimensies ( $d_{model}$ ).

Lange tijd dachten mensen: "Als ik een loods heb met 4.000 planken, kan ik slechts 4.000 verschillende items opslaan." Als het ene item "Kat" is en het andere "Hond", zouden ze op volledig verschillende, elkaar niet aanrakenende planken moeten staan.

Maar dit artikel betoogt dat AI-modellen veel slimmer zijn. Ze gebruiken een truc genaamd Superpositie. In plaats van "Kat" op de ene plank en "Hond" op de andere te zetten, arrangeren ze ze zo dat ze bijna op verschillende planken staan, maar net een beetje overlappen. Het is alsof je boeken in een bibliotheek zo dicht op elkaar stapelt dat ze tegen elkaar aan leunen, maar je kunt ze nog steeds van elkaar onderscheiden.

Het artikel vraagt: Hoeveel items kunnen we eigenlijk op deze manier stapelen in deze loods voordat ze tegen elkaar aan botsen en een puinhoop worden?

De Belangrijkste Ontdekking: De "Leun"-limiet

De auteurs ontdekten dat deze "leunende" items niet te veel mogen leunen om te kunnen werken. Ze moeten bijna recht omhoog staan (orthogonaal). Als ze te ver leunen, raakt de AI in de war.

Ze hebben deze "leun"-limiet gemeten, die ze $\epsilon$ (epsilon) noemen.

Lage $\epsilon$ (Strikt): De items staan bijna perfect recht. Ze kunnen een enorm aantal items erin proppen, maar ze moeten heel voorzichtig zijn om niet tegen elkaar aan te stoten.
Hoge $\epsilon$ (Los): De items leunen alle kanten op. Ze kunnen niet veel items erin proppen zonder dat ze tegen elkaar aan botsen.

De Verrassing: De onderzoekers keken naar tientallen AI-modellen en ontdekten dat ze in twee duidelijke groepen vallen:

De "Rommelige" Groep: Deze modellen hebben een hoge $\epsilon$ . Hun "boeken" leunen zo erg dat ze de superpositie-truc niet echt effectief gebruiken.
De "Georganiseerde" Groep: Deze modellen hebben een zeer lage $\epsilon$ . Ze houden hun "boeken" bijna perfect recht, waardoor ze miljoenen concepten in een kleine ruimte kunnen passen.

De Oude Wiskunde Klopte Niet

Voorheen gebruikten wetenschappers een beroemde wiskundige regel (de Johnson-Lindenstrauss lemma) om te raden hoeveel items er pasten. Deze regel was gebaseerd op hoe willekeurige items zich gedragen als je ze zomaar in een kamer gooit.

Het artikel zegt: "Deze wiskunde is totaal onjuist voor getrainde AI."

De Oude Wiskunde: Voorspelde dat een model met een loods van 4.000 planken slechts ongeveer 8 tot 300 verschillende items kon bevatten.
De Realiteit: Datzelfde model bevat 32.000 woorden (zijn vocabulaire) plus miljoenen andere concepten.

De oude wiskunde faalde omdat ervan werd uitgegaan dat de items willekeurig geplaatst werden. Maar AI-modellen zijn getraind om optimizers te zijn. Ze gooien de items niet zomaar naar binnen; ze arrangeren ze zorgvuldig om er zoveel mogelijk in te passen, als een meesterlijk Tetris-speler.

De Nieuwe Formule: Het Draait om de Ratio

De auteurs hebben een nieuwe formule gemaakt om de wiskunde te herstellen. Ze ontdekten dat het aantal dingen dat je kunt passen niet alleen afhangt van het aantal items, maar van de ratio tussen de items en de grootte van de loods.

Denk er zo over na:

Als je een kleine kamer hebt, kun je slechts een paar mensen dicht bij elkaar laten staan.
Als je een enorm stadion hebt, kun je een enorme menigte huisvesten, maar de dichtheid (mensen per vierkante meter) is belangrijker dan het totale aantal.

Hun nieuwe formule laat zien dat getrainde modellen ordes van grootte meer items kunnen passen dan de oude willekeurige wiskunde voorspelde.

De Afweging: Stabiliteit vs. Capaciteit

Dit is de meest interessante bevinding over grotere modellen (de modellen met meer "planken"):

Je zou denken dat grotere modellen zouden proberen om zoveel mogelijk items erin te proppen door ze iets meer te laten leunen (de $\epsilon$ te verhogen). Maar het artikel vond het tegenovergestelde.

Grotere modellen staan juist rechtere.

Ze kiezen ervoor om hun items zeer strikt gescheiden te houden (lage $\epsilon$ ), ook al vermindert dit technisch gezien het totale aantal items dat ze zouden kunnen passen.

Waarom? De auteurs suggereren dat het een afweging is tussen Capaciteit (hoeveel dingen je kunt opslaan) en Stabiliteit (hoe betrouwbaar je ze kunt vinden).
Als je te veel leunt, kun je misschien meer dingen opslaan, maar loop je het risico dat ze tegen elkaar aan botsen wanneer de AI ze probeft te gebruiken. Grotere modellen lijken prioriteit te geven aan niet botsen boven het maximaliseren van opslag.

Samenvatting in een Notendop

De Loods: AI-modellen slaan concepten op als richtingen in een meerdimensionale ruimte.
De Truc: Ze proppen deze concepten door ze "bijna-orthogonaal" te maken (bijna recht omhoog, maar net een beetje leunend).
De Limiet: Er is een strikte limiet aan hoeveel ze kunnen leunen voordat ze in de war raken. Deze limiet wordt $\epsilon$ genoemd.
De Klassen: Sommige modellen zijn rommelig (hoge $\epsilon$ ), maar de beste zijn zeer georganiseerd (lage $\epsilon$ ).
De Wiskundige Correctie: Oude wiskunde zei dat ze slechts een paar dingen konden bevatten. Nieuwe wiskunde (gebaseerd op hoe ze daadwerkelijk trainen) zegt dat ze miljoenen kunnen bevatten.
De Les: Naarmate modellen groter worden, proberen ze de loods niet tot de rand toe te vullen. In plaats daarvan houden ze de zaken zeer ordelijk georganiseerd om te voorkomen dat ze in de war raken, waarbij ze stabiliteit verkiezen boven pure capaciteit.

Technische Samenvatting: Representatieve Capaciteit in Transformer-taalmodellen

Probleemstelling

Het artikel behandelt een fundamenteel gat in het begrip van de geometrische limieten van de feature-representatie binnen transformer-gebaseerde taalmodellen. Hoewel de modeldimensie ( $d_{model}$ ) een primaire hyperparameter is die het aantal parameters en de grootte van de latente ruimte bepaalt, blijft de specifieke rol ervan bij het bepalen van het maximale aantal representeerbare features onderbelicht.

Bestaande theorieën, specifiek de Lineaire Representatiehypothese (features bestaan als richtingen in de latente ruimte) en de Superpositiehypothese (modellen representeren meer concepten dan dimensies door gebruik te maken van bijna-orthogonale richtingen), suggereren dat het aantal representeerbare features wordt begrensd door de geometrie van de latente ruimte. Echter, standaard theoretische grenzen, zoals de Johnson-Lindenstrauss (JL) lemma, vertrouwen op aannames van willekeurige projecties. Het artikel betoogt dat deze standaardgrenzen de efficiëntie van het verpakken (packing efficiency) van getrainde representaties drastisch onderschatten, en er niet in slagen te verklaren hoe modellen met dimensies in de duizenden vocabulaire en feature-sets in de tienduizenden of miljoenen kunnen ondersteunen.

Methodologie

1. Schatting van de Geaccepteerde Afwijking ( $\epsilon$ ) via Embeddings

De auteurs stellen voor om de embedding matrix te gebruiken als een meetbare proxy voor de bijna-orthogonale beperkingen van de gehele latente ruimte.

Rationale: Bij initialisatie mappen willekeurige gewichten orthogonale one-hot token vectoren naar $R^{d_{model}}$ , wat resulteert in bijna-orthogonale embeddings vanwege de hoogdimensionale geometrie. Training behoudt deze structuur terwijl het een "rechter staart" ontwikkelt in de cosinus-gelijkenisverdeling, wat overeenkomt met betekenisvolle lexicale en semantische relaties.
Definitie van de metriek: De auteurs definiëren $\epsilon$ (de geaccepteerde afwijking van perfecte orthogonaliteit) als de grens tussen incidentele gelijkenis en betekenisvolle relaties. Ze schatten deze drempel heuristisch in als $\mu + 2\sigma$ van de pairwise cosinus-gelijkenisverdeling van de embedding matrix, waarbij $\mu$ en $\sigma$ respectievelijk het gemiddelde en de standaarddeviatie zijn.
Classificatie: Deze metriek wordt toegepast op tientallen open-source modellen om ze te categoriseren op basis van hun naleving van bijna-orthogonaliteit.

2. Afleiding van een Aangepaste Capaciteitsformule

Het artikel bekritiseert de standaard JL-lemma, die stelt dat het aantal bijna-orthogonale vectoren $k$ schaalt als $k \leq \exp(d \cdot \epsilon^2 / C)$ .

Empirisch Falen: Het toepassen van de standaardformule (zelfs met empirisch aangescherpte constanten) op getrainde modellen zoals Llama 2 7B levert capaciteitsschattingen op (bijv. ~277 richtingen) die orden van grootte lager zijn dan de werkelijke vocabulaire van 32.000.
Optimalisatiesimulatie: Om de verpakkingsefficiëntie van geoptimaliseerde vectoren te karakteriseren, initialiseren de auteurs willekeurige eenheidsvectoren en minimaliseren zij een exponentieel hoge straf op de off-diagonaal elementen van de Gram-matrix (om gradiëntafdaling te simuleren).
Formule Aanpassing: Door de simulatiedata te fitten, leiden de auteurs een aangepaste relatie af waarbij de capaciteit afhangt van de ratio van vectoren tot dimensies ( $k/d$ ) in plaats van alleen het ruwe aantal $k$ . De nieuwe relatie is:
$\epsilon = \sqrt{\frac{C \cdot \ln(k/d)}{d}} \implies k \leq d \cdot \exp\left(\frac{d \cdot \epsilon^2}{C}\right)$
Deze aanpassing met één parameter vermindert de voorspellingsfout met twee orden van grootte vergeleken met de standaard JL-grens.

3. Definiëren van Representatieve Capaciteit

Door de geschatte $\epsilon$ uit de embeddings te combineren met de aangepaste formule, definiëren de auteurs Representatieve Capaciteit als de kwantitatieve bovengrens op het aantal onderscheidbare bijna-orthogonale richtingen die beschikbaar zijn in de latente ruimte voor embeddings, unembeddings en features.

Belangrijkste Resultaten

1. Twee Distincte Modelklassen

Analyse van tientallen modellen onthult een bifurcatie in twee klassen op basis van $\epsilon$ :

Klasse 1 (Hoge $\epsilon$ ): Modellen met een lagere $d_{model}$ en brede gelijkenisverdelingen ( $\epsilon > 0.2$ ). Deze modellen missen de bijna-orthogonale structuur op embedding-niveau en lijken superpositie op dezelfde wijze niet te benutten. Veel modellen in deze klasse maken gebruik van gekoppelde (tied) embedding/unembedding matrices.
Klasse 2 (Lage $\epsilon$ ): Modellen met een hogere $d_{model}$ en nauwe verdelingen geclusterd rond nul ( $\epsilon < 0.1$ ). Deze modellen handhaven strikte bijna-orthogonale beperkingen, consistent met het actieve gebruik van superpositie.

2. Capaciteitsschattingen en Sensitiviteit

Grootteorde: Voor Klasse 2-modellen varieert de representatieve capaciteit van $\sim 10^5$ tot $\sim 10^{10}-10^{11}$ . Zo wordt de capaciteit van Llama 2 7B ( $d_{model}=4096, \epsilon=0.0645$ ) geschat op ongeveer 40 miljoen richtingen, wat ruim voldoende is voor de vocabulaire en miljoenen features geëxtraheerd via Sparse Autoencoders (SAE's).
Sensitiviteit: Capaciteit is exponentieel gevoelig voor $\epsilon$ . Een kleine toename in de tolerantie voor afwijking (bijv. van 0.05 naar 0.09) kan resulteren in een sprong van zes grootteordes in capaciteit, waardoor $\epsilon$ een dominantere hefboom is dan $d_{model}$ zelf.
Schaaltrends: Binnen Klasse 2 neigen grotere modellen eerder naar striktere orthogonaliteitsbeperkingen (lagere $\epsilon$ ) dan naar het maximaliseren van de ruwe capaciteit. Dit suggereert een afruil waarbij grotere modellen prioriteit geven aan interne stabiliteit en betrouwbare feature-retrieval boven ruime geometrische ruimte.

Betekenis en Claims

Het artikel claimt het eerste kwantitatieve kader te bieden voor het schatten van de geometrische limieten van de feature-representatie in transformers. De belangrijkste bijdragen zijn:

Empirische Correctie van Theoretische Grenzen: Het toont aan dat standaard geometrische grenzen (JL-lemma) onvoldoende zijn voor getrainde modellen en biedt een empirisch aangepaste formule die overeenkomt met de geobserveerde verpakkingsefficiëntie.
Kwantificering van een Gedeelde Bron: Het definieert "Representatieve Capaciteit" als een eindige geometrische bron die gedeeld wordt door embeddings, unembeddings en features, gestuurd door de tolerantie van het model voor overlap ( $\epsilon$ ).
Diagnostisch Inzicht: Het kader onthult dat niet alle modellen superpositie even effectief gebruiken; het onderscheid tussen hoog- $\epsilon$ en laag- $\epsilon$ modellen suggereert fundamentele structurele verschillen in hoe zij de latente ruimte organiseren.
Ontwerpimplicaties: De auteurs suggereren dat de selectie van $d_{model}$ , momenteel vaak gebaseerd op heuristieken (machten van 2), theoretisch gestuurd zou kunnen worden door capaciteitsdoelen. Zij hypothetiseren een potentiële "plafond" voor nuttige capaciteit, waarbij het vergroten van de geometrische ruimte afnemende meeropbrengsten oplevert, en dat grotere modellen van nature kunnen convergeren naar striktere orthogonaliteit om stabiliteit te behouden.

Beperkingen en Kanttekeningen

Het artikel vermeldt expliciet enkele beperkingen:

Hypothetische Generalisatie: De aanname dat de embedding-geometrie de bredere latente ruimte (inclusief intermediaire features) weerspiegelt, is een gemotiveerde hypothese, geen bewezen feit.
Heuristische Drempel: De $\mu + 2\sigma$ drempel voor $\epsilon$ is heuristisch. Omdat capaciteit exponentieel gevoelig is voor $\epsilon^2$ , zijn absolute capaciteitswaarden onbetrouwbaar, hoewel relatieve vergelijkingen tussen modellen wel informatief blijven.
Geometrisch versus Computationeel: De afgeleide capaciteit is een grens op geometrische mogelijkheid, niet op computationele benutting. Het houdt geen rekening met de vraag of de architectuur van het model (diepte, attention heads) de maximaal beschikbare richtingen ook daadwerkelijk effectief kan leren of verwerken.
Datatekort: De observatie dat grotere modellen de voorkeur geven aan striktere orthogonaliteit is gebaseerd op beperkte datapunten met $d_{model} > 6000$ .