🤖 machine learning

On the Geometry of Positional Encodings in Transformers

Dit paper biedt een wiskundige theorie voor positionele coderingen in Transformers die de noodzaak ervan bewijst, aantoont dat training leidt tot gescheiden positierepresentaties, en een optimale codering construeert via multidimensionale schaling die de superieure prestaties van ALiBi ten opzichte van sinusoidale en RoPE-coderingen verklaart.

Oorspronkelijke auteurs: Giansalvo Cirrincione

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Giansalvo Cirrincione

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Verborgen Kaart van Woorden: Waarom AI een Kompaan nodig heeft

Stel je voor dat je een enorme groep mensen in een kamer zet, allemaal met een identiek wit T-shirt. Je vraagt ze om een verhaal te vertellen. Als je ze niet vertelt wie waar moet staan, zullen ze willekeurig door elkaar lopen. Het verhaal dat ze maken, zal waarschijnlijk onzin zijn, omdat de volgorde van wie iets zegt, cruciaal is.

Dit is precies het probleem van Transformers (de slimme AI-modellen die ons helpen schrijven en vertalen). De wiskunde die ze gebruiken, is zo slim dat ze niet weten wat "eerste", "tweede" of "laatste" betekent. Voor de AI is de zin "De kat jaagt de muis" exact hetzelfde als "De muis jaagt de kat". Ze zien alleen de woorden, niet de volgorde.

Om dit op te lossen, voegen we Positieve Codes (Positional Encodings) toe. Dit zijn als het ware onzichtbare armbanden die elk woord krijgt, zodat de AI weet: "Jij bent het eerste woord, jij bent het tweede."

Maar tot nu toe hebben onderzoekers deze armbanden grotendeels op het gevoel ontworpen. Dit paper zegt: "Wacht even, laten we eerst begrijpen waarom ze nodig zijn, hoe ze eruit moeten zien, en of we ze kunnen optimaliseren."

Hier zijn de vier belangrijkste ontdekkingen van het paper, vertaald naar alledaagse taal:

1. Zonder Kompaan geen Reis (De Noodzaak)

De vraag: Kunnen we de armbanden weglaten?
Het antwoord: Nee, absoluut niet.
De analogie: Stel je voor dat je een recept hebt voor een taart, maar je verliest de volgorde van de stappen. Je kunt de eieren na de oven zetten. Het resultaat is een puinhoop.
Het paper bewijst wiskundig dat als je een Transformer geen positie-informatie geeft, het model elke zin die je invoert, behandelt alsof het een zak met losse woorden is (een "bag of words"). Het kan geen zin maken die afhankelijk is van de volgorde. Zonder deze codes is de AI blind voor structuur.

2. De Grote Scheiding (Wat leert de AI?)

De vraag: Als we de AI laten leren, wat gebeurt er dan met die armbanden?
Het antwoord: De AI leert om elke positie een uniek signaal te geven. Ze zullen nooit twee verschillende posities hetzelfde maken.
De analogie: Stel je voor dat je een klas hebt met 30 leerlingen. Als je ze allemaal dezelfde naam geeft, is het chaos. De AI leert tijdens het trainen dat elke stoel in de klas een uniek nummer moet hebben. Zelfs als de AI probeert te "slapen" (een minimum vinden in de wiskunde), zal ze nooit twee stoelen als identiek behandelen als ze op verschillende plekken staan. Ze zorgen ervoor dat elke positie een eigen "vingerafdruk" heeft.

3. De Perfecte Landkaart (Wat is de beste code?)

De vraag: Hoe ziet de beste mogelijke armband eruit?
Het antwoord: De beste code is een die de statistische afstand tussen woorden weergeeft.
De analogie:
Stel je voor dat je een kaart maakt van een stad.

Op positie 1 in een zin staan vaak hoofdletters of aan het begin van een zin (zoals het stadhuis).
Op positie 10 staan vaak werkwoorden (zoals een drukke markt).
Op positie 50 staan vaak leestekens (zoals een rustig park).

De "afstand" tussen het stadhuis en de markt is anders dan de afstand tussen de markt en het park. De beste AI-code zou deze afstanden perfect moeten nabootsen.

Het probleem: De echte wereld (de taal) is als een gekromd oppervlak (zoals een bol). Je kunt een bol niet perfect plat op een stuk papier (een rechte lijn) tekenen zonder dat het vervormt.
De oplossing: De auteurs gebruiken een techniek genaamd MDS (Multidimensional Scaling). Dit is alsof je een gekromde aardbol probeert af te drukken op een platte kaart. Je kunt hem niet perfect plat krijgen, maar je kunt de vervorming minimaliseren.
De "Stress": Ze introduceren een getal genaamd Stress. Dit is een maatstaf voor hoe lelijk de kaart eruitziet. Hoe lager de stress, hoe beter de armband de werkelijkheid weergeeft. Een stress van 0 betekent een perfecte kaart.

4. De Slimme Besparing (Waarom is dit handig?)

De vraag: Kunnen we dit efficiënter doen?
Het antwoord: Ja, vaak zijn de armbanden veel simpeler dan we denken.
De analogie: Stel je voor dat je een enorme bibliotheek hebt met 10.000 boeken. Je denkt dat je 10.000 verschillende sleutels nodig hebt om ze te openen. Maar als je goed kijkt, merk je dat de boeken eigenlijk maar in 3 categorieën vallen: "Verhalen", "Wetenschap" en "Reisgidsen". Je hebt dus maar 3 sleutels nodig!
Het paper laat zien dat voor veel teksten, de "perfecte" armband eigenlijk heel simpel is. In plaats van een enorme, complexe tabel voor elke positie, volstaat vaak een heel klein, compact patroon.

Verrassende ontdekking: De populaire ALiBi-methode (een recente AI-techniek) werkt zo goed omdat hij toevallig heel dicht bij deze "simpelste, meest efficiënte kaart" zit. Hij is als een strakke, rechte lijn die de bocht van de taal heel goed volgt, terwijl andere methoden (zoals de oorspronkelijke sinus-golven) soms te veel vervorming veroorzaken.

Conclusie: Wat betekent dit voor ons?

Dit paper is als een bouwpakket voor de "geest" van de AI.

Het bewijst dat we die armbanden echt nodig hebben.
Het laat zien dat de AI van nature leert om unieke posities te maken.
Het geeft een blauwdruk voor de perfecte armband: een die de statistische afstanden tussen woorden zo eerlijk mogelijk weergeeft (met zo min mogelijk vervorming of "stress").
Het bespaart ruimte: We kunnen vaak veel minder geheugen gebruiken dan gedacht, omdat de beste code vaak heel simpel is.

Kortom: De auteurs hebben de "magie" van de AI-woordenvolgorde omgezet in een duidelijke, meetbare wiskundige kaart. Ze hebben laten zien dat de beste manier om een zin te begrijpen, is door de afstanden tussen de woorden op de juiste manier te meten, en dat we dit veel slimmer en efficiënter kunnen doen dan we dachten.

Probleemstelling

Neurale taalmodellen, en specifiek de Transformer-architectuur, verwerken sequenties van woorden. De onderliggende wiskundige operaties (matrixvermenigvuldigingen en attention-mechanismen) zijn echter van nature invariant voor de volgorde van de invoer. Zonder een specifieke component zou een Transformer elke permutatie van een invoersequentie als equivalent behandelen, waardoor het onmogelijk zou zijn om taken op te lossen die afhankelijk zijn van de woordvolgorde (zoals grammatica of betekenis).

Hoewel positionele encodings (PE) zijn toegevoegd om dit probleem op te lossen door positie-informatie in de vectorrepresentaties te injecteren, is hun ontwerp grotendeels gebaseerd op trial-and-error en empirische prestaties. Er ontbreekt een wiskundige theorie die uitlegt:

Of positie-informatie strikt noodzakelijk is.
Welke structuur een geleerde encoding aanneemt tijdens training.
Hoe een optimale encoding eruit zou moeten zien en hoe deze geconstrueerd kan worden.

Methodologie

De auteur ontwikkelt een wiskundige theorie rondom positionele encodings, gebaseerd op informatie-geometrie en multidimensionale schaling (MDS). De kern van de methode bestaat uit de volgende stappen:

Definitie van Positieverdelingen: Voor elke positie $i$ in een corpus wordt de marginale token-verdeling $\mu_i$ gedefinieerd.
Hellinger-metriek: In plaats van KL-divergentie of Wasserstein-afstand, wordt de Hellinger-afstand ( $d_H$ ) gebruikt om de statistische afstand tussen positieverdelingen te meten. Dit is een echte metriek op het waarschijnlijkheids-simplex en is intrinsiek verbonden met de Fisher-informatiemetriek.
Stress-maatstaf: Een nieuwe metriek, genaamd stress, wordt geïntroduceerd om de kwaliteit van een encoding te kwantificeren. Stress meet hoe goed de Euclidische afstand tussen positie-vectoren ( $\|p_i - p_j\|$ ) de Hellinger-afstand tussen de onderliggende verdelingen ( $d_H(\mu_i, \mu_j)$ ) reproduceert.
$\text{stress}(P) = \frac{\sum_{i<j} (\|p_i - p_j\| - d_H(\mu_i, \mu_j))^2}{\sum_{i<j} d_H(\mu_i, \mu_j)^2}$
Theoretische Analyse: De paper gebruikt stellingen over permutatie-equivariantie, coerciviteit van verliesfuncties en de Neural Tangent Kernel (NTK) regime om eigenschappen van global minima te bewijzen.
Constructie via MDS: Er wordt een algoritme voorgesteld dat klassieke Multidimensionale Scaling toepast op de Hellinger-afstandsmatrix om de "informatie-optimale" encoding te construeren.

Belangrijkste Bijdragen en Resultaten

De paper presenteert vier fundamentele resultaten die een hiërarchie vormen:

1. Noodzaak van Positie-informatie (Stelling 1)

Resultaat: Het wordt bewezen dat een Transformer zonder positie-signaal permutatie-equivariant is. Dit betekent dat het model elke permutatie van de invoer als equivalent behandelt.
Conclusie: Voor elke taak die gevoelig is voor woordvolgorde is een positie-signaal strikt noodzakelijk. Zonder dit kan het model dergelijke taken niet oplossen.

2. De Positieve Scheidingsstelling (Theorem 4)

Resultaat: Onder milde en verifieerbare voorwaarden (niet-stationariteit, orde-gevoeligheid en niet-degeneratie), garandeert training met gradient descent dat bij een globaal minimum elke positie een unieke vectorrepresentatie krijgt.
Conclusie: Training zal nooit twee verschillende posities laten samenvallen tot dezelfde embedding, zolang de taak echt afhankelijk is van de volgorde.

3. Constructie van een Optimale Encoding (Propositie 6 & Algoritme 1)

Resultaat: Een exacte isometrie (perfecte reproduceerbaarheid van de statistische afstanden) is in het algemeen onmogelijk omdat de statistische variëteit (het simplex) gekromd is en niet lineair in de Euclidische ruimte kan worden ingebed.
Oplossing: De beste benadering wordt geconstrueerd via klassieke Multidimensionale Scaling (MDS) op de Hellinger-afstand.
Sinusoidale Encoding: De paper toont aan dat de standaard sinusoidale encoding (Vaswani et al.) een benadering is van deze MDS-oplossing voor corpora waarbij de positiestatistieken glad variëren met de positie. Dit geeft een theoretische rechtvaardiging voor een methode die eerder puur empirisch was.

4. Minimale Parametrisatie en Rang

Resultaat: De optimale encoding heeft een effectieve rang $r = \text{rank}(B)$ , waarbij $B$ de dubbel-gecentreerde Gram-matrix van de Hellinger-afstanden is. Vaak is $r \ll d$ (de embedding-dimensie).
Conclusie: In plaats van een volledige $n \times d$ matrix te gebruiken, kan de encoding worden gerepresenteerd met $r(n+d)$ parameters.
Empirisch bewijs: Op een synthetisch corpus ( $n=32, d=128$ ) volstaat een rang van $r=3$ om 99,8% van de stress van de sinusoidale encoding te reduceren, met 88% minder parameters.

Experimentele Validatie

De theorie werd getest op een synthetisch corpus en twee real-world sentiment-datasets (SST-2 en IMDB) met behulp van bertbase.

Stress-vergelijking: De MDS-encoding (PMDS) bereikte bijna nul stress (perfecte isometrie).
ALiBi: De "Attention with Linear Biases" (ALiBi) methode presteerde verrassend goed met een zeer lage stress op SST-2. Dit wordt verklaard door de rang-1 interpretatie: als de corpus-statistieken shift-equivariant zijn, is de Hellinger-afstand een functie van $|i-j|$ , wat overeenkomt met de lineaire bias van ALiBi.
Sinusoidaal vs. RoPE: Ondanks hun verschillende ontwerpprincipes (absoluut vs. relatief), hadden sinusoidale en RoPE encoding bijna identieke stress-waarden, omdat hun prestatie wordt bepaald door het gedeelde frequentie-schema.
Monotonie Conjectuur: Experimenten bevestigden dat de geleerde encodings een monotoon patroon volgen (posities dichter bij elkaar in de sequentie hebben dichter bij elkaar liggende vectoren), hoewel dit bij training "van scratch" minder sterk is dan bij voorgeïmplementeerde modellen.

Beteeknis en Impact

Theoretische Fundament: Dit werk vult het ontbrekende theoretische gat rond positionele encodings. Het beweert niet langer dat encodings "werken", maar legt uit waarom ze werken en hoe ze geoptimaliseerd kunnen worden.
Diagnostisch Instrument: De stress-maatstaf biedt een principieel, corpus-specifiek diagnostisch hulpmiddel. Het stelt onderzoekers in staat om te meten hoe goed een encoding de onderliggende statistische geometrie van een corpus weergeeft, onafhankelijk van downstream-taakprestaties.
Efficiëntie: De ontdekking dat de effectieve rang van positie-informatie vaak veel lager is dan de embedding-dimensie, opent de deur naar extreem efficiënte, laag-rang parametrisaties van Transformers zonder kwaliteitsverlies.
Verklaring van Bestaande Methoden: Het biedt een wiskundige basis voor waarom sinusoidale encoding werkt (gladde statistieken) en waarom ALiBi effectief is (shift-equivariantie/rang-1 structuur).

Kortom, deze paper transformeert positionele encodings van een "engineering hack" naar een wiskundig onderbouwde component met een duidelijke optimalisatie-doelstelling en constructieve methode.