Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
Deze technische survey biedt een verenigd kader voor het begrijpen van position encoding-methoden in Transformers — van absolute en relatieve benaderingen tot Rotary Position Embeddings (RoPE) — terwijl het hun computationele eigenschappen, technieken voor het schalen naar lange contexten en het cruciale onderscheid tussen de capaciteit voor lengte-extrapolatie en betrouwbare generalisatie bij lange contexten analyseert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren een verhaal te begrijpen. Je hebt een super-snel brein dat alle woorden in een zin tegelijkertijd kan bekijken, in plaats van ze één voor één te lezen zoals een mens dat doet. Dit is de magie van de Transformer, de motor achter moderne AI. Maar er is een addertje onder het gras: omdat dit brein alles tegelijk ziet, heeft het geen idee welk woord eerst, tweede of laatst kwam. Als je de woorden in een zin zou door elkaar husselen, zou dit brein denken dat de gehusselde versie net zo goed is als het origineel. Om dit op te lossen, moeten we de AI een manier geven om te weten "waar" elk woord in de rij zit. We noemen dit Position Encoding. Denk aan het geven van een uniek naamkaartje of een stoelnummer aan elk woord. Zonder deze kaartjes is de AI als een gast op een feestje die ieders gezicht kan zien, maar geen idee heeft wie naast wie staat of wie er als eerste aankwam.
Dit artikel is een diepe duik in de verschillende "naamkaartjes"-systemen die we door de jaren heen voor AI hebben uitgevonden. Het volgt de geschiedenis van eenvoudige stoelnummers naar complexe, draaiende klokken, en uiteindelijk naar een nieuwe generatie trucjes waarmee AI boeken van honderdduizenden woorden kan lezen zonder in de war te raken. De auteur somt niet alleen deze methoden op; hij onderzoekt welke er daadwerkelijk werken wanneer we proberen ze uit te rekken om enorme verhalen aan te kunnen, en hij waarschuwt ons dat alleen omdat een systeem een lange input kan accepteren, dat nog niet betekent dat het deze ook echt begrijpt.
De Evolutie van de "Stoelnummer"-methode van de AI
In het begin was de eenvoudigste manier om een woord een stoelnummer te geven, het simpelweg opzoeken in een woordenboek. Dit wordt Learned Absolute Position genoemd. Stel je een leraar voor die een lijst uitdeelt waarbij "Woord 1" een specifieke kleur krijgt, "Woord 2" een andere, enzovoort. Dit werkt geweldig voor korte verhalen, maar als je een roman probeert te lezen en de leraar heeft slechts een lijst gemaakt voor de eerste 500 woorden, raakt de AI de weg kwijt zodra hij bij woord 501 komt.
Toen kwam Sinusoidal Encoding. In plaats van een statische lijst gebruikt de AI een wiskundig golfpatroon (zoals een sinusgolf) om stoelnummers te generen. Denk hierbij aan een set klokken die met verschillende snelheden draaien. Sommige klokken tikken snel om het verschil tussen woord 1 en woord 2 aan te geven, terwijl andere langzaam tikken om het verschil tussen woord 1 en woord 1.000 aan te geven. Dit is slim omdat de AI een stoelnummer kan berekenen voor elke positie, zelfs voor posities die hij nog nooit eerder heeft gezien. Echter, het artikel wijst erop dat alleen omdat je een nummer kunt berekenen, betekent dit niet dat de AI weet hoe hij het over zeer lange afstanden moet gebruiken.
Vervolgens realiseerden onderzoekers zich dat in taal vaak de afstand tussen woorden het belangrijkst is, niet hun absolute stoelnummers. Is het woord "het" dicht bij het zelfstandig naamwoord waar het naar verwijst? Dit leidde tot Relative Position Encoding. In plaats van te zeggen "Ik zit op stoel 50", leert de AI te zeggen: "Ik zit 3 stoelen van je vandaan." Dit is als een spelletig stoelen dans waarbij je alleen geeft om wie er naast je zit, en niet om het exacte nummer op je stoel. Methoden zoals T5 en Transformer-XL gebruiken dit om lange teksten te verwerken door zich te concentreren op het gat tussen de woorden.
De Ster van de Show: RoPE
Het artikel belicht een derde generatie methode genaamd RoPE (Rotary Position Embedding) als de huidige kampioen voor veel grote AI-modellen. In plaats van een getal aan het woord toe te voegen of een afstand te berekenen, behandelt RoPE de data van het woord als een draaiende pijl. Terwijl het woord de lijn naar beneden beweegt, draait zijn pijl. Wanneer de AI twee woorden vergelijkt, controleert hij de hoek tussen hun pijlen. Als de pijlen dicht bij elkaar staan, zijn de woorden dicht bij elkaar in het verhaal; als ze ver uit elkaar staan, zijn de woorden ver uit elkaar.
De schoonheid van Rope is dat het van nature de "afstand" tussen woorden afhandelt zonder dat er een aparte opzoekkaart nodig is. Het is alsoals iedereen op het feestje een horloge draagt dat draait met een snelheid gebaseerd op wanneer ze arriveerden. Wanneer twee mensen praten, kijken ze simpelweg naar het verschil in hun wijzers om te weten hoe lang ze al van elkaar gescheiden zijn.
De Long-Context Uitdaging: Het Verhaal Uitrekken
Het grootste probleem met deze systemen is dat ze meestal getraind zijn op korte verhalen (zoals 4.000 woorden). Wanneer we proberen ze te gebruiken voor enorme documenten (zoals 128.000 woorden of meer), beginnen de "klokken" of "draaiende pijlen" patronen te draaien die de AI nog nooit heeft gezien. Het is alsof je een auto die ontworpen is voor stadswegen op een snelweg probeert te rijden; de motor kan wel draaien, maar het sturen voelt niet goed aan.
Het artikel onderzoekt verschillende "stretch"-technieken om dit op te lossen:
- Position Interpolation (PI): Dit perst het lange verhaal samen in de korte ruimte die de AI kent. Het is alsof je een film van 10 uur comprimeert tot 2 uur. De AI kan hem wel bekijken, maar de details worden wazig en hij kan subtiele verschillen tussen woorden die dicht bij elkaar liggen missen.
- NTK-aware Scaling: Dit is slimmer. Het houdt de "snelle klokken" (die de fijne details afhandelen) op hun normale snelheid, maar vertraagt de "langzame klokken" om de lange afstand te overbruggen. Het is een compromis dat de lokale details scherp houdt terwijl het verder reikt.
- Dynamic NTK: Deze methode verandert de stretch-factor afhankelijk van hoe lang het huidige verhaal is. Als het verhaal kort is, wordt er niet gestretcht. Als het lang is, wordt er gestretcht. Het artikel waarschuwt echter dat dit lastig te beheren kan zijn in realtime, omdat het de herinnering van de AI aan eerdere woorden in de war kan brengen.
- LongRoPE en LongRoPE2: Dit zijn de meest geavanceerde methoden. In plaats van één regel voor iedereen te gebruiken, zoeken ze naar de perfecte stretch-factor voor elk deel van de AI-hersenen. Ze mengen zelfs korte en lange verhalen tijdens de training, zodat de AI leert om beide aan te kunnen. De auteur suggereert dat dit de meest veelbelovende weg is, maar dat het zorgvuldige afstemming en specifieke data vereist.
De Grote Waarschuwing: Alleen omdat het past, betekent het niet dat het werkt
De belangrijkste bevinding in dit artikel is een realiteitscheck. Alleen omdat een AI-model een input van 100.000 woorden kan accepteren, betekent niet dat het deze ook kan begrijpen. De auteur stelt dat veel modellen falen voor de "Needle in a Haystack"-test (het vinden van een specif:{ "thought": "" }}
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.