💬 NLP

YaRN: Efficient Context Window Extension of Large Language Models

YaRN is een efficiënte methode om het contextvenster van taalmodellen te vergroten, die met aanzienlijk minder rekenkracht en trainingsdata betere resultaten behaalt dan eerdere technieken en zelfs verder kan extrapoleren dan de trainingsdataset toelaat.

Oorspronkelijke auteurs: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente assistent hebt (een Large Language Model zoals ChatGPT). Deze assistente is fantastisch in het begrijpen van boeken, maar hij heeft één groot probleem: hij heeft een extreem kort werkgeheugen.

Zodra je hem een heel dik boek geeft, raakt hij halverwege de draad kwijt. Hij vergeet wat er op pagina 1 stond terwijl hij pagina 50 leest. Dit noemen we de "context window" (het venster waarbinnen hij alles kan onthouden).

Het onderzoek naar YaRN is eigenlijk de uitvinding van een veel grotere "geheugenkaart" voor deze assistent, zonder dat we de assistent zelf helemaal opnieuw hoeven te leren praten.

Hier is de uitleg in begrijpelijke taal:

1. Het probleem: De "Verwarrende Klok" (RoPE)

De assistent gebruikt een systeem genaamd RoPE om te weten waar woorden staan. Zie dit als een reeks klokken die voor elk woord een andere snelheid hebben. De ene klok draait heel snel (voor woorden die vlak bij elkaar staan), de andere heel langzaam (voor woorden die ver uit elkaar staan).

Als we de assistent plotseling veel meer tekst geven, proberen we die klokken "langzamer" te laten draaien zodat ze de extra tekst aankunnen. Maar daar gaat het mis:

De fout van de oude methode (PI): Het is alsof je alle klokken in huis tegelijkertijd vertraagt. De snelle klokken worden zo traag dat de assistent de kleine details (zoals de volgorde van woorden in een zin) niet meer begrijpt. Hij wordt "bijziend".
De fout van de tweede methode (NTK): Dit probeerde de klokken slim te verdelen, maar het was alsof je een willekeurige instelling koos. Het werkte soms, maar het was niet precies genoeg.

2. De oplossing: YaRN (De "Slimme Dirigent")

YaRN (wat staat voor Yet another RoPE extensioN) is als een meesterlijke dirigent die de klokken niet zomaar vertraagt, maar ze heel specifiek aanstuurt.

De "Niet-aanraken" regel: De dirigent zegt: "De snelle klokken die de details regelen, laten we gewoon laten tikken zoals ze doen. Die hebben we nodig voor de precisie."
De "Geleidelijke" regel: "De langzame klokken die de grote lijnen bewaken, die gaan we heel rustig en vloeiend vertragen, zodat ze de hele nieuwe tekst kunnen overbruggen."
De "Temperatuur" truc: YaRN voegt ook een soort "ruis-regelaar" toe. Het is alsof de assistent een bril opzet die de tekst net iets scherper stelt wanneer de tekst heel lang wordt, zodat hij niet in de war raakt door de enorme hoeveelheid informatie.

3. Waarom is dit een doorbraak? (De Metafoor van de Bibliothecaris)

Stel je voor dat je een bibliothecaris hebt die alleen 10 boeken tegelijk in zijn hoofd kan houden.

Oude methoden: Om hem 100 boeken te laten onthouden, moest je hem maandenlang opnieuw trainen (duur en traag). En zelfs dan maakte hij veel fouten in de details.
YaRN: Het is alsof je de bibliothecaris alleen een nieuwe, efficiëntere index geeft. In plaats van maanden te trainen, hoeft hij maar een heel klein beetje te oefenen (slechts 0,1% van zijn normale training!). En het resultaat? Hij kan nu plotseling hele encyclopedieën lezen zonder de details van een enkele zin te vergeten.

Samenvattend:

YaRN maakt AI-modellen "langetermijngeheugenspecialisten". Het is sneller (het kost minder rekenkracht), goedkoper (minder training nodig) en nauwkeuriger (het model blijft de details begrijpen, zelfs als het een tekst van duizenden pagina's moet analyseren).

Technische Samenvatting: YaRN

1. Het Probleem: De beperking van de context window

Large Language Models (LLM's) die gebruikmaken van de Transformer-architectuur, maken vaak gebruik van Rotary Position Embeddings (RoPE) om positie-informatie te coderen. Een fundamenteel probleem is dat deze modellen niet goed generaliseren naar sequenties die langer zijn dan de contextlengte waarop ze zijn getraind.

Bestaande methoden om dit op te lossen, zoals Position Interpolation (PI) en NTK-aware interpolation, proberen de positie-embeddings te schalen. Echter, deze methoden hebben belangrijke tekortkomingen:

PI verwijdert hoge-frequentie informatie, waardoor het model het vermogen verliest om lokale details en relatieve afstanden tussen nabijgelegen tokens te begrijpen.
NTK-aware methoden proberen dit te verzachten door frequenties ongelijk te schalen, maar zijn vaak lastig te optimaliseren en kunnen leiden tot suboptimale prestaties bij extreme verlengingen.

2. Methodologie: De YaRN-aanpak

YaRN (Yet another RoPE extensioN method) is een verbeterde methode voor het efficiënt uitbreiden van de context window. De methodologie rust op drie belangrijke pijlers:

A. NTK-by-parts Interpolatie
In plaats van alle dimensies van de RoPE-embeddings gelijkmatig te schalen, maakt YaRN onderscheid tussen verschillende frequenties (golflengtes $\lambda$ ):

Lage frequenties (lange golflengtes): Deze dimensies coderen vaak absolute positie-informatie. Deze worden lineair geïnterpoleerd om te voorkomen dat ze buiten de distributie vallen.
Hoge frequenties (korte golflengtes): Deze dimensies zijn cruciaal voor het begrijpen van de relatieve afstand tussen nabijgelegen tokens. YaRN laat deze dimensies ongemoeid (geen interpolatie) om de lokale precisie te behouden.
Tussenliggende dimensies: Deze worden via een geleidelijke overgangsfunctie (ramp function) behandeld.

B. Attention Scaling (Temperature Scaling)
De auteurs ontdekten dat het introduceren van een temperatuurfactor $t$ in de softmax-functie van de attention-mechanisme de perplexiteit (de mate van onzekerheid van het model) aanzienlijk verbetert bij langere contexten. YaRN implementeert dit door de query- en key-vectoren te schalen met een factor $\sqrt{1/t}$ . Dit kan efficiënt worden gedaan door de RoPE-embeddings zelf te schalen, zonder de onderliggende code van de attention-mechanisme te wijzigen.

C. Dynamic Scaling (Dynamic-YaRN)
Voor inferentie zonder fine-tuning introduceert het paper Dynamic Scaling. Hierbij wordt de schaalfactor $s$ dynamisch aangepast aan de huidige sequentielengte tijdens het genereren van tekst. Dit zorgt ervoor dat het model niet abrupt faalt zodra de oorspronkelijke trainingslimiet wordt overschreden, maar geleidelijk degradeert.

3. Belangrijkste Bijdragen

Efficiëntie: YaRN vereist tot wel 10x minder tokens en 2.5x minder trainingsstappen dan eerdere methoden om een model naar een grotere context te brengen.
Extrapolatievermogen: Het model kan effectief presteren op contextlengtes die veel groter zijn dan de data waarop het tijdens de fine-tuning is getraind (bijv. trainen op 64k, testen op 128k).
Drop-in Replacement: Het is een eenvoudige vervanging voor bestaande RoPE-implementaties en is volledig compatibel met geoptimaliseerde libraries zoals Flash Attention 2.

4. Resultaten

De experimenten op LLaMA- en Llama 2-modellen laten indrukwekkende resultaten zien:

Perplexity: YaRN presteert consistent beter dan PI en NTK-aware methoden op lange sequenties (zoals de Proof-pile dataset).
Passkey Retrieval: In taken waarbij een model een specifiek getal moet terugvinden in een enorme tekstmassa, behaalt YaRN een nauwkeurigheid van bijna 100% zelfs bij zeer grote contexten.
Benchmarks: De prestaties op standaard benchmarks (MMLU, HellaSwag, etc.) blijven nagenoeg gelijk aan de originele modellen, wat betekent dat de uitbreiding van de context de algemene intelligentie van het model niet schaadt.
Trainingstijd: De methode is extreem rekenkracht-efficiënt (bijv. slechts 128 tot 256 GPU-uren op A100's voor significante uitbreidingen).

5. Betekenis

YaRN vormt een belangrijke doorbraak voor de toegankelijkheid van LLM's met een extreem lange context. Het biedt een wiskundig onderbouwde manier om de beperkingen van positie-encodering te omzeilen, waardoor onderzoekers en ontwikkelaars modellen kunnen gebruiken voor het analyseren van hele boeken, lange juridische documenten of complexe codebases met minimale extra rekenkosten.