🤖 AI

Long-Context Fine-Tuning with Limited VRAM

Dit artikel presenteert een geheugenefficiënt framework voor long-context fine-tuning dat hiërarchische globale aandacht, segment-gewijze backpropagation en gelaagde KV-opslag combineert om training op sequenties tot 16.384 tokens en evaluatie tot 131.072 tokens mogelijk te maken op een enkele 16 GB GPU met prestaties die vergelijkbaar zijn met dense attention.

Oorspronkelijke auteurs: Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Gepubliceerd 2026-07-20

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vladimir Fedosov, Aleksandr Sazhin, Artemiy Grinenko, Frank Woernle

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om een bibliotheek vol boeken te lezen. De robot heeft een briljant brein, maar zijn "werkgeheugen" — het kleine bureau dat hij gebruikt om over boeken na te denken — is ontzettend klein. In de wereld van kunstmatige intelligentie wordt dit bureau VRAM (Video Random Access Memory) genoemd. Als de robot een lang verhaal probeert te lezen, moet hij elk woord dat hij al gelezen heeft onthouden om de huidige zin te begrijpen. Maar als het verhaal te lang is, raakt het bureau van de robot overvol en crasht hij voordat hij de les kan afmaken. Dit is het "long-context" probleem: hoe leren we deze modellen om duizenden woorden te onthouden zonder dat hun bureauruimte opraakt?

Om dit op te lossen, hebben wetenschappers een paar trucjes bedacht. Eén is QLoRA, wat lijkt op het comprimeren van de hersenen van de robot in een kleinere, lichtere rugzak zodat hij op het bureau past. Een ander is dense attention (dichte aandacht), wat de manier is waarop de robot terugkijkt naar elk enkel woord dat hij tot nu toe heeft gelezen om de juiste aanwijzingen te vinden. Hoewel dit geweldig werkt voor korte verhalen, wordt het onmogelijk voor lange verhalen omdat de robot de hele geschiedenis in zijn kleine werkgeheugen moet meedragen. Dit papier onderzoekt een nieuwe manier om deze robots te leren hoe ze enorme verhalen kunnen verwerken zonder een gigantisch bureau nodig te hebben, met behulp van een slimme mix van geheugentrucs en een nieuwe "zoekmachine"-stijl van lezen.

Het Probleem: Het Kleine Bureau van de Robot

Stel je voor dat je studeert voor een geschiedenisexamen. Je hebt een tekstboek van 10.000 pagina's. Je brein kan slechts ongeveer 2.000 pagina's aan aantekeningen tegelijk vasthouden. Als je pagina 8.000 leest, moet je je herinneren wat er op pagina 100 gebeurde, maar je aantekeningen zitten vol. In het verleden waren AI-modellen als studenten die probeerden een kopie van elke enkele pagina die ze ooit hadden gelezen op hun bureau te houden. Als het boek te lang werd, explodeerde het bureau.

De auteurs van dit paper wilden een model genaamd Qwen3-8B (een slimme robot met 8 miljard "neuronen") trainen op een specifieke grafische kaart genaamd een Quadro RTX 5000 die slechts 16 GB aan geheugen heeft. Ze probeerden hem te onderwijzen met de standaardmethode genaamd "dense attention". Het resultaat? De robot kon een verhaal van 2.048 tokens aan (een token is een brok van een woord, zoals een lettergreep of een kort woord). Maar zodra ze probeerden het verhaal 4.096 tokens lang te maken, raakte het bureau van de robot vol en crashte de training. Het kon simpelweg de herinnering aan het verleden niet in de kleine beschikbare ruimte passen.

De Oplossing: De "Hierarchical Global Attention" (HGA) Bibliotheek

Het team bedacht een nieuwe strategie genaamd Hierarchical Global Attention (HGA). In plaats van te proberen elk enkel woord uit het verleden op het bureau te houden, bouwden ze een slim, twee-lagen opslagsysteem.

Beschouw het verhaal als een enorme bibliotheek.

De Samenvattingen (De Catalogus): Eerst maakt de robot een kleine samenvattingskaart voor elke 64-token chunk van het verhaal. Deze samenvattingskaarten zijn zo klein dat ze allemaal op het bureau passen.
De Groepen (De Planken): Binnen die chunks zijn kleinere 8-token groepen. De robot houdt ook een cache van samenvattingen voor deze groepen bij.
De Echte Boeken (De Exacte Woorden): Wanneer de robot een specif deel van het verhaal moet lezen, laadt hij niet de hele bibliotheek. Hij kijkt naar de samenvattingskaarten op het bureau, kiest de meest relevante chunks, en haalt dan alleen de exacte woorden (de "Key" en "Value" data) uit die specifieke chunks uit de opslagruimte (RAM of een harde schijf) en brengt deze naar het bureau.

Dit is als het hebben van een bibliothecaris die precies weet welke pagina's je nodig hebt. In plaats van het hele boek mee te dragen, brengt de bibliothecaris je precies de drie pagina's waar je naar op zoek bent. De rest van het boek blijft op de plank (in het RAM-geheugen of op de harde schijf), waardoor het nul ruimte inneemt op je bureau.

Hoe het in de praktijk werkt

De onderzoekers verdeelden het lange verhaal in segmenten. Ze trainen de robot op één segment tegelijk.

Het Actieve Segment: Het huidige deel van het verhaal dat wordt geleerd, ligt op het bureau.
De Geschiedenis: De eerdere delen worden opgeslagen in de "opslagruimte".
De Magie: Wanneer de robot terug moet kijken, gebruikt hij de samenvattingskaarten om de juiste pagina's te vinden, haalt hij alleen die specifieke pagina's op, en leert hij van hen. Zodra hij dat segment heeft voltooid, duwt hij de oude pagina's terug naar de opslagruimte om plaats te maken voor het volgende segment.

Deze methode wordt segment-wise backpropagation genoemd. Het is alsoals het bestuderen van een hoofdstuk, het maken van een toets, en vervolgens je bureau leegmaken om het volgende hoofdstuk te bestuderen, terwijl je een kaart bijhoudt van waar de belangrijke feiten in de vorige hoofdstukken staan.

De Resultaten: Grotere Verhalen, Zelfde Bureau

Het team testte dit op hun 16 GB grafische kaart. Dit is wat er gebeurde:

De Oude Manier (Dense Attention): Kon slechts 2.048 tokens aan. Bij 4.096 tokens faalde het volledig.
De Nieuwe Manier (HGA): Succesvol getraind op verhalen tot 16.384 tokens (en zelfs getest tot 32.768 tokens) op exact dezelfde kaart.

Het piekgeheugengebruik voor de nieuwe methode was 15,28 GB, wat comfortabel binnen de limiet van 16 GB past. De robot kon een verhaal verwerken dat 8 keer langer was dan voorheen zonder een groter bureau nodig te hebben.

Snelheid en Kwaliteit: Is het een Trade-off?

Meestal, wanneer je iets slimmer of groter maakt, wordt het ook langzamer. De auteurs controleerden of deze nieuwe methode langzamer was.

Bij 1.024 tokens was de nieuwe methode ongeveer 20% langzamer dan de oude manier. Dit komt omdat de "zoektocht" naar de juiste pagina's wat extra tijd kost wanneer het verhaal kort is.
Echter, bij 2.048 tokens was de nieuwe methode zelfs iets sneller (217,75 tokens per seconde versus 207,02 tokens per seconde).
De auteurs leggen uit dat naarmate het verhaal langer wordt, de oude methode steeds meer woorden moet bekijken, wat het vertraagt. De nieuwe methode kijkt slechts naar een vast, klein aantal belangrijke woorden, waardoor de snelheid constant blijft. Ze voorspellen dat de nieuwe methode voor zeer lange verhalen veel sneller zal zijn.

Leerde de robot net zo goed? Ze testten de kennis van de robot met een standaard lees-test (PG19 dataset).

De robot getraind met de nieuwe methode scoorde 2,7405 (een maatstaf voor hoe goed hij het volgende woord voorspelt).
De robot getraind met de oude methode scoorde 2,7383.
Het verschil is minuscuul (0,0022), wat betekent dat de nieuwe methode net zo goed leerde als de oude, ook al keek hij naar minder woorden.

De Adders onder het Gras: Wat de Robot Nog Niet Kan

Het paper is zeer eerlijk over wat deze methode nog niet kan.

Causal Leakage (Oorzakelijke Lek): Als je de robot heel lang traint (honderden miljoenen tokens), kan hij gaan valsspelen. Omdat de robot woorden groepeert om samenvattingen te maken, kan een vroeg woord per ongeluk informatie "zien" over een later woord dat het nog niet zou mogen weten. Dit wordt "causal leakage" genoemd. De auteurs zeggen dat dit geen probleem is voor korte trainingssessies (zoals de 100 stappen die zij deden), maar ze raden niet aan om dit nu al te gebruiken om een robot vanaf nul te trainen voor een enorm, meerjarig project.
Inference (Het Verhaal Lezen): De robot kan leren met deze nieuwe methode, maar wanneer het tijd is om een verhaal te lezen of te schrijven, gebruikt hij momenteel de standaard, tragere methode om ervoor te zorgen dat hij werkt met bestaande software. De auteurs werken aan een "productie-waardige" versie die de robot ook de snelle, nieuwe methode laat gebruiken tijdens het lezen, maar die is nog niet klaar.

De Conclusie

Dit paper laat zien dat je geen superdure, gigantische computer nodig hebt om AI te trainen op lange verhalen. Door een slim opslagsysteem (HGA) en een "stuk-voor-stuk" leermethode te gebruiken, kun je een 16.384-token trainingssessie op een 16 GB grafische kaart passen die voorheen slechts 2.048 tokens aankon. De robot leert net zo goed, en naarmate de verhalen langer worden, wordt deze nieuwe methode sneller dan de oude. Het is een slimme truc die een geheugenlimiet verandert in een beheersbare puzzel, wat de deur opent naar intelligentere AI die hele boeken kan lezen zonder dat de bureauruimte opraakt.

Technische Samenvatting: Fine-tuning met lange context met beperkt VRAM

1. Probleemstelling

Adaptatie van lange context in grote taalmodellen wordt frequent beperkt, niet door het aantal trainbare adapterparameters, maar door de geheugeneisen van aandachtmechanismen en backpropagation-toestanden. Hoewel Parameter-Efficient Fine-Tuning (PEFT)-methoden zoals QLoRA het model- en optimizergeheugen verminderen door bevroren gewichten te kwantiseren en low-rank adapters te trainen, vertrouwen ze nog steeds op dense attention (dichte aandacht). Dense attention vereist het verwerken van de volledige geschiedenis van tokens, wat ervoor zorgt dat de geheugenvoetafdruk lineair groeit met de sequentielengte. Gevolgelijkelijk faalt dense training op hardware met consumenten-grade of beperkt VRAM (bijv. 16 GB GPU's) vaak voorbij korte contextlengtes (bijv. 4.096 tokens), wat het fine-tunen van modellen op lange documenten verhindert.

2. Methodologie

Het paper stelt een framework voor dat Hierarchical Global Attention (HGA) combineert met segment-gewijze backpropagation en getrapte Key-Value (KV) opslag om de GPU-werkset te ontkoppelen van de volledige trainingsgeschiedenis.

2.1 Hierarchical Global Attention (HGA)

HGA vervangt standaard attention zonder de vooraf getrainde Q/K/V/O-projecties te wijzigen. Het werkt via een tweelags routeringsmechanisme:

Chunk Selectie: De context wordt verdeeld in chunks van een vaste grootte (bijv. 64 tokens). Compacte samenvattingsvectoren voor elke gesloten chunk blijven in het VRAM aanwezig. De huidige query-block scoort deze samenvattingen om de meest relevante historische chunks te selecteren, naast vaste sink- en lokale windows.
Groep Selectie: Geselecteerde chunks worden verder onderverdeeld in kleinere groepen (bijv. 8 tokens). Groepssamenvattingen worden gecached in een grotere VRAM-buffer; ontbrekende samenvattingen worden opgehaald uit Host RAM of NVMe. De router selecteert de beste groepen binnen de gekozen chunks.
Exact-Token Attention: Alleen de exacte Key/Value (K/V) paren van de geselecteerde groepen worden geladen in de werkset voor de berekening van de aandacht. Samenvattingsvectoren worden uitsluitend gebruikt voor routering, niet als aandachtswaarden.

Cruciaal is dat de routeringsselectie wordt uitgevoerd zonder gradient tracking, terwijl het verzamelen van K/V en de exact-token attention differentieerbaar blijven. De methode voegt geen geleerde router-gewichten toe, waardoor gradiënten dezelfde projecties updaten als bij dense training.

2.2 Segment-gewijze Backward en Getrapte Opslag

Om het geheugen tijdens backpropagation te beheren, wordt de sequentie van lengte $L$ opgesplitst in segmenten van lengte $S$ .

Truncated Backpropagation Through Time (TBPTT): Elk segment berekent de loss en voert onmiddellijk de backward pass uit. Op de segmentgrens wordt de historische K/V voor dat segment losgekoppeld van de computationele graaf.
Getrapte Geheugenhiërarchie:
- VRAM: Bevat de gekwantiseerde model, adapters, optimizer, het actieve differentieerbare segment, gerouteerde exacte K/V, alle chunk-samenvattingen en een cache van groepssamenvattingen.
- Host RAM/NVMe: Slaat de losgekoppelde historische K/V en niet-aanwezige groepssamenvattingen op.
- Schaling: De VRAM-voetafdruk groeit als $O(S) + O(B_{route})$ (segmentgrootte + routeringsbudget), terwijl de externe historische registratie groeit als $O(L)$ . Dit maakt training op sequenties mogelijk die de VRAM-capaciteit ver overstijgen, beperkt door enkel systeem-RAM en NVMe-opslag.

3. Belangrijkste Bijdragen

Verlengde Trainbare Context: De methode maakt het mogelijk om op een 16 GB GPU te finetunen met een contextlengte van 16.384 tokens (en evaluatie tot 131.072 tokens), terwijl dense training op dezelfde hardware faalt bij 4.096 tokens.
Kwaliteitsparietiteit: Bij het overlap punt (2.048 tokens) produceren adapters getraind met HGA gewichten die praktisch ononderscheidbaar zijn van die getraind met dense attention wanneer ze geëvalueerd worden onder een standaard dense-attention readout.
Doorvoerefficiëntie: Hoewel HGA overhead veroorzaakt bij zeer korte contexten, wordt het marginaal sneller dan dense training bij 2.048 tokens. De auteurs projecteren dat HGA aanzienlijk sneller zal worden naarmate de contextlengte toeneemt, aangezien de per-token aandachtswerklast ongeveer constant blijft terwijl de dense werklast lineair groeit.
Modulaire Inferentie: De resulterende adapter kan worden gebruikt met zowel de originele dense attention (voor compatibiliteit met bestaande frameworks) als HGA voor retrieval en generatie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met Qwen3-8B (4-bit NF4 QLoRA) op een Quadro RTX 5000 (16 GB) met de PG19 dataset.

4.1 Haalbaarheid van Training

Dense Training: Faalt (OOM) bij 4.096 tokens.
HGA Training: Succesvol trainen tot 32.768 tokens met een piek VRAM-gebruik van ~15,28 GB.
Selectiedichtheid: Naarmate de context groeit, neemt het fractie van de geattendde historische tokens af (van 59,4% bij 2K naar 4,4% bij 32K), maar het model blijft stabiel.

4.2 Efficiëntie

1.024 tokens: HGA is ~20% langzamer dan dense (225,54 vs 282,32 tokens/s) door de routeringsoverhead die nog niet is geamortiseerd.
2.048 tokens: HGA wordt marginaal sneller (217,75 vs 207,02 tokens/s), wat het doorvoercrossoverpunt markeert.

4.3 Kwaliteitsmetrieken

Perplexity (PPL): Bij 2.048 tokens bereikt de met HGA getrainde adapter een PPL van 15,495 onder dense readout, vergeleken met 15,461 voor de met dense getrainde adapter (een verschil van ~0,04 PPL). Beiden presteren significant beter dan het standaardmodel (19,185 PPL).
Retrieval: In RULER-achtige taken (passkey, multikey, multivalue) behalen HGA-getrainde adapters een recall van 100% op passkey en multikey taken bij 4K/8K, wat overeenkomt met de dense-getrainde baselines.
Routeringskosten: Het verhogen van het aantal gerouteerde chunks van 8 naar 32 levert afnemende meeropbrengsten op in perplexiteit, wat suggereert dat het standaard routeringsbudget nabij verzadiging is.

5. Limieten en Claims

Het paper vermeldt expliciet de volgende beperkingen:

Causale Lek (Causal Leakage): In de huidige implementatie creëert het delen van routeringsbeslissingen over tokens binnen een chunk een zwakke causale zijkanaal. Dit wordt meetbaar na 100–200 miljoen getrainde tokens, waarbij het model indirecte informatie over toekomstige tokens exploiteert. Daarom is de methode gevalideerd voor fine-tuning binnen de geteste horizonten, maar is het nog niet geschikt voor pretraining vanaf nul. Een strikt causale variant wordt voorgesteld als toekomstig werk.
Evaluatiescope: Kwaliteitsvergelijkingen bij 8K–16K kunnen niet worden gemaakt tegen een dense baseline omdat dense training faalt op de doelhardware.
Productie-gereedheid: Het gerouteerde inferentiepad is momenteel een research-implementatie. Een productie-waardige serving engine (bijv. geïntegreerd met vLLM of SGLang) is in ontwikkeling.

6. Betekenis

Het paper demonstreert dat HGA, gecombineerd met segment-gewijze backpropagation en getrapte opslag, de GPU-werkset effectief scheidt van de volledige trainingsgeschiedenis. Dit maakt het mogelijk om te finetunen op lange context met hardware die beperkt is in VRAM, zonder de kwaliteit van de geleerde gewichten op te offeren (gemeten via dense readout). De aanpak biedt een praktische weg om de contextlengtes te schalen voorbij de limieten van dense attention, met het potentieel voor verbeterde doorvoer op langere sequenties.