💬 NLP

What Layers When: Learning to Skip Compute in LLMs with Residual Gates

GateSkip is een nieuwe methode voor taalmodellen die door middel van een eenvoudig gateringsmechanisme per token bepaalt welke lagen overgeslagen kunnen worden, waardoor rekenkracht wordt bespaard zonder significant verlies van nauwkeurigheid.

Oorspronkelijke auteurs: Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente bibliothecaris hebt (het AI-model). Elke keer als je hem een vraag stelt, rent hij door honderden kamers vol boeken om het antwoord te vinden. Het probleem? Of je nu vraagt naar de kleur van de lucht of naar de complexe werking van kwantumfysica, de bibliothecaris rent precies even hard en door precies evenveel kamers. Dat is ontzettend vermoeiend en kost bakken met energie, terwijl voor simpele vragen de helft van die kamers eigenlijk overbodig is.

Dit onderzoek, genaamd GateSkip, heeft een slimme oplossing bedacht. Hier is de uitleg in begrijpelijke taal:

De Metafoor: De Slimme Deurwachter

In plaats van dat de bibliothecaris blindelings door elke kamer rent, plaatsen de onderzoekers bij elke deur een slimme deurwachter (de 'Gate').

Wanneer de bibliothecaris een kamer nadert, kijkt de deurwachter naar de vraag en de informatie die hij al heeft. De deurwachter zegt dan: "Ho even, voor dit specifieke woord in deze zin heb je deze kamer niet nodig. Loop er gewoon direct langs!"

Bij een moeilijk woord (zoals "kwantummechanica"): De deurwachter opent de deur wijd, en de bibliothecaris gaat uitgebreid de boeken bestuderen.
Bij een makkelijk woord (zoals "de" of "het"): De deurwachter houdt de deur dicht. De bibliothecaris rent er simpelweg langs zonder te stoppen.

Hoe werkt het technisch (zonder de wiskunde)?

De onderzoekers hebben een mechanisme gebouwd dat "gating" wordt genoemd.

De Score: Voor elk woord dat de AI verwerkt, wordt er een "belangrijkheidsscore" berekend.
Het Budget: De gebruiker bepaalt vooraf hoeveel energie er bespaard moet worden (bijvoorbeeld: "Ik wil 25% minder werk doen").
Het Overslaan: De AI kijkt naar alle woorden en zegt: "De 25% woorden met de laagste score zijn niet belangrijk genoeg voor deze laag. We slaan die lagen voor die woorden even over."

Waarom is dit een doorbraak?

Voorheen probeerden wetenschappers dit ook wel, maar dat was vaak alsof je een hele bibliotheek moest verbouwen om de deurwachters te installeren. Dat maakte de bibliothecaris vaak in de war of minder slim.

GateSkip is anders omdat:

Het is "zacht": Het is niet een harde "ja" of "nee", maar een vloeiend proces. Hierdoor blijft de AI heel stabiel en wordt hij niet "dommer" door het overslaan.
Het maakt de AI zelfs slimmer: Opvallend genoeg merkten de onderzoekers dat bij sommige modellen de AI zelfs beter werd in het beantwoorden van instructies, simpelweg omdat hij door het selectieve proces beter leert wat echt belangrijk is.
Het werkt met bestaande modellen: Je hoeft de AI niet vanaf nul opnieuw te leren lezen; je zet de deurwachters er gewoon achteraf bij.

De Resultaten in het kort

Besparing: Je kunt tot wel 50% van de rekenkracht besparen zonder dat de kwaliteit van de antwoorden merkbaar achteruitgaat.
Snelheid: De AI kan sneller antwoorden geven omdat hij minder "stappen" hoeft te zetten voor simpele woorden.
Inzicht: De onderzoekers ontdekten dat de AI bepaalde woorden (zoals leestekens of het begin van een zin) als "ankerpunten" gebruikt om de rest van de informatie te ordenen.

Kortom: GateSkip leert AI om niet meer als een hyperactieve marathonloper te werken die bij elk woord een sprint trekt, maar als een slimme strateeg die weet wanneer hij moet rennen en wanneer hij rustig kan wandelen.

Technische Samenvatting: GateSkip

1. Het Probleem: Inefficiënte Computatie in LLM's

Huidige Large Language Models (LLM's), zoals de Llama- en Gemma-architecturen, wijzen een constante hoeveelheid rekenkracht (compute) toe aan elk token in elke laag van het netwerk. Dit is inherent inefficiënt: eenvoudige tokens (zoals leestekens of functiewoorden) vereisen minder diepe verwerking dan complexe tokens die essentieel zijn voor redeneren.

Bestaande methoden om dit aan te pakken hebben nadelen:

Router-gebaseerde methoden (zoals Mixture-of-Depths): Gebruiken discrete beslissingen die tijdens het trainen vaak instabiel zijn en complexe verliesfuncties vereisen.
Early-exit methoden: Gebruiken extra 'heads' om te bepalen wanneer een model stopt, wat de representaties van het model verandert en vaak instabiel is bij fine-tuning.
Beide benaderingen: Vereisen meestal training vanaf nul (from scratch), wat extreem kostbaar is.

2. Methodologie: GateSkip

De auteurs introduceren GateSkip, een lichtgewicht mechanisme dat gebruikmaakt van residual stream gating.

Kernconcepten:

Residual Gating Mechanism: In plaats van een harde router, voegt GateSkip een leerbare, differentieerbare poort (gate) toe aan de output van elke Attention- en MLP-branch. Deze poort bestaat uit een lineaire projectie gevolgd door een sigmoid-activatie: $g(h) = \sigma(W_G h + b)$ . De output van de module wordt elementgewijs vermenigvuldigd met deze poort voordat deze wordt toegevoegd aan de residual stream.
Trainingsproces: Tijdens de training wordt een standaard taalmodel-verlies (cross-entropy) gecombineerd met een sparsity loss ( $L_S$ ). Deze extra term dwingt de poorten om dicht bij nul te blijven, wat het model stimuleert om onbelangrijke informatie weg te filteren. Het budget voor tokens wordt tijdens de training lineair afgebouwd, zodat het model leert omgaan met het overslaan van lagen.
Token Selectie (Inference): Tijdens de inferentie worden tokens gerangschikt op basis van hun 'belangrijkheidsscore' (de gemiddelde waarde van de gate). Met behulp van een quantile threshold worden de minst belangrijke tokens overgeslagen. Deze tokens kopiëren simpelweg hun huidige verborgen toestand (hidden state) en KV-cache naar de volgende laag, zonder de rekenintensieve Attention- of MLP-berekeningen uit te voeren.

3. Belangrijkste Bijdragen

Stabiliteit: Omdat de poorten glad (smooth) en differentieerbaar zijn, kan GateSkip direct bovenop bestaande, vooraf getrainde modellen worden getraind zonder de optimalisatie te verstoren.
Granulariteit: Het biedt controle op zowel token-niveau als module-niveau (Attention vs. MLP).
Compatibiliteit: De methode werkt naadloos samen met andere optimalisatietechnieken zoals kwantisatie (4-bit), pruning en self-speculative decoding.
Inzicht in Informatiestroom: De geleerde poorten bieden interpretatie: ze laten zien dat tokens zoals de Beginning-of-Sequence (BOS) en leestekens fungeren als cruciale ankers voor het model.

4. Resultaten

De evaluatie werd uitgevoerd op Llama-3 en Gemma-2 modellen.

Generatieve Redenering (Long-form reasoning): GateSkip bespaart tot 15% compute terwijl het meer dan 90% van de nauwkeurigheid behoudt.
Instructie-getunede modellen: Hier zijn de resultaten nog indrukwekkender. GateSkip verbetert zelfs de nauwkeurigheid bij volledige compute en kan de baseline-kwaliteit evenaren terwijl er bijna 50% aan compute wordt bespaard.
Vergelijking met State-of-the-Art: GateSkip presteert significant beter dan Mixture-of-Depths (MoD) en andere adaptieve methoden op generatieve taken, waar die methoden vaak instorten.
Real-world Efficiency: In een geoptimaliseerde omgeving (vLLM) vertalen de theoretische FLOP-besparingen zich direct naar een hogere throughput (tokens per seconde) en lagere latentie.

5. Betekenis en Conclusie

GateSkip bewijst dat het dynamisch aanpassen van de diepte van een transformer-model mogelijk is zonder de stabiliteit van het model op te offeren. Het transformeert de residual stream in een effectief controlemechanisme voor adaptieve rekenkracht. Dit is cruciaal voor de volgende generatie LLM's, die efficiënter moeten kunnen draaien op apparaten met beperkte middelen (edge computing) of in latency-gevoelige cloud-omgevingen, zonder in te leveren op de intelligentie van het model.