💬 NLP

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

Dit artikel introduceert Expert Tying, een methode die expertparameters deelt over opeenvolgende transformerlagen in Mixture-of-Experts-modellen om de geheugenvereisten bijna te halveren met een verwaarloosbare impact op de prestaties, waardoor de compute-to-memory-verhouding voor het trainen en schalen van grote taalmodellen aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Martin Jaggi

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Martin Jaggi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Enorme Bibliotheek" versus de "Kleine Lezer"

Stel je voor dat je een gigantische, superintelligente robotbibliothecaris bouwt (een Large Language Model) om mensen te helpen verhalen te schrijven of problemen op te lossen.

Om deze bibliothecaris ongelooflijk slim te maken, geef je hem toegang tot een enorme bibliotheek met miljarden boeken (dit zijn de "parameters" of "experts"). Maar om de bibliothecaris snel en efficiënt te houden, besluit je dat hij voor elke zin die hij leest, slechts één of twee specifieke boeken opent om het antwoord te vinden. Dit wordt een Mixture-of-Experts (MoE) model genoemd.

De Haken en Oor: Hoewel de bibliothecaris op elk gegeven moment slechts een fractie van de boeken leest, moet je nog steeds de gehele bibliotheek fysiek aanwezig houden in de kamer (in het geheugen van de computer). Als de bibliotheek 1.000 boeken heeft maar de bibliothecaris er slechts 10 tegelijk opent, heb je nog steeds een kamer nodig die groot genoeg is om alle 1.000 boeken te huisvesten. Dit maakt het systeem erg duur en traag omdat de "kamer" (het geheugen) enorm is, ook al is het "lezen" (de berekening) klein.

De Oplossing: "Tying the Loop"

De auteurs stellen een slimme truc voor genaamd Expert Tying.

Stel je voor dat de bibliothecaris werkt in een lange gang met 32 kamers (lagen). In een standaardopstelling heeft elke kamer zijn eigen unieke set van 1.000 boeken.

De Oude Manier: Kamer 1 heeft boeken A–Z. Kamer 2 heeft boeken A–Z (maar een andere kopie). Kamer 3 heeft boeken A–Z (weer een andere kopie). Je hebt 32 sets boeken nodig.
De Nieuwe Manier (Expert Tying): Je realiseert je dat de boeken in Kamer 1, Kamer 2 en Kamer 3 eigenlijk heel vergelijkbaar werk doen. Dus je koppelt ze aan elkaar. Je plaatst één enkele set boeken op een karretje dat van Kamer 1 naar Kamer 2 naar Kamer 3 rijdt. De bibliothecaris gebruikt de dezelfde fysieke boeken in alle drie de kamers.

Het Resultaat: Je hebt geen 32 sets boeken meer nodig; je hebt slechts 1 set boeken nodig voor elke 3 kamers. Dit vermindert de omvang van de "bibliotheek" (geheugen) met bijna de helft, maar de bibliothecaris leest nog steeds net zo snel omdat hij nog steeds slechts één boek tegelijk opent.

De "Secret Sauce": Wat Koppel je en Wat Houd je Apart

De onderzoekers hebben niet zomaar alles blindelings aan elkaar gekoppeld. Ze hebben experimenten uitgevoerd om erachter te komen wat er precies gedeeld kon worden zonder de bibliothecaris dom te maken.

Denk aan een kamer in de bibliotheek als een plek met vier onderdelen:

De Boeken (Experts): De werkelijke kennis.
De Bril van de Bibliothecaris (Attention): Hoe ze naar de woorden kijken.
Het Indexkaartje (Router): Welk boek te kiezen.
Het Bureau (Normalization): Hoe ze de aantekeningen organiseren.

De Ontdekking:

Het delen van de Boeken is prima: Je kunt dezelfde boeken over meerdere kamers delen. De bibliothecaris kan nog steeds uitstekend werk leveren omdat de Bril (Attention) in elke kamer anders is. De bril verandert hoe de bibliothecaris naar de woorden kijkt, wat ervoor zorgt dat elke kamer uniek aanvoelt, zelfs als de boeken hetzelfde zijn.
Deel de Bril niet: Als je ook de bril deelt, raakt de bibliothecaris in de war en daalt de kwaliteit.
De "Prelude en Coda" Regel: De allereerste kamer (waar de bibliothecaris het boek krijgt) en de allerlaatste kamer (waar hij het antwoord schrijft) hebben hun eigen unieke boeken nodig. Als je de bibliothecaris dwingt om voor het begin en het einde het gedeelde karretje te gebruiken, lijdt de kwaliteit eronder. Houd dus de eerste twee en de laatste twee kamers uniek, en koppel de middelste kamers aan elkaar.

De Resultaten: Sneller, Kleiner en Net zo Slim

Het paper testte dit op drie beroemde AI-modellen (OLMoE, Qwen3 en DeepSeek). Dit is wat er gebeurde:

Geheugenbesparing: Door de experts in groepen van 4 aan elkaar te koppelen, verminderden ze de totale hoeveelheid benodigde geheugen met 40% tot 50%. Het is alsof je de omvang van de bibliotheek met de helft verkleint.
Geen "Brain Damage": De "slimheid" (perplexity en nauwkeurigheid) daalde nauwelijks. Het was bijna net zo goed als het originele, enorme model.
Snelheidsboost: Omdat de computer minder boeken in het geheugen hoefde te laden, werd het trainingsproces 23% sneller.
De "Reinvestment" Truc: Omdat ze zoveel ruimte bespaarden door boeken te delen, gebruikten ze die bespaarde ruimte om meer boeken aan het gedeelde karretje toe te voegen. Dit creëerde een model dat zelfs beter was dan het origineel, ook al gebruikte het dezelfde hoeveelheid totaal geheugen.

Samenvattende Analogie

Stel je een bouwploeg voor die een wolkenkrabber bouwt.

Oude Manier: Elke verdieping heeft zijn eigen unieke, volledig uitgeruste gereedschapskist. De vrachtwagen die alle gereedschapskisten vervoert, is enorm en duur.
Nieuwe Manier (Tying the Loop): Verdiepingen 3 tot en met 28 delen allemaal dezelfde gereedschapskist die via de lift naar boven wordt gestuurd. Verdiepingen 1, 2, 29 en 30 houden hun eigen speciale gereedschapskisten.
Resultaat: De vrachtwagen is nu de helft kleiner (bespaart geld en ruimte), de ploeg werkt sneller omdat ze niet extra gewicht hoeven te slepen, en het gebouw is net zo sterk. Sterker nog, omdat ze geld bespaarden op de vrachtwagen, hebben ze betere gereedschappen gekocht voor de gedeelde gereedschapskist, waardoor het gebouw zelfs sterker is geworden.

De Kern van het Verhaal: Je kunt AI-modellen veel kleiner en sneller maken door dezelfde "kennis" te hergebruiken over verschillende lagen van het model, zolang je de "bril" (attention) uniek houdt voor elke laag en de allereerste en allerlaatste lagen met rust laat.

Technische Samenvatting: Tying the Loop - Tied Expert Layers in Mixture-of-Experts Language Models

Probleemstelling

Mixture-of-Experts (MoE) architecturen zijn de standaard geworden voor het schalen van Large Language Models (LLMs) door het totaal aantal parameters te ontkoppelen van de compute per token. Door slechts een klein deel van de actieve expert feed-forward netwerken (FFNs) per token te activeren, bereiken MoE-modellen een hoge capaciteit met efficiënte inferentie. Er blijft echter een kritieke bottleneck bestaan: de geheugenvoetafdruk. Hoewel slechts een fractie van de parameters actief is tijdens een forward pass, moet de volledige set parameters (gedomineerd door de expert-gewichten) in het trainings- en inferentiegeheugen aanwezig zijn.

Dit creëert een spanning met de opkomende trend van "parameter-efficiëntie" in redeneer- en looped-depth modellen, die streven naar meer compute uit elke unieke parameter te halen. Standaard MoE-architecturen worden in dit opzicht als inefficiënt beschouwd omdat ze het geheugen opblazen met parameters die tijdens een gegeven pass inactief zijn. Het paper probeert de lage per-token compute van MoE te verzoenen met het doel van hogere compute-per-unieke-parameter efficiëntie zonder de modelkwaliteit op te offeren.

Methodologie: Expert Tying

De auteurs stellen Expert Tying voor, een architecturale modificatie die expert FFN-parameters deelt over een groep opeenvolgende transformer-lagen, terwijl de laag-specifieke componenten behouden blijven.

Kernmechanisme

Parameterdeling: Voor een groep van $g$ opeenvolgende lagen worden de gate, up-, en down-projectie gewichten van de $N$ experts gealiased (gedeeld). Dit vermindert de unieke FFN-parameters met een factor $g$ .
Behouden Onafhankelijkheid: Cruciaal is dat de router (gating network), self-attention projecties (Q, K, V, O), en normalisatie lagen onafhankelijk blijven voor elke laag.
Implementatie: De methode wordt geïmplementeerd als een eenvoudige pointer-toewijzing in de modelcode (bijv. Hugging Face Transformers). Het vereist geen wijzigingen in de trainings- of inferentie-infrastructuur, behalve het waarborgen dat de optimizer correct gradiënten accumuleert van de meerdere gebruikssites van de gedeelde parameters.
Learning Rate Schaling: Om de gradiënt-accumulatie van $g$ lagen te beheren, wordt de learning rate voor de gedeelde expert-gewichten geschaald met $1/\sqrt{g}$ .

Ontwerp-ratio

De auteurs hypothetiseren dat de FFN-expert pool gedeeld kan worden over nabijgelegen lagen omdat per-laag attention ervoor zorgt dat de effectieve operator van elke laag onderscheidend blijft. Zelfs met identieke expert-gewichten produceert het attenderen over verschillende mengsels van token-posities verschillende transformaties op elke diepte.

Belangrijkste Bijdragen

1. Gecontroleerde Component Ablatie

Voordat ze opschaalden naar productiemodellen, voerden de auteurs een gecontroleerde ablatie-studie uit op een kleinere architectuur om te bepalen welke componenten gedeeld kunnen worden zonder de kwaliteit te verslechteren.

Bevinding: Per-laag attention is de primaire drijfveer voor laag-onderscheidendheid. Het niet-delen van attention (het onafhankelijk houden ervan) verbetert de loss significant meer dan het niet-delen van de router.
Impact van de Router: Hoewel het niet-delen van de router de routing-diversiteit vergroot (cross-loop overeenkomst daalt), heeft het een verwaarloosbare impact op de uiteindelijke loss als de attention per laag onafhankelijk blijft.
Conclusie: De optimale strategie is om expert-gewichten te delen, attention per laag te houden, en de router als gedeeld of niet-gedeeld te behandelen met minimaal kostenverschil.
Prelude/Coda: De eerste en laatste lagen van de stack (embedding input en LM-head output) moeten onafhankelijk blijven. Een "2+2" onafhankelijke prelude en coda levert de grootste architecturale winst op vergeleken met volledig recurrente ontwerpen.

2. Opschalen naar Productie-architecturen

De methode werd toegepast op drie state-of-the-art MoE-architecturen: OLMoE, Qwen3-MoE, en DeepSeekMoE.

Configuratie: Groepen van $g=4$ lagen delen expert-gewichten, met 2 onafhankelijke lagen aan het begin en einde.
Parameterreductie: Deze configuratie vermindert de totale parameteraantallen met 29% tot 52% (afhankelijk van de architectuur en groepsgrootte) met een verwaarloosbare degradatie in perplexiteit of downstream accuratesse.
Doorvoer: De reductie in unieke parameters leidt tot een wall-clock training speed-up van 23,7% door verminderde gewicht-laadbandbreedte en optimizer state updates.

3. Heterogene Breedte Expansie

Het paper introduceert een nieuw gebruik van de bespaarde parameters: het herinvesteren van deze in de gedeelde middelste lagen.

In plaats van simpelweg het model te comprimeren, verbreden de auteurs de gedeelde middelste lagen (verhogen van het aantal experts) om het oorspronkelijke totale parameteraantal te evenaren ("iso-parameter").
Resultaat: Modellen met breedte-geëxpandeerde gedeelde lagen presteren consistent beter dan de standaard ongedeelde baseline bij hetzelfde parameteraantal. Dit herkadert expert tying niet alleen als een compressietechniek, maar als een diepte-versus-breedte ontwerp-as.

4. Validatie op Grote Schaal

Experimenten werden uitgebreid naar een 7B parameter model (OLMoE-1B-7B).

Het $g=4$ gedeelde model bereikte een equivalente loss en downstream accuratesse als de ongedeelde baseline, terwijl het minder dan de helft van de totale parameters gebruikte (3.50B vs 7.12B).
De breedte-geëxpandeerde variant verbeterde de prestaties verder en overtrof zelfs de officiële OLMoE-1B-7B checkpoint die getraind was op dubbele hoeveelheden tokens, ondanks het feit dat deze de helft minder parameters had.

Samenvatting van Resultaten

Geheugenefficiëntie: Expert tying vermindert de geheugenvoetafdruk met bijna 2× (tot 52% parameterreductie) met vrijwel geen degradatie in perplexiteit.
Kwaliteitsbehoud: Bij $g=4$ is de loss-penalty minimaal (bijv. +0.05 tot +0.07 in validatie loss), en de downstream accuratesse daalt met maximaal 1,9%.
Prestatiewinst: De training doorvoer neemt toe met 15,7% tot 23,7% door verminderde datamobiliteit en optimizer overhead.
Iso-Parameter Superioriteit: Wanneer de bespaarde parameters worden geherinvesteerd om de gedeelde lagen te verbreden, presteren de resulterende modellen beter dan standaard ongedeelde MoEs van dezelfde grootte.

Betekenis en Claims

Het paper claimt dat Expert Tying succesvol de tegenstrijdige trends van MoE-schaling (lage per-token compute) en parameter-efficiëntie (hoge compute per unieke parameter) verenigt. Door gebruik te maken van de inherente parameter-redundantie in MoE-paden, verwijdert de methode de geheugenstraf van sparsity zonder de sparsity zelf te verwijderen.

De auteurs benadrukken dat hun bijdrage niet louter de configuratie is (die gelijkenissen vertoont met eerder werk zoals Megrez2), maar de gecontroleerde studie die identificeert welke componenten gedeeld kunnen worden. Ze demonstreren dat attention, en niet routing, de cruciale component is voor het behoud van laag-onderscheidendheid, waardoor de grootste parameter pool (experts) gedeeld kan worden tegen de laagste kwaliteitskosten.

Het werk positioneert expert tying als een "drop-in" modificatie voor bestaande MoE-codebases die de efficiënte training en schaling van de volgende generatie LLM's bevordert, waarbij een zeer gunstige compute-to-memory trade-off wordt geboden. De auteurs blijven bescheiden over beperkingen en merken op dat experimenten momenteel beperkt zijn tot 7B parameters en dat de efficiëntiewinsten ondergrens zijn vanwege het ontbreken van gespecialiseerde tied-layer kernels.