💬 NLP

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts

LD-MoLE introduceert een leerbaar, dynamisch routeringsmechanisme voor LoRA-experts dat de traditionele TopK-selectie vervangt door een differentieerbare aanpak voor adaptieve, token- en laagafhankelijke experttoewijzing, wat leidt tot superieure prestaties op diverse benchmarks.

Oorspronkelijke auteurs: Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao

Gepubliceerd 2026-02-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, superintelligente robot hebt (een "Large Language Model" of LLM) die alles kan, maar die ook enorm traag en duur is om te laten werken. Je wilt die robot leren om specifieke taken te doen, zoals het beantwoorden van vragen of het schrijven van verhalen, maar je wilt niet de hele robot opnieuw bouwen. Dat is te duur.

In de wereld van AI noemen we het aanpassen van deze robot zonder alles opnieuw te bouwen "PEFT" (Parameter-Efficient Fine-Tuning). Een populaire manier om dit te doen, is met LoRA. Denk aan LoRA als het plakken van kleine, slimme "stiekeme notitieblokjes" op de robot. In plaats van de robot hersenen te vervangen, plak je er kleine extra laagjes op die de robot leren hoe hij een specifieke taak moet doen.

Maar hier komt het probleem: wat als je robot een heel makkelijk vraag krijgt (bijv. "Wat is 2+2?") en een heel moeilijk vraag (bijv. "Leg uit waarom de lucht blauw is")?

De oude manier (TopK): De robot krijgt een strikte regel: "Gebruik altijd precies 2 notitieblokjes, ongeacht de vraag." Dit is als een kok die altijd precies 2 ingrediënten gebruikt, of hij nu een simpele salade maakt of een ingewikkeld gerecht. Het werkt vaak, maar het is niet slim.
De nieuwe manier (LD-MoLE): De auteurs van dit paper hebben een slimme oplossing bedacht. Ze noemen het LD-MoLE.

De Analogie: Het Slimme Restaurant

Stel je een groot restaurant voor met een chef-kok (de AI) en een team van 8 speciale sous-chefs (de experts/notitieblokjes).

1. De Oude Manier (TopK Routing)
In het oude restaurant moet de ober (de router) bij elke bestelling precies 2 sous-chefs kiezen.

Bestel je een simpele sla? Dan moeten 2 sous-chefs komen.
Bestel je een 10-gangen menu? Dan moeten ook maar 2 sous-chefs komen.
Probleem: De ober moet een knop omdraaien die niet kan worden aangepast. Soms is dat te weinig voor een zware taak, soms is het verspilling voor een simpele taak. Bovendien is de ober niet in staat om te "leren" dat hij soms 3 of 4 chefs nodig heeft; hij is vastgezet op 2.

2. De Nieuwe Manier (LD-MoLE)
Met LD-MoLE krijgen we een slimme, lerende ober.

Deze ober kijkt naar de bestelling (het woord of de zin).
Als het een simpele bestelling is, roept hij maar 1 sous-chef.
Als het een complexe bestelling is, roept hij 4 of 5 chefs om samen te werken.
Het geheim: Deze ober heeft een klein, slim breintje (een "MLP") dat in realtime beslist hoeveel hulp er nodig is. Hij is niet vastgezet op een getal.

Waarom is dit zo speciaal?

De auteurs hebben drie grote verbeteringen toegevoegd aan dit systeem:

Het is "Leerbaar" en "Dynamisch":
De ober leert tijdens het trainen. Hij ziet dat bepaalde zinnen moeilijk zijn en past daar automatisch meer chefs op toe. Bij simpele zinnen doet hij minder moeite. Dit gebeurt per woord, dus binnen één zin kan het aantal chefs al veranderen.
Geen "Vastzitten" meer:
Bij andere nieuwe methoden kon het gebeuren dat de ober vergeten was een chef te roepen, en de robot deed dan helemaal niets (een "nul-activatie"). Met LD-MoLE is er een wiskundige regel die garandeert dat er altijd minstens één chef wordt geroepen. De robot raakt nooit in de war.
De "Spaarzame" Chef:
De auteurs hebben een extra regel toegevoegd: "Probeer niet te veel chefs te roepen als het niet nodig is." Ze hebben een meetlat (een "sparsity loss") die de ober een zetje geeft om zuinig te zijn. Als de taak makkelijk is, wordt hij beloond als hij maar één chef roept in plaats van vijf. Dit maakt de robot sneller en goedkoper.

Wat zeggen de resultaten?

De auteurs hebben hun nieuwe restaurant (LD-MoLE) getest tegen de oude methoden op verschillende taken:

Redeneren: Bij moeilijke vragen (zoals wiskunde of logica) was de nieuwe robot veel beter, omdat hij meer chefs kon inschakelen.
Snelheid: Omdat hij minder chefs inschakelde bij simpele vragen, was hij sneller.
Stabiliteit: Het systeem crashte niet en werkte betrouwbaar.

Samenvatting in één zin

LD-MoLE is een slimme manier om een AI te leren om precies de juiste hoeveelheid hulp (experts) in te schakelen voor elke specifieke vraag, waardoor hij slimmer wordt bij moeilijke taken en sneller bij simpele taken, zonder dat je de hele AI hoeft te vervangen.

Het is alsof je van een robot met een starre, vooraf ingestelde werknemersplanning overschakelt naar een robot met een slimme manager die op de dag zelf beslist wie er nodig is, afhankelijk van hoe druk het is.

Titel: LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts

Publicatie: ICLR 2026
Auteurs: Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao (Universiteit van Connecticut, Universiteit van Pennsylvania, UC San Diego)

1. Het Probleem

Grote Taalmodellen (LLMs) vereisen aanzienlijke rekenkracht voor volledige fine-tuning. Parameter-efficiënte fine-tuning (PEFT) methoden zoals LoRA (Low-Rank Adaptation) zijn ontstaan om dit probleem op te lossen. Recentelijk is het concept van "Mixture of Experts" (MoE) geïntegreerd met LoRA (MoLE), waarbij meerdere LoRA-modules fungeren als experts.

Echter, de bestaande MoLE-varianten (zoals MoLA) lijden onder beperkingen in hun routing-strategie:

Vaste TopK-routing: De meeste methoden gebruiken een conventionele TopK-routing, waarbij elk token een vast aantal experts ( $k$ ) moet raadplegen. Dit vereist handmatige hyperparameter-tuning en staat geen adaptieve toewijding toe op basis van de complexiteit van het token.
Niet-differentieerbaarheid: De TopK-operatie is discreet en niet-differentieerbaar, wat end-to-end optimalisatie bemoeilijkt en de prestaties beperkt.
Instabiliteit bij dynamische routing: Alternatieven zoals ReMoE (gebaseerd op ReLU) proberen differentieerbaarheid te bereiken, maar kunnen instabiel zijn. Tokens kunnen soms naar geen enkele expert worden gerouteerd (zero-activation), wat de representatie degradeert.

De centrale uitdaging is het ontwerpen van een routing-mechanisme dat adaptief, differentieerbaar en stabiel is, waarbij het aantal actieve experts per token en per laag dynamisch kan worden bepaald.

2. Methodologie: LD-MoLE

LD-MoLE introduceert een Leerbaar Dynamisch Routing-mechanisme dat de niet-differentieerbare TopK-selectie vervangt door een differentieerbare functie met een gesloten vormoplossing.

A. Kernarchitectuur

Sparsegen Projectie: In plaats van TopK, gebruikt LD-MoLE Sparsegen (Laha et al., 2018). Dit is een projectie op het waarschijnlijkheidssimplex die een sparse output genereert via een gesloten vormoplossing. Dit garandeert dat het proces volledig differentieerbaar is.
Dynamische Sparsiteit ( $\lambda$ ): Het systeem voert een token-specifiek sparsiteitsparameter $\lambda$ $λ$ in.
- Een lichtgewicht, gedeelde Multi-Layer Perceptron (MLP) voorspelt $\lambda$ op basis van de token-features ( $x$ ).
- $\lambda$ controleert de mate van sparsiteit in de expert-selectie. Een $\lambda$ dichter bij 1 leidt tot een sparser verdeling (minder experts), terwijl een lagere $\lambda$ naar een uniformere verdeling neigt.
Garantie van Activering: In tegenstelling tot ReLU-based routing, garandeert de wiskundige eigenschap van Sparsegen dat minimaal één expert altijd wordt geactiveerd voor elk token (Lemma 1). Dit voorkomt "zero-activation" en zorgt voor stabiele gradiëntstroom.

B. Routing Formule

Gegeven de scores $u$ voor experts, wordt de routing-verdeling $p$ berekend als:
$p = \text{argmin}_{p \in \Delta} \|p - u\|_2^2 - \lambda \|p\|_2^2$
Dit resulteert in een gesloten vormoplossing waarbij de drempel $\tau$ wordt bepaald door $\lambda$ en de gesorteerde scores.

C. Trainingsverlies (Loss Function)

De totale loss bestaat uit drie componenten:

Taakverlies ( $L_{LM}$ ): Standaard cross-entropy loss voor taakprestatie.
Load Balancing Loss ( $L_{lb}$ ): Voorkomt dat slechts een paar experts alle tokens ontvangen (routing collapse).
Sparsiteitsverlies ( $L_{sparse}$ ): Een nieuw, analytisch verlies dat direct de waarde van $\lambda$ $λ$ regulariseert.
- Op basis van de gesloten vormoplossing kan de auteurs een analytisch bereik voor $\lambda$ afleiden dat exact $k$ experts activeert.
- Het verlies straft $\lambda$ af als het buiten dit bereik valt, waardoor het model kan leren om het aantal actieve experts te controleren zonder de prestaties te verliezen.

3. Belangrijkste Bijdragen

LD-MoLE Framework: Een nieuw MoLE-framework met een end-to-end leerbaar dynamisch routing-mechanisme dat experts adaptief toewijst aan tokens over verschillende lagen.
Analytisch Sparsiteitsverlies: Een innovatieve loss-functie, afgeleid van de gesloten vormoplossing van Sparsegen, die het aantal geactiveerde experts expliciet reguleert en controleerbaar maakt.
Uitgebreide Validatie: Omvangrijke experimenten op Llama-3.2 (3B en 8B) en Qwen3-1.7B, inclusief ablatiestudies die aantonen dat LD-MoLE superieur is aan zowel vaste (TopK) als andere dynamische (ReLU) routing-methoden.

4. Resultaten

De auteurs hebben LD-MoLE getest op diverse benchmarks, waaronder instructie-finetuning (MMLU-Pro, ARC, OpenBookQA) en sequentieklassificatie (GLUE).

Superieure Prestaties: LD-MoLE behaalde de hoogste gemiddelde scores op alle geteste modellen (Llama-3.2-3B, Llama-3.2-8B, Qwen3-1.7B) vergeleken met state-of-the-art baselines zoals MoLA (TopK) en ReMoLE (ReLU).
- Bijvoorbeeld: Op Llama-3.2-3B behaalde LD-MoLE een gemiddelde van 82.05%, tegenover 81.42% voor ReMoLE en 78.72% voor MoLA(2468).
Adaptiviteit: Het model leert effectief om meer experts toe te wijzen aan complexe tokens (zoals zeldzame of redenerings-gerelateerde tokens) en minder aan frequente, eenvoudige tokens.
Sparsiteitscontrole: Door de sparsiteitsloss te activeren, kon het aantal actieve experts worden verlaagd zonder significante prestatieverlies, wat de efficiëntie verder verbetert.
Stabiliteit: In tegenstelling tot ReMoLE, die soms tokens zonder experts liet, garandeerde LD-MoLE consistent activering van minimaal één expert, wat leidde tot stabielere training.

5. Betekenis en Conclusie

LD-MoLE vertegenwoordigt een belangrijke doorbraak in de efficiënte fine-tuning van LLMs. Door de rigiditeit van vaste TopK-routing te doorbreken en deze te vervangen door een wiskundig onderbouwde, differentieerbare en leerbare dynamische routing, biedt het:

Betere prestaties: Vooral op complexe redeneertaken.
Efficiëntie: De mogelijkheid om resources dynamisch toe te wijzen, wat leidt tot een betere balans tussen rekentijd en modelcapaciteit.
Controle: Een nieuwe manier om sparsiteit te reguleren via een analytisch verlies, wat de weg vrijmaakt voor nog efficiëntere MoE-architecturen.

De code is beschikbaar gesteld, en de auteurs suggereren dat toekomstig werk zich kan richten op het toepassen van LD-MoLE tijdens de pre-training van LLMs en de integratie met multimodale modellen.