DLLG: Dynamic Logit-Level Gating of LLM Experts

Technische Samenvatting: DLLG: Dynamic Logit-Level Gating van LLM-experts

Probleemstelling
De proliferatie van gespecialiseerde Large Language Models (LLMs) die zijn geoptimaliseerd voor nauwe domeinen (bijv. wiskundige redenering, codegeneratie) vormt een uitdaging: hoe integreer je onafhankelijk getrainde "black-box" experts in een uniform systeem dat hun complementaire sterktes benut zonder prohibitieve hertrainingskosten? Bestaande benaderingen lijden aan een hardnekkige spanning tussen adaptiviteit, robuustheid en praktische bruikbaarheid:

• Routing-gebaseerde methoden vertrouwen op harde, vroege expertselectie. Dit leidt tot voortijdige commitment; als de gekozen expert faalt op een specifieke subtaak binnen een enkele respons, is de fout onherstelbaar. Bovendien vereisen veel routers uitgebreide benchmark-specifieke kalibratie.
• Heuristische Ensembling (bijv. perplexiteit-weging, token voting) gebruikt inferentie-tijd proxy-signalen. Deze metrieken zijn vaak empirisch en niet afgestemd op werkelijke taakcorrectheid, wat leidt tot suboptimale outputs.
• Parameter Merging (bijv. model souping, task arithmetic) fuseert gewichten statisch. Dit offert modulariteit op en kan destructieve interferentie veroorzaken wanneer experts met conflicterende gradiëntrichtingen worden gecombineerd, wat resulteert in prestatievermindering.
• Mixture-of-Experts (MoE) architecturen vereisen doorgaans end-to-end gezamenlijke training van gates en experts, wat het gebruik van kant-en-klare, vooraf getrainde specialisten beperkt.

Methodologie: DLLG
De auteurs stellen DLLG (Dynamic Logit-Level Gating) voor, een framework dat dynamische, token-niveau logit-fusie uitvoert met behulp van een lichtgewicht gating-model dat is getraind op ijle (sparse), respons-niveau supervisie.

1. Architectuur:

   • Bevroren Experts: $K$ gespecialiseerde LLMs blijven bevroren. Bij elke decoderingstap $t$, gegeven een prompt $x$ en prefix $y_{<t}$, produceert elke expert $E_i$ een verborgen toestand $h^{(i)}_t$ en volgende-token logits $\ell^{(i)}_t$.
   • Gating Model: Een lichtgewicht model ($g_\phi$) verwerkt de geconcateneerde verborgen toestanden van alle experts. Het projecteert deze representaties naar een gedeelde embedding-ruimte (met behulp van low-rank projectie) en verwerkt ze door een autoregressieve stem (bijv. Qwen2.5-0.5B-Instruct met LoRA-adapters).
   • Gewichtsvoorspelling: Een voorspellingskop geeft token-gewijze fusiegewichten $w_{t,i}$ uit via een sigmoid-transformatie. Deze gewichten worden toegepast op de logits van de experts: $\ell_t = \sum_{i=1}^K w_{t,i} \ell^{(i)}_t$. De gewichten zijn niet beperkt tot een som van één, wat zachte, flexibele bijdragen mogelijk maakt.

2. Training (Respons-niveau Supervisie):

   • Het framework adresseert het gebrek aan token-niveau annotaties door gebruik te maken van respons-niveau correctheidssignalen ($s_i \in \{0, 1\}$) afgeleid van automatische verifiers (bijv. unit tests voor code, antwoordcontrole voor wiskunde).
   • Teacher Forcing: Tijdens de training genereren experts verborgen toestanden geconditioneerd op de grondwaarheid prefix $y_{<t}$. Het gating-model voorspelt gewichten $w_{t,i}$ voor elke tokenpositie.
   • Doelstelling: Het model wordt getraind om de Mean Squared Error (MSE) te minimaliseren tussen de voorspelde gewichten en het uitgezonden respons-niveau correctheidssignaal: $\mathcal{L} = \frac{1}{T} \sum_{t=1}^T \sum_{i=1}^K (w_{t,i} - s_i)^2$. Dit leert de gate om token-niveau fusie af te stemmen op het algemene succes van het traject.

3. Inference:

   • DLLG werkt autoregressief. Bij elke stap voorspelt het gating-model fusiegewichten op basis van de huidige expert verborgen toestanden, de logits worden gecombineerd en het volgende token wordt geselecteerd. Dit maakt herstelbare expert-utilisatie mogelijk; als een expert vroegtijdig een fout maakt, kan het gating-model in opeenvolgende stappen het gewicht dynamisch verschuiven naar een meer competente expert.

Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van DLLG, een dynamisch logit-niveau ensembling framework dat token-niveau generatie overbrugt met ijle respons-niveau supervisie, wat fijnmazige expert-utilisatie mogelijk maakt zonder token-niveau annotatie of online reinforcement learning.
2. Mechanisme Analyse: Demonstratie dat het geleerde gating-mechanisme dynamisch bijdraagt aan de expert-bijdragen tijdens de rollout, waarbij gewichten worden aangepast op basis van de evoluerende context (bijv. verschuiven van wiskundige redenering naar codegeneratie binnen een enkele respons).
3. Empirische Validatie: Evaluatie over diverse redeneer- en code-benchmarks (GSM8K, MATH, HumanEval, etc.) en model-schalen (0.5B, 1.5B), wat consistente winst laat zien ten opzichte van routing, heuristische ensembling en parameter-merging baselines.

Resultaten

• Prestaties: Over zowel 0.5B als 1.5B model-schalen heen, bereikt DLLG consistent de hoogste gemiddelde prestaties vergeleken met sterke baselines, inclus\tijf RouterDC, EmbedLLM, diverse logit ensembling methoden (GaC, UniTe) en parameter merging technieken (Linear, SLERP, Task Arithmetic).
• Robuustheid: In lage-capaciteit (0.5B) settings waar individuele experts zwak zijn, presteert DLLG beter dan breekbare routing en heuristische methoden, wat zijn vermogen demonstreert om vroege fouten te mitigeren door middel van zachte fusie.
• Generalisatie: De methode vertoont sterke prestaties op out-of-domain benchmarks (bijv. HumanEval, MBPP, BBH), wat aangeeft dat de geleerde fusie-regels verder generaliseren dan de specifieke trainingsdistributie.
• Ablatie: Experimenten bevestigen dat een voldoende expressieve gating-architectuur (die een hulp-LLM en low-rank projectie bevat) noodzakelijk is voor effectieve token-niveau fusie, wat beter presteert dan eenvoudige MLP-koppen.

Betekenis en Claims
Het artikel claimt dat DLLG een robuust en schaalbaar paradigma biedt voor het integreren van gespecialiseerde experts. Door logit-niveau fusie te leren van zwakke supervisie, bereikt het MoE-achtige adaptiviteit zonder de kosten van het hertrainen van experts of het risico op parameterinterferentie. De auteurs benadrukken dat DLLG expert-modulariteit behoudt en fijnmazige, herstelbare expert-utilisatie mogelijk maakt, waarmee de beperkingen van voortijdige commitment in routing en de statische aard van parameter merging worden overwonnen. Het werk suggereert dat het leren van fijnmazige expert-utilisatie vanuit zwakke supervisie een praktische weg vooruit is voor het benutten van steeds meer gespecialiseerde taalmodellen.