💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

Dit onderzoek toont aan dat het opschalen van embeddings een effectievere methode is voor schaalbaarheid en efficiëntie dan het opschalen van 'experts' in Mixture-of-Experts-modellen, wat wordt aangetoond door de superieure prestaties van het nieuwe LongCat-Flash-Lite-model.

Oorspronkelijke auteurs: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Gepubliceerd 2026-02-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, hyperintelligente bibliotheek probeert te bouwen. Om deze bibliotheek slimmer te maken, heb je twee opties:

De "Expert-methode" (MoE): Je huurt steeds meer gespecialiseerde professoren in. Eén professor weet alles van biologie, een ander alles van kwantumfysica. Hoe meer professoren, hoe slimmer de bibliotheek. Maar er is een probleem: als je duizenden professoren hebt, wordt het een chaos. Ze moeten constant met elkaar overleggen, ze lopen elkaar in de weg en het kost bakken met tijd en energie om de juiste professor te vinden voor elke vraag.
De "Woordenboek-methode" (Embedding Scaling): In plaats van meer professoren, geef je de huidige professoren een extreem gedetailleerd, magisch woordenboek. In plaats van dat ze alleen het woord "appel" kennen, begrijpen ze direct de hele context: "de rode, sappige appel die op de tafel ligt". Je vergroot niet het aantal mensen, maar de diepte van de kennis die ze direct bij de hand hebben.

Dit paper zegt eigenlijk: De "Woordenboek-methode" is veel slimmer en efficiënter dan de "Expert-methode".

Hier is de uitleg van hoe ze dat doen, in begrijpelijke taal:

1. Het probleem met de "Professoren" (MoE)

De huidige slimme AI-modellen (zoals die van OpenAI of Google) gebruiken vaak een techniek genaamd Mixture-of-Experts (MoE). Het idee is: "Laten we een gigantisch model maken, maar voor elke vraag maar een klein deel van de hersenen gebruiken." Dat bespaart rekenkracht.

Maar de onderzoekers van Meituan ontdekten een grens: als je maar meer professoren (experts) blijft toevoegen, wordt het systeem te traag en zwaar door al dat "overleg" (communicatie tussen computers). Je krijgt steeds minder extra slimheid voor de extra moeite die je doet.

2. De oplossing: De "N-gram Magische Bril"

De onderzoekers introduceerden iets dat ze N-gram Embedding noemen.

Stel je voor dat je een tekst leest. Een normale AI ziet: [Ik] [ga] [naar] [huis].
De nieuwe methode geeft de AI een soort "magische bril" waardoor hij niet alleen de losse woorden ziet, maar direct de hele groepjes ziet: [Ik ga], [ga naar], [naar huis].

Door deze "groepjes woorden" (n-grams) op te slaan in een gigantische database (de embedding layer), krijgt de AI een enorme voorsprong in begrip zonder dat hij extra "professoren" hoeft in te huren. Het is alsof je de AI niet meer alleen letters leert, maar direct de hele betekenis van zinsdelen geeft.

3. De ontdekkingen (De "Gouden Regels")

De onderzoekers hebben door experimenten een paar belangrijke regels ontdekt:

Niet te veel van het goede: Je moet niet al je budget aan het woordenboek uitgeven. Als je 90% van je geheugen aan woordenboeken besteedt en maar 10% aan professoren, wordt de AI dom. De ideale verhouding is ongeveer een 50/50 verdeling.
Vermijd "Botsingen": Als je woordenboek te simpel is, kunnen twee verschillende woorden (bijv. "bank" als meubel en "bank" als financiële instelling) op dezelfde plek in het geheugen terechtkomen. Dat noemen ze een hash collision. Ze hebben ontdekt hoe ze dit kunnen voorkomen door het woordenboek een "onhandige" grootte te geven die niet precies op de standaardmaten past.
Breed is beter dan diep: Het werkt het allerbeste als je het model "breder" maakt (meer informatie tegelijk verwerken) in plaats van alleen maar "dieper" (meer lagen achter elkaar).

4. Het resultaat: LongCat-Flash-Lite

Om te bewijzen dat het werkt, hebben ze een nieuw model gebouwd: LongCat-Flash-Lite.

Dit model is een monster: het heeft 68,5 miljard parameters (een soort digitale hersencellen). Maar het mooie is dat het maar een fractie daarvan tegelijk gebruikt om te antwoorden. Ondanks dat het "licht" is, is het extreem goed in moeilijke taken zoals programmeren en het uitvoeren van complexe taken als een digitale assistent (agentic tasks). Het verslaat zelfs veel grotere modellen die de oude "expert-methode" gebruiken.

Samenvatting in één zin:

In plaats van een leger aan specialisten aan te nemen die constant met elkaar moeten praten, hebben deze onderzoekers de AI een super-geavanceerd, contextueel woordenboek gegeven, waardoor hij veel slimmer is geworden zonder dat hij trager of zwaarder is geworden.

Technische Samenvatting: Scaling Embeddings Outperforms Scaling Experts

1. Het Probleem: De Limieten van MoE-scaling

De huidige standaard voor het schalen van Large Language Models (LLM's) is de Mixture-of-Experts (MoE) architectuur. Hoewel MoE het mogelijk maakt om enorme hoeveelheden parameters toe te voegen zonder de rekenkosten (FLOPs) evenredig te laten stijgen, kampt deze methode met twee grote problemen:

Diminishing Returns: Naarmate het aantal experts toeneemt, neemt de marginale winst in prestaties af (efficiëntie-verzadiging).
Systeem-bottlenecks: Het opschalen van experts leidt tot enorme communicatie-overhead tussen GPU's en een hoge druk op de geheugenbandbreedte tijdens gedistribueerde training en inferentie.

Het onderzoek stelt de vraag: Is er een andere, orthogonale dimensie om parameters te schalen die minder rekenintensief en efficiënter is dan het toevoegen van meer experts?

2. Methodologie: N-gram Embedding Scaling

De auteurs onderzoeken het schalen van de embedding-laag als alternatief. In plaats van alleen individuele tokens te representeren, gebruiken ze een N-gram Embedding benadering.

De kern van de methode:

N-gram Augmentatie: Naast de standaard basis-embedding ( $E_0$ ) wordt de representatie van een token verrijkt met informatie uit de voorgaande $n-1$ tokens (n-grams). Dit gebeurt via een vocabulary-free tabel die gebruikmaakt van een polynomial rolling hash functie om n-grams te mappen naar embedding-vectoren.
Sub-tables & Projectie: Om hash-botsingen (waarbij verschillende n-grams dezelfde vector krijgen) te minimaliseren, wordt de embedding-tabel opgedeeld in meerdere sub-tables ( $K$ ) met verschillende groottes, gevolgd door een lineaire projectie ( $W$ ) om de dimensies te herstellen.
Embedding Amplification: Om te voorkomen dat de embedding-signalen "verdrinken" in de rest van het netwerk (omdat de activaties van de attention-lagen vaak veel groter zijn), introduceren ze technieken zoals een schaalfactor ( $\sqrt{D}$ ) of LayerNorm op de embedding-output.

3. Belangrijkste Bijdragen en Inzichten

Het paper levert een systematische karakterisering van hoe embedding-scaling werkt:

Optimale Timing: Embedding-scaling is het meest effectief wanneer het model al een hoge mate van sparsiteit heeft (veel experts). Bij een lage ratio van totale naar geactiveerde parameters is het toevoegen van experts effectiever.
Parameter Budgeting: De auteurs ontdekten dat er een "U-vormige" curve is; men moet niet meer dan 50% van het totale parameterbudget aan n-gram embeddings besteden, anders presteert het model slechter dan een standaard MoE.
Architecturale Factoren:
- Breedte vs. Diepte: Het opschalen van de breedte (hidden size) van het model vergroot het voordeel van embedding-scaling aanzienlijk. Het opschalen van de diepte (aantal lagen) vermindert het relatieve voordeel juist.
- Hash-optimalisatie: De vocabulaire-grootte van de n-grams moet bewust afwijken van gehele veelvouden van de basis-vocabulaire om hash-botsingen te voorkomen.
Systeemoptimalisatie: Ze introduceren een N-gram Cache en gespecialiseerde CUDA-kernels om de extra I/O-overhead van de grotere embedding-tabel te compenseren.

4. Resultaten: LongCat-Flash-Lite

Ter validatie hebben de onderzoekers LongCat-Flash-Lite ontwikkeld, een model met 68,5 miljard parameters, waarvan er maar liefst 31,4 miljard aan n-gram embeddings zijn toegewezen. Ondanks dat slechts ~3B parameters per token worden geactiveerd, zijn de resultaten indrukwekkend:

Prestaties: Het model verslaat een parameter-equivalent MoE-model (dat de 31,4B parameters in plaats van embeddings in experts had gestopt) op bijna alle benchmarks.
Specialisatie: Het model vertoont uitzonderlijke prestaties in agentic tasks (toolgebruik) en coding (software engineering), waarbij het modellen zoals Gemini 2.5 Flash-Lite en Qwen3-Next overtreft.
Efficiëntie: Door gebruik te maken van speculative decoding en geoptimaliseerde kernels, vertaalt de parameter-sparsiteit zich direct in een hogere doorvoersnelheid (throughput) en lagere latentie.

5. Betekenis en Conclusie

Dit werk verschuift het paradigma van LLM-ontwikkeling. Het bewijst dat het opschalen van de "input-representatie" (embeddings) een krachtigere en efficiëntere manier kan zijn om modelcapaciteit te vergroten dan het simpelweg toevoegen van meer rekenintensieve "experts". Dit biedt een nieuwe route voor het bouwen van extreem grote, maar zeer snelle en efficiënte modellen die gespecialiseerd zijn in complexe taken zoals programmeren en autonoom handelen.