💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

Diese Arbeit zeigt, dass die Skalierung von Embeddings eine effizientere Alternative zur Skalierung von Experten (MoE) darstellt, um die Leistungsfähigkeit von Sprachmodellen zu steigern, und führt mit *LongCat-Flash-Lite* ein entsprechendes Modell ein, das trotz hoher Sparsität exzellente Ergebnisse in den Bereichen Coding und Agentic Tasks erzielt.

Ursprüngliche Autoren: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Veröffentlicht 2026-02-12

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „Super-Gehirn“-Dilemma

Stell dir vor, du möchtest das schlauste Gehirn der Welt bauen. Bisher haben alle Forscher (wie bei den bekannten ChatGPT-Modellen) versucht, dieses Gehirn zu vergrößern, indem sie immer mehr „Spezialisten“ einstellen.

Das Prinzip heißt MoE (Mixture-of-Experts). Wenn du eine Frage zu Mathe stellst, wird der „Mathe-Experte“ gerufen; bei Geschichte der „Geschichts-Experte“. Das ist super, aber es gibt ein Problem: Wenn du immer mehr Experten einstellst, wird das Büro (der Computer-Speicher) immer voller, die Kommunikation zwischen den Experten dauert ewig und irgendwann wird das ganze System so schwerfällig, dass es kaum noch schneller lernt, obwohl es mehr Wissen hat. Man nennt das „abnehmende Erträge“.

Die neue Idee: Das „Super-Wörterbuch“

Das Team von Meituan LongCat hat eine andere Idee. Anstatt immer mehr Experten für Spezialwissen einzustellen, haben sie beschlossen, das „Wortschatz-Gedächtnis“ (die sogenannten Embeddings) massiv zu vergrößern.

Die Analogie:
Stell dir vor, du hast zwei Wege, um ein Genie zu erschaffen:

Der Experten-Weg (Bisheriger Standard): Du stellst 1.000 Professoren ein. Wenn du eine Frage stellst, muss ein Assistent erst prüfen: „Wer ist zuständig?“ und dann den Professor rufen. Das kostet Zeit und Organisation.
Der Wortschatz-Weg (Die neue Methode): Du behältst nur ein paar Professoren, aber du gibst ihnen ein magisches, unendlich großes Wörterbuch. Dieses Wörterbuch enthält nicht nur einzelne Wörter, sondern auch ganze Wort-Kombinationen (N-Gramme), die sofort die Bedeutung und den Kontext verraten.

Anstatt dass der Professor mühsam überlegen muss, was „Bank“ bedeutet (Sitzmöbel oder Geldinstitut?), sagt ihm das Wörterbuch sofort: „Achtung, es steht das Wort 'Park' daneben, es ist also ein Sitzmöbel!“

Wie funktioniert das „Magische Wörterbuch“? (N-gram Embedding)

Das Papier nutzt eine Technik namens N-gram Embedding.
Normalerweise „liest“ eine KI ein Wort nach dem anderen. Die neue Methode schaut aber wie ein Profi-Leser: Sie sieht nicht nur das Wort „Apfel“, sondern sie speichert im Gedächtnis sofort die Kombination „roter Apfel“, „saftiger Apfel“ oder „Apfel essen“.

Diese Kombinationen werden in riesigen Tabellen gespeichert. Das Besondere: Diese Tabellen sind extrem effizient. Sie verbrauchen zwar enorm viel Platz (wie ein riesiges Lexikon), aber sie zu benutzen ist so einfach wie das schnelle Nachschlagen in einem Index – es kostet fast keine Rechenkraft.

Das Ergebnis: LongCat-Flash-Lite

Die Forscher haben daraus ein Modell namens LongCat-Flash-Lite gebaut.

Es ist riesig (68,5 Milliarden Parameter).
Aber: Über die Hälfte dieser Größe (30 Milliarden!) besteht nur aus diesem „magischen Wörterbuch“.
Die eigentliche „Rechenarbeit“ (die Experten) bleibt klein und flink.

Das Ergebnis ist beeindruckend:
Obwohl das Modell im Vergleich zu anderen Modellen eigentlich „weniger Gehirnzellen“ (aktivierte Parameter) nutzt, ist es in Bereichen wie Programmieren (Coding) und komplexen Aufgaben (Agentic Tasks) sogar besser als seine größeren Konkurrenten. Es ist wie ein kleiner, extrem gut informierter Bibliothekar, der schneller antwortet als ein riesiges Team aus zerstreuten Professoren.

Zusammenfassung für den Stammtisch:

Früher: „Lass uns mehr Experten einstellen, damit das Modell schlauer wird!“ (Problem: Zu langsam und zu teuer).
Heute (LongCat): „Lass uns den Experten ein viel besseres, tieferes Verständnis für Wörter und deren Zusammenhänge geben!“ (Ergebnis: Schlauer, schneller und effizienter).

Zusammenfassung: Skalierung von Embeddings übertrifft die Skalierung von Experten in Sprachmodellen

1. Problemstellung

In der aktuellen Entwicklung von Large Language Models (LLMs) ist die Mixture-of-Experts (MoE)-Architektur der Standard, um die Parameteranzahl zu erhöhen, ohne die Rechenkosten proportional steigen zu lassen. Das Team von Meituan identifiziert jedoch zwei Hauptprobleme bei dieser Strategie:

Abnehmende Grenzerträge: Mit zunehmender Anzahl an Experten sinkt der Leistungsgewinn pro zusätzlichem Parameter (Effizienz-Sättigung).
System-Engpässe: Die Skalierung von Experten führt zu massiven Problemen bei der Kommunikations-Overhead und dem Speicherbandbreiten-Druck in verteilten Systemen.

Das Paper untersucht daher eine alternative, orthogonale Dimension der Skalierung: die Skalierung der Embedding-Schicht. Embeddings bieten eine inhärent spärliche (sparse) Dimension mit $O(1)$ Suchkomplexität, was eine massive Parametererweiterung ohne exponentielles Anwachsen der Rechenlast ermöglicht.

2. Methodik

Die Autoren führen eine neue Architektur ein, die auf N-Gram-Embeddings basiert. Anstatt nur einzelne Token zu repräsentieren, wird die Repräsentation eines Tokens durch die Einbeziehung seiner lokalen Kontexte (N-Gramme) angereichert.

Technische Details der N-Gram-Schicht:

Augmentierung: Das Embedding eines Tokens $t_i$ wird durch die Summe von Base-Embeddings und N-Gramm-Embeddings (über Hash-Tabellen) berechnet.
Hash-Mechanismus: Um Speicherplatz zu sparen, wird ein polynomialer Rolling-Hash verwendet, um N-Gramme auf Sub-Tabellen abzubilden.
Sub-Tabellen & Projektion: Um Kollisionen zu minimieren, wird jede N-Gramm-Tabelle in $K$ Sub-Tabellen unterteilt und mittels linearer Projektionsmatrizen zurück in den Hidden-Space transformiert.

Optimierungsstrategien:

Embedding Amplification: Da die Signale der Embeddings im Residual-Stream oft von den Attention-Layern "überdeckt" werden, nutzen die Autoren Skalierungsfaktoren ( $\sqrt{D}$ ) oder LayerNorm, um die Effektivität des Trainings zu erhöhen.
System-Optimierung: Einführung eines speziellen N-gram Caches und optimierter CUDA-Kernel, um den I/O-Overhead der erweiterten Embedding-Tabellen zu bewältigen.

3. Key Contributions (Hauptbeiträge)

Vergleichende Skalierungsanalyse: Identifikation des "Sweet Spots", an dem Embedding-Skalierung eine bessere Pareto-Front (Leistung vs. Effizienz) bietet als die Erhöhung der Expertenanzahl.
Architektonische Leitlinien: Systematische Charakterisierung von Faktoren wie Parameter-Budgetierung (Empfehlung: max. 50% des Budgets für Embeddings), Vermeidung von Hash-Kollisionen durch geschickte Wahl der Vokabulargröße und die Erkenntnis, dass breitere Modelle (Width) stärker von Embedding-Skalierung profitieren als tiefere Modelle (Depth).
Effiziente Inferenz: Kombination von N-Gram-Embeddings mit Speculative Decoding, um die durch die reduzierte Anzahl aktiver Experten entstehenden Hardware-Lücken zu schließen.
LongCat-Flash-Lite: Vorstellung eines neu trainierten Modells, das diese Erkenntnisse praktisch umsetzt.

4. Ergebnisse

Die Autoren präsentieren das Modell LongCat-Flash-Lite (68,5 Mrd. Parameter, davon ~31,4 Mrd. in Embeddings, aber nur ~3-4,5 Mrd. aktiv).

Überlegenheit gegenüber MoE: Das Modell übertrifft ein parameteräquivalentes MoE-Modell (das die Embedding-Parameter stattdessen in Experten investiert) in fast allen Metriken.
Spezialisierte Domänen: Besonders hervorzuheben sind die exzellenten Ergebnisse in den Bereichen Agentic Tool Use (z. B. $\tau^2$ -Bench) und Coding (z. B. SWE-Bench), wo es bestehende Modelle wie Gemini 2.5 Flash-Lite oder Qwen3-Next deutlich schlägt.
Allgemeine Fähigkeiten: In mathematischen Aufgaben (AIME) und allgemeinen Wissensfragen (MMLU) zeigt das Modell eine sehr hohe Wettbewerbsfähigkeit bei vergleichbarer aktiver Parameteranzahl.

5. Signifikanz

Diese Arbeit verschiebt den Fokus der LLM-Skalierung. Sie beweist, dass die "Eingangsschicht" (Embeddings) nicht nur ein passiver Datenträger ist, sondern eine hochgradig effiziente Dimension zur Steigerung der Modellkapazität darstellt. Für die Industrie bedeutet dies, dass man durch die Investition in massive, aber spärliche Embedding-Tabellen Modelle bauen kann, die bei der Inferenz extrem schnell sind (da weniger Experten aktiviert werden müssen), aber dennoch eine enorme Wissensdichte und Kontextverständnis besitzen.