💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

この論文は、Mixture-of-Experts（MoE）によるエキスパートの拡張よりも、埋め込み層（Embeddings）の拡張の方がスケーリングにおいて効率的であることを示し、その知見に基づき、高い性能と推論速度を両立した68.5Bパラメータのモデル「LongCat-Flash-Lite」を提案しています。

原著者： Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

公開日 2026-02-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：AIの「脳」を大きくする、新しい魔法のレシピ

今の巨大なAI（ChatGPTのようなもの）を大きくしようとすると、これまでは**「専門家を増やす」という方法が主流でした。しかし、この論文は「言葉の辞書（埋め込み層）をめちゃくちゃ豪華にする」**ほうが、実は効率よく賢くなれるよ！という新しい発見を報告しています。

1. これまでのやり方：「超多才な専門家チーム」方式

これまでのAI（MoE：混合専門家モデルといいます）は、巨大な会社のようなものでした。
「数学なら数学の専門家」「料理なら料理の専門家」という風に、たくさんの専門家を雇い、質問が来たら適切な人に仕事を振る仕組みです。

問題点： 専門家を増やしすぎると、会社が巨大になりすぎて、誰に仕事を頼むか相談するだけで時間がかかったり（通信の遅延）、管理コストが膨大になったりして、効率が悪くなってしまうのです。

2. この論文の提案：「超・超・超豪華な辞書」方式

研究チームは、専門家を増やす代わりに、**「言葉の理解力（埋め込み層）」**を極限まで高めることにしました。

これを例えるなら、**「専門家を増やす代わりに、世界中のあらゆる言葉のニュアンスや、言葉の組み合わせ（熟語やフレーズ）が完璧に記された、魔法の超巨大辞書を渡す」**というイメージです。

N-gram Embedding（Nグラム埋め込み）の魔法：
単に「リンゴ」という単語を知っているだけでなく、「赤いリンゴを食べる」という**言葉の並び（コンテキスト）**そのものを、辞書の中に一つのセットとして登録してしまいます。これにより、AIは「単語の断片」ではなく「意味の塊」をダイレクトに理解できるようになります。

3. 何がすごいの？（研究の結果）

研究チームがこの「豪華な辞書方式」で新しいAI（LongCat-Flash-Lite）を作ってみたところ、驚きの結果が出ました。

コスパ最強： 専門家を増やすよりも、辞書を豪華にしたほうが、少ない計算量でより賢くなりました。
「エージェント」と「プログラミング」に強い： このAIは、指示に従って複雑な作業をこなす能力（エージェント能力）や、コードを書く能力が、他の同規模のAIよりも圧倒的に高いことが分かりました。
サクサク動く： 辞書が巨大だと、辞書を引くのが大変そうに見えますが、彼らは「専用の高速検索システム（キャッシュ）」を開発したため、動作も非常にスムーズです。

まとめ：たとえ話でいうと…

これまでのAI作りは、**「何千人もの専門家を雇って、会議室を増やし続ける巨大企業」**を作ろうとしていました。でも、会議が長すぎて仕事が進まなくなっていました。

この論文が提案したのは、**「専門家の数はほどほどにして、その代わり、全員が『神レベルの知識が詰まった魔法の辞書』を手に持たせる」**という方法です。

その結果、会社（AI）はコンパクトで動きやすいまま、知識の深さと判断スピードが劇的に向上したのです！

技術要約：言語モデルにおける埋め込みスケーリングはエキスパートスケーリングを凌駕する

1. 背景と課題 (Problem)

現在、大規模言語モデル（LLM）のスケーリングにおいて、Mixture-of-Experts (MoE) アーキテクチャは標準的な手法となっています。MoEは、パラメータ数を増やしても計算コスト（活性化パラメータ数）を低く抑えられる利点がありますが、以下の課題に直面しています。

収穫逓減の法則: エキスパート（FFN層）の数を増やし続けると、性能向上の効率が低下し、飽和点に達する。
システム上のボトルネック: エキスパートの増大は、分散学習における通信オーバーヘッドの増大やメモリ帯域幅の圧迫を招く。
スケーリング次元の不足: 既存の研究は主にFFN（エキスパート）の拡張に集中しており、埋め込み層（Embedding layer）という、計算コストを抑えつつパラメータを拡張できる「疎な次元」の活用が十分に検討されていなかった。

2. 提案手法 (Methodology)

本論文では、エキスパートを増やす代わりに、N-gram Embedding (NE) を用いて埋め込み層をスケーリングする手法を提案しています。

N-gram Embedding の仕組み

単一のトークンだけでなく、直前の文脈（n-gram）をハッシュ関数を用いて埋め込みテーブルから検索し、それらを統合することで、トークンの表現力を高めます。

構成: ベースとなる埋め込み（ $E_0$ ）に、2-gram, 3-gram... と続くN-gramサブテーブルの出力を加算します。
衝突回避: ハッシュ衝突による意味の混濁を防ぐため、複数のサブテーブル（ $K$ 個）と線形投影（Projection）を組み合わせた構造を採用しています。

最適な統合戦略の特定

実験を通じて、以下の設計指針を導き出しています。

導入タイミング: モデルのスパース性（全パラメータ/活性化パラメータの比率）がある程度高い（エキスパートが十分に多い）場合に導入すると、性能向上の恩恵が最大化される。
予算配分: 全パラメータ予算の50%以下をN-gram Embeddingに割り当てることが最適である（それ以上はエキスパートによるスケーリングに劣る）。
語彙サイズ: ハッシュ衝突を避けるため、語彙サイズはベースの語彙サイズの整数倍から意図的に外す必要がある。
Embedding Amplification: 学習初期に埋め込み信号が残差ストリーム（Residual Stream）で埋もれないよう、スケーリング因子やLayerNormを用いて信号を増幅させる手法が有効である。

3. 主な貢献 (Key Contributions)

スケーリング理論の確立: エキスパートのスケーリングと埋め込みのスケーリングのトレードオフを体系的に分析し、NEが優れたパレート境界を持つ領域を特定した。
アーキテクチャ要因の解明: モデルの幅（Width）が広いほどNEの利点が大きくなり、逆に深さ（Depth）が増すと相対的な利点が減少することを明らかにした。
推論の最適化: NE導入によるI/O負荷を軽減するため、N-gram Cache、専用のCUDAカーネル、および投機的デコーディング（Speculative Decoding）を組み合わせたシステム最適化を提案した。
LongCat-Flash-Lite の開発: これらの知見を統合した、総パラメータ68.5B（うち31.4Bが埋め込み）のモデルを構築した。

4. 実験結果 (Results)

LongCat-Flash-Lite の性能

比較対象: 同等のパラメータ数を持つ従来のMoEモデル（LongCat-Flash-Lite-Vanilla）と比較。
基本性能: MMLU、C-Eval、CMMLUなどの一般知識ベンチマークで、Vanillaモデルを大幅に上回る性能を示した。
エージェント・コーディング能力:
- SWE-Bench (コーディング): 54.4%を記録し、Qwen3やGemini 2.5 Flash-Liteなどの強力なモデルを凌駕した。
- Agentic Tool Use: $\tau^2$ -Benchにおいて、ツール利用の複雑な依存関係を処理する能力で他モデルを圧倒した。
推論効率: 最適化されたカーネルにより、パラメータの疎性を活用した高速な推論を実現した。

5. 意義 (Significance)

本研究は、LLMのスケーリングにおける新しいパラダイムを提示しました。これまで「計算コストを抑えるための手段」としてのみ見られがちだった埋め込み層を、「モデルの知能を拡張するための主要なパラメータ貯蔵庫」として再定義しました。

特に、**「エキスパートを増やすよりも、埋め込みを増やす方が効率的な領域がある」**ことを実証した点は、今後の巨大なMoEモデルの設計において、計算資源（FLOPs）とメモリ容量（VRAM）のバランスを最適化するための重要な指針となります。