💬 NLP

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

本論文は、 $N$ -gram埋め込みを $O(1)$ のルックアップへと現代化するスケーラブルな条件付きメモリ・モジュールであるEngramを紹介し、ニューラル計算と静的メモリのトレードオフを最適化するU字型のスパース性配分則を明らかにすることで、大規模言語モデルにおける推論、コード、および長文コンテキスト検索の性能を大幅に向上させる。

原著者： Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Z

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑なパズルを解こうとしているところを想像してみてください。長い間、最も賢いパズル解決者（AIモデル）は、巨大な工場のように構築されてきました。それらは、難しい論理や新しいアイデアを理解する必要がある時だけ登場する、何千もの専門作業員（「Mixture-of-Experts」または「MoE」と呼ばれます）を備えています。これは思考することには優れていますが、単純で退屈な事実を記憶することに関しては、少し不器用です。

このように考えてみてください。もし、ある天才的な数学者に「フランスの首都は？」と尋ねたら、彼らは単に「パリ」と言うだけではありません。彼らは、答えを導き出すために、毎回ゼロからフルメンタルシミュレーションを実行し、再導出しなければなりません。それは、自分の頭の中にある電話番号を調べるために、スーパーコンピューターを使用しているようなものです。

大きな発見：「脳のためのカンニングペーパー」
DeepSeek-AIと北京大学の研究者たちは、こう問いかけました。「もし、これらのモデルに対して、単に覚えておけばよい事柄のための専用の『カンニングペーパー』を与えたらどうなるだろうか？」

彼らは、Engramと呼ばれる新しいツールを導入しました。Engramは、AIにすべての単語を「思考」させる代わりに、超高速なO(1)ルックアップテーブル（これは、1つの単語を探すのも100万個の単語を探すのも、かかる時間が同じであることを意味します）として機能します。これは、古くからあるN-gram（単語のグループをまとめて見る手法）という概念に基づいたものですが、これを現代の技術でアップグレードし、巨大なAIの中で完璧に機能するように作り替えました。

「U字型」の秘密
チームは、モデルを構築する際の非常に興味深いルールを発見しました。彼らはこれをU字型のスケーリング則と呼んでいます。

固定された「脳のパワー」（計算ステップ）の予算があると想像してください。その予算をすべて「思考する作業員」（MoE）に使うこともできますし、すべてを「記憶のカンニングペーパー」（Engram）に使うこともできます。

もし、予算の100%を思考する作業員に費やした場合、モデルは論理には優れていますが、事実の記憶には劣ります。
もし、予算の100%をカンニングペーパーに費やした場合、モデルは事実を記憶していますが、推論をうまく行うことができません。
スイートスポット： 研究の結果、最高のパフォーマンスは予算を分割した時に得られることが分かりました。つまり、両方が必要なのです。具体的には、余剰なメモリ予算の約**20〜25%**を思考する作業員から取り上げ、それをEngramメモリモジュールに与えることで、システム全体がより賢くなることが分かりました。これは、天才には速い脳だけでなく、優れた図書館が必要であると気づくことに似ています。

実際に何が起きたのか？（証明）
彼らはEngram-27Bというモデルを構築し、全く同じサイズと速度を持つ標準的な「思考のみ」のモデルと比較しました。結果は驚くほど強力でした。

知識： 知識問題や事実に関するスコアが向上しました（MMLUで**+3.4**、CMMLUで**+4.0**向上）。
推論： さらに驚くべきことに、一般的な推論や論理パズルにおいても大幅に改善しました（BBHで**+5.0**、ARC-Challengeで**+3.7**向上）。
数学とコード： コーディングや数学の能力も向上しました（HumanEvalで**+3.0**）。

この論文は、これが起こる理由について、Engramモジュールが「退屈な」事柄（例えば、「アレクサンダー大王」が特定の名前であることなど）を処理することで、メインの脳が思考するために時間を浪費せずに済むからだと示唆しています。これにより、AIの深い層が、より複雑で深い思考に集中できるようになります。それは、CEOが戦略に集中できるように、秘書がスケジュールの管理を行うようなものです。

「長い記憶」のトリック
最もクールな副作用の一つは、これらのモデルが長い物語を扱う能力です。Engramモジュールが局所的な詳細を瞬時に把握するため、メインのAIには物語の最初から最後までを記憶するための「注意（Attention）」がより多く残されます。テストでは、Engramモデルはテキストの干草の山の中から特定の針を見つける際、**97.0%の確率で成功しましたが、標準的なモデルは84.2%**しか成功しませんでした。

ハードウェアのマジック
最後に、この論文は、これが単なるソフトウェアのトリックではなく、ハードウェアにも優しいものであると主張しています。カンニングペーパーが固定アドレス（決定論的なID）を使用しているため、コンピュータは現在の計算を行っている間に、次のメモリのフェッチを開始することができます。これにより、1,000億パラメータのテーブルを通常のコンピュータのホストメモリ上に保存しても、超高速なGPU上にある場合とほぼ変わらない速度で結果を得ることができます。速度の低下は無視できる程度であり、**3%**未満でした。

これではないと明記されていること
論文は、これが何ではないかを非常に明確に述べています。

これは単に語彙を大きくしたものではありません。彼らは語彙を大きくする（OverEncoding）ことも試みましたが、Engramほどの結果は得られませんでした。
これは「思考」部分の代替物ではありません。思考する作業員（MoE）を完全に取り除くと、モデルは推論ができなくなります。メモリはヘルパーであり、代替品ではありません。
これはすべてに対する魔法の解決策ではありません。論文では、Engramは事実や推論には役立つものの、読解力などの「バックボーン（基幹）」は依然としてメインのAIが行うものであり、それは静的なメモリよりもコンテキスト（文脈）に依存していると指摘しています。

彼らはどの程度確信しているのか？
著者たちは、自分たちの測定値に非常に自信を持っています。彼らは単にシミュレーションを行ったのではなく、2,620億トークンのデータを用いて実際のモデルを訓練し、現実世界のベンチマークでテストしました。彼らは「U字型」のルールが異なるサイズにおいても成立することを示し、パフォーマンスの向上が現実的で、測定可能で、再現可能であることを証明しました。彼らはモデル内部の「ゲート」を可視化し、設計通りに、名前やフレーズなどのためにメモリが実際に作動していることを示しました。

要約すると、この論文は、AIの未来は単に「より大きな脳」を作ることではなく、その脳により良く、より速く、よりスマートに情報を検索する方法を与えることにあると示唆しています。

技術要約：スケーラブルなルックアップによる条件付きメモリ（Engram）

1. 問題提起

現在の大規模言語モデル（LLM）、特にMixture-of-Experts（MoE）アーキテクチャを利用するモデルは、容量をスケールさせるために**条件付き計算（conditional computation）**に依存しています。しかし、標準的なTransformerには、**知識のルックアップ（knowledge lookup）**のためのネイティブなプリミティブが欠けています。その結果、モデルは動的な計算を通じて、非効率的に検索をシミュレートしなければなりません。

著者らは、言語的信号には本質的なヘテロジニティ（異質性）が存在すると主張しています：

構成的推論（Compositional Reasoning）： 深い動的な計算を必要とする。
知識の検索（Knowledge Retrieval）： テキストの大部分（例：固有名詞、定型的なパターン）は、局所的で静的であり、高度に定型化されている。

標準的なTransformerは、単純なテーブル・ルックアップによって取得可能なはずの静的なルックアップ（例：「ダイアナ、プリンセス・オブ・ウェールズ」の解決）を再構成するために、複数の初期レイヤーのアテンションやフィードフォワードネットワーク（FFN）を消費することを強制されます。これは、貴重な逐次的な深さを些細な操作に浪費させ、モデルが高レベルの推論にリソースを割り当てることを妨げてしまいます。

2. 手法：Engramモジュール

これに対処するため、本論文では条件付きメモリ（Conditional Memory）を、条件付き計算に対する補完的なスパース性の軸として導入しています。これは、古典的な $N$ -gram埋め込みを現代化し、 $O(1)$ の定数時間ルックアップを可能にするEngramというモジュールを通じて具体化されます。

2.1. アーキテクチャ

Engramは、静的なパターンの保存と動的な計算を構造的に分離することで、Transformerのバックボーンを拡張します。これは以下の2つのフェーズで作動します：

ハッシュ化された $N$ -gramによる疎な検索：
- トークナイザの圧縮： 生のトークンIDを正規化された識別子にマッピングする全射関数（caseや句読点の正規化など）を用い、意味密度を最大化し語彙サイズを削減します。
- マルチヘッド・ハッシング： $N$ -gramの組み合わせ空間を扱うため、モジュールは $N$ -gramの次数ごとに $K$ 個の異なるハッシュヘッドを使用します。これらは圧縮されたコンテキストを決定論的な関数によって埋め込みテーブルのインデックスにマッピングし、静的なベクトルを抽出します。
- 結合： 様々な $N$ -gramの次数とハッシュヘッドから抽出された埋め込みを結合して、メモリベクトルを形成します。
コンテキスト適応型のゲーティングと融合：
- 静的なメモリはコンテキストを持たないため、ゲーティング機構が現在の隠れ状態（集約されたグローバルコンテキスト）をクエリ（Query）として使用し、抽出されたメモリを調整します。
- スカラーゲート $\alpha_t$ は、正規化された隠れ状態とメモリのキー（Key）とのドット積によって計算されます。メモリがコンテキストと矛盾する場合、ゲートはメモリを抑制（ノイズ除去）します。
- 軽量なデプスワイズ因果畳み込み（depthwise causal convolution）が、ゲート付きメモリがバックボーンに残留接続（residual connection）を介して融合される前に受容野を拡大します。

2.2. システム効率とインフラストラクチャの協調設計

動的なルーティングや隠れ状態の通信を必要とするMoEとは異なり、Engramは入力トークンIDのみに基づく決定論的なアドレッシングを使用します。

プリフェッチ（Prefetching）： インデックスはフォワードパスの前に既知であるため、PCIeを介したホストメモリ（CPU/DRAM）からの埋め込みの非同期プリフェッチが可能です。
オーバーラップ： これにより、通信を先行するTransformerブロックの計算とオーバーラップさせることができ、無視できる程度のオーバーヘッドしか発生しません。
オフローディング： 膨大な埋め込みテーブル（例：100Bパラメータ）をホストメモリにオフロードすることで、GPUメモリの制約を回避できます。

2.3. スパース性の割り当て

著者らは、固定されたパラメータ予算が与えられたとき、容量をどのようにMoEエキスパート（動的計算）とEngramメモリ（静的ルックアップ）に分割すべきかというスパース性割り当て問題を定式化しています。

彼らは、MoEに割り当てられる不活性パラメータの割合を表す割り当て比 $\rho$ を定義しています。
実験により、U字型のスケーリング則が明らかになりました：純粋なMoE ( $\rho=100\%$ ) も、純粋なEngram ( $\rho=0\%$ ) も最適ではありません。最良のパフォーマンスは、ハイブリッドな割り当て（例： $\rho \approx 75\%–80\%$ ）において達成され、そこではスパースな予算の約20〜25%がEngramに再割り当てされています。

3. 主な結果

3.1. 事前学習パフォーマンス

著者らは、活性化パラメータ（3.8B）と学習FLOPsを厳密に一致させた状態で、262Bトークンを用いて4つのモデルを訓練しました：

Dense-4B: ベースライン。
MoE-27B: 標準的なMoEベースライン。
Engram-27B: MoE-27Bと同等パラメータの、MoE-27Bから5.7BパラメータをEngramに再割り当てしたもの（エキスパートを72から55に削減）。
Engram-40B: Engramメモリを18.5Bパラメータまでスケールさせたもの（合計39.5B）。

知見：

MoEに対する優位性： Engram-27Bは、多様なドメインにおいて同等パラメータのMoE-27Bベースラインを上回りました。
推論能力の向上： メモリが知識検索のみを助けるという直感に反して、Engramは一般的な推論（BBH +5.0, ARC-Challenge +3.7）およびコード/数学（HumanEval +3.0, MATH +2.4）においても顕著な向上を示しました。
知識獲得： 知識集約的なタスク（MMLU +3.0, CMMLU +4.0）において性能が向上しました。
スケーリング： Engram-40Bはさらに損失を減少させ、メモリ軸が追加の計算なしに効果的にスケールすることを示唆しました。

3.2. 長文コンテキスト能力

局所的な依存関係をルックアップにオフロードすることで、Engramはグローバルコンテキストのためのアテンション容量を解放します。

RULERベンチマーク： Engram-27Bは、MoEベースラインの84.2%に対し、マルチクエリ・ニードル・イン・ア・ヘイスタック（NIAH）において**97.0%**の精度を達成しました。
効率性： Engram-27Bは、ベースラインのLongPPLパフォーマンスを、わずか**82%**の事前学習FLOPsで達成しました。

3.3. メカニスティック分析

有効深度： LogitLensとCKA（Centered Kernel Alignment）を用いた分析により、著者らはEngramの初期レイヤーが、MoEベースラインのより深いレイヤーと同等の意味を持つ表現を生成していることを見出しました。これは、Engramが静的な特徴の再構成に初期レイヤーを費やす必要をなくすことで、ネットワークを「深く」していることを示唆しています。
機能的分離： アブレーション研究によれば、Engramを無効にすると事実知識ベンチマークが崩壊（29〜44%の性能に低下）しましたが、読解能力は堅牢（81〜93%）に維持されました。これは、Engamがパラメトリックな知識の主要なリポジトリとして機能していることを裏付けています。

3.4. システム効率

スループット： 100BパラメータのEngramテーブルをホストメモリにオフロードした結果、スループットの低下は無視できる程度（8Bバックボーンに対して2.8%未満）であり、プリフェッチおよびオーバーラップ戦略の妥当性が検証されました。

4. 意義と主張

本論文は、条件付きメモリが次世代のスパースモデルにとって不可欠なモデリング・プリミティブであると主張しています。その意義は主に以下の3点にあります：

構造的相補性： 静的なルックアップと動的な計算は排他的なものではなく、構造的に相補的であることを確立しました。両者の間の割り当てを最適化することで、純粋なMoEを凌駕するU字型のスケーリング則が得られます。
デカップリングによる効率化： 決定論的なアドレッシングを通じて、パラメータの保存と計算を分離することで、EngramはGPUメモリや計算コストに制約されることなく、巨大なパラメータ数（例：40B+）へのスケールを可能にし、ハードウェアのボトルネックを事実上回避します。
ネットワークの深化： メカニズム分析は、明示的な知識ルックアップを提供することで、バックボーンの初期レイヤーが静的な再構成タスクから解放されることを示しています。これにより、複雑な推論のためのネットワークの有効深度が増加し、それが推論やコードのタスクにおける予期せぬ向上の理由となっています。

著者らは、Engramを単なる検索拡張（RAG）ではなく、大規模なスパースモデルの時代に向けて $N$ -gramの概念を現代化した、根本的なアーキテクチャの転換点として位置づけており、主流のMoEパラダイムを補完する新しいスパース性の軸を提示しています。