🤖 AI

To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining

この論文は、固定されたデータ予算下で事前学習の規模と検索ストアの規模のトレードオフを体系的に分析し、モデルサイズやタスクの種類に応じて検索をどの程度活用すべきかを定量的に示すためのスケーリング法則を確立したものです。

原著者： Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

公開日 2026-04-02

📖 1 分で読めます☕ さくっと読める

原著者： Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、「AI に知識を詰め込む（学習させる）」のか、「必要な時に本棚から引き出す（検索する）」のか、どちらが賢く、効率的なのかという、AI 開発における重要なジレンマを解き明かした研究です。

まるで**「記憶力（脳）」と「辞書（外部の資料）」のバランス**をどう取るかという話です。

以下に、難しい専門用語を排し、日常の例え話を使って解説します。

🧠 1. 核心となる問題：「脳内記憶」vs「辞書引き」

AI（言語モデル）は通常、大量のテキストを学習して、その知識を**「脳（重み）」の中にすべて詰め込みます。これを「パラメトリック知識」と呼びます。
しかし、最近の AI は、学習時にすべてを覚え込まず、「外部の辞書（検索データベース）」**を用意し、質問された時に必要なページを引いて答える「RAG（検索拡張生成）」という方法も使います。

【問い】
「限られた予算（データ量）がある場合、**「脳に記憶させる量」と「辞書のサイズ」**をどう配分すれば、最も賢い AI が作れるのでしょうか？」

🏗️ 2. 研究のやり方：小さな AI から大きな AI まで実験

研究者たちは、3000 万パラメータ（超小型）から 30 億パラメータ（中型）までの AI を作り、以下の実験を行いました。

データ: 1000 億トークン（単語の塊）という巨大なデータセットを用意。
実験: このデータを「学習用（脳に詰め込む）」と「検索用（辞書として残す）」にどう分けるかを変えて、AI の性能をテストしました。
テスト: 論理パズル、科学クイズ、一般常識など、様々な問題に挑戦させました。

🔍 3. 発見された「3 つの重要なルール」

この研究から、以下のような面白い法則が見えてきました。

① 「辞書引き」は、小さな AI にとっての「最強の薬」

小さな AI（記憶力が弱い子）: 辞書（検索機能）を持たせると、劇的に賢くなります。
- 例え: 小学生が、自分の記憶力だけで世界史のテストを受けるのは大変ですが、教科書（辞書）を横に置いておけば、高得点を取れます。
大きな AI（記憶力が強い大人）: すでに脳に多くの知識が入っているため、辞書を引いても「あ、これ知ってる」という感じで、劇的な性能向上は起きません。
- 例え: すでに百科事典を丸暗記している学者に、辞書を渡しても、あまり新しい情報は得られません。

② 「学習の飽和点」を超えたら、辞書の方がお得

AI を学習させるには、データが増えれば増えるほど「記憶」は深くなりますが、あるポイントを超えると**「 diminishing returns（限界効用）」**が起きます。つまり、同じデータをさらに詰め込んでも、賢くなるのが頭打ちになるのです。
発見: 学習が「頭打ち」になりかけた時、そのデータを「辞書（検索用）」として残す方が、AI を賢くする効果が高いことがわかりました。
- 例え: すでに満杯の頭（脳）に無理やり本を詰め込むより、その本を「図書館（辞書）」として用意し、必要な時だけ借りてくる方が、結果的に多くの知識を使えるようになります。

③ 「何の質問か」によって答えが違う

事実確認（「誰が初代首相？」など）: 検索（辞書引き）が非常に有効です。
論理推理（「このパズルを解いて」など）: 検索してもあまり役に立ちません。AI 自身が「考える力（推論力）」を脳で身につける必要があります。
- 例え: 「1+1 は？」と聞かれたら辞書は要りませんが、「この複雑な数学の問題を解いて」と言われたら、辞書よりも「計算力（脳）」が必要です。

📊 4. 結論：これからの AI 設計はどうなる？

この研究は、「学習（記憶）」と「検索（辞書引き）」は、対立するものではなく、組み合わせて最適化するべきものだと示しています。

小さな AI を作る場合: 学習データは少なめにして、代わりに大きな「辞書（検索データベース）」を持たせるのが効率的です。
大きな AI を作る場合: すでに脳に多くの知識が入っているので、辞書の効果は限定的です。
重要な視点: これまでは「すべてのデータを脳に詰め込む」のが当たり前でしたが、これからは**「どのデータは脳に覚えさせ、どのデータは辞書として残すか」**を、AI のサイズや目的に合わせて賢く配分する時代が来ます。

🌟 まとめ

この論文は、**「AI を賢くするには、すべてを記憶させる必要はない」**と教えてくれました。

小さな AIには「辞書」を。
学習が頭打ちの AIには「辞書」を。
論理パズルには「脳」を。

このように、「記憶（脳）」と「検索（辞書）」のバランスを上手に取ることで、より効率的で賢い AI を作れるようになるのです。まるで、学生が「教科書を暗記する」ことと「図書館で調べる」ことの使い分けを学ぶようなものです。

1. 問題定義 (Problem)

従来のスケーリング則（Scaling Laws）は、モデルのパラメータ数とトレーニングトークン数の関係を扱ってきましたが、トレーニングデータはすべてモデルの重み（パラメータ）に圧縮されるものとして扱われていました。しかし、RAG（Retrieval-Augmented Generation）の登場により、データの一部を外部データストアとして保持し、推論時にアクセスするという新たな自由度が生まれました。

核心的な問い: 固定されたデータ予算（N トークン）が与えられた場合、そのデータを**「モデルの重みへの事前学習（パラメータ的知識）」と「外部検索ストア（非パラメータ的知識）」**のどちらに、どの割合で配分するのが最適か？
背景: 事前学習は計算コストが高いが、推論時のオーバーヘッドがない。一方、RAG はトレーニングコストは低い（データ保持のみ）が、推論時に検索コストが発生し、検索の精度に依存する。これら 2 つのメカニズムのトレードオフを体系的に理解する研究は不足していた。

2. 手法 (Methodology)

著者らは、OLMo-2 アーキテクチャに基づき、パラメータ数 30M から 3B までのモデルを訓練し、DCLM データセット（最大 100B トークン）を用いて実験を行いました。

実験設定:
- モデルサイズ: 30M, 136M, 233M, 728M, 1B, 3B パラメータ。
- データ配分: 固定されたデータ予算内で、事前学習トークン数（D）と検索ストアサイズ（R）を変化させます（例：D はパラメータ数の 1〜150 倍、R は 1〜20 倍）。
- 検索インデックス: 同一コーパスから保持されたスライスを用いて FAISS で構築。検索モデル（Qwen3-Embedding-8B）は固定し、検索スケールとクエリ形式の影響を分離して評価。
- 評価指標: 従来の正解率（Accuracy）に加え、スケーリング分析に適した**パープレキシティ（PPL）**を主要指標として使用。PPL はモデルの確信度の連続的な変化を捉えるため、段階的な改善を平滑にモデル化できます。
- 評価ベンチマーク: 推論（PIQA, StrategyQA）、科学的 QA（SciQ, OpenBookQA）、オープンドメイン QA（Natural Questions, SimpleQA）など多様なタスク。
スケーリング則のモデル化:
従来の 2 次元（モデルサイズ N、データ量 D）のべき乗則モデルを拡張し、検索トークン数（R）を 3 番目の次元として加えたモデルを提案しました。
$L(N, D, R) = A \left(\frac{N}{10^9}\right)^{-\alpha} + B \left(\frac{D}{10^9}\right)^{-\beta} - C \log\left(1 + \eta \frac{R}{10^9}\right) + L_0$
ここで、対数項 $-C \log(\dots)$ が検索による損失減少（利益）を表し、 $\eta$ は利益の飽和速度を制御します。

3. 主要な貢献 (Key Contributions)

パラメータ的知識と非パラメータ的知識の構造的な関係の解明:
検索が常に有益なわけではなく、モデルのスケールやタスクの種類、事前学習の飽和度によって、その効果は非単調でスケール依存性を持つことを示しました。
3 次元スケーリング法則の提案:
モデルサイズ、事前学習トークン、検索トークンの 3 つの次元で性能をモデル化する法則を導出しました。これにより、事前学習と検索の「代替可能性（Substitutability）」を定量化可能にしました。
スケール依存の交差点（Crossover Point）の特定:
事前学習トークン数/パラメータ数比（D/N）が約 4.14 を超える領域では、検索トークン 1 つが複数の事前学習トークンを代替できる効率的な領域に遷移することを発見しました。

4. 結果 (Results)

検索の代替可能性（Substitutability）:
- 事前学習が不十分な領域（D/N が小さい）では、検索は事前学習を効果的に代替できません。
- しかし、D/N $\approx$ 4.14 以上の「飽和領域」に入ると、検索は事前学習の効率的な代替手段となります。この領域では、検索トークン 1 つが複数の事前学習トークンに相当する損失減少をもたらします。
限界便益（Marginal Benefit）の減少:
- モデルサイズ依存: 小さなモデル（例：30M）は検索から大きな恩恵を受けますが、モデルが大きくなるにつれて限界便益は減少します。3B パラメータ規模では、検索による改善はほぼ飽和します。
- タスク依存: 事実知識依存型のタスク（例：CommonsenseQA, SimpleQA）では検索の効果が顕著ですが、推論中心のタスク（例：PIQA, GSM8K）では検索による改善は限定的か、ほとんど見られません。
検索品質の影響:
クエリに正解を含める（Oracle 的アブレーション）などの検索品質向上は、知識集約型タスクで追加的な利益をもたらしますが、スケーリング傾向そのものを変えるものではなく、検索の限界要因が検索器の精度にある場合があることを示唆しています。

5. 意義と結論 (Significance)

この研究は、LLM システム設計における重要なパラダイムシフトを提案しています。

データ配分の最適化: 事前学習と RAG は独立した設計選択ではなく、固定されたデータ予算下で共同最適化すべきリソースです。
リソース配分の指針:
- 小規模・未飽和モデル: 事前学習データを増やすよりも、外部検索ストアを構築する方がコスト対効果が高い可能性があります。
- 大規模・飽和モデル: 事前学習の限界に達している場合、検索は追加の知識を効率的に補完しますが、モデル自体の容量（パラメータ数）が知識の定着に重要であるため、検索だけでは限界があります。
認知科学との類似性: 人間が抽象的な推論スキルを内部化し、事実的知識は外部記憶（本や検索エンジン）に依存するのと同様に、LLM においても「推論能力の事前学習」と「事実知識の外部化」という役割分担が有効であるという知見を提供します。

結論として、この論文は「記憶（Memorize）するか検索（Retrieve）するか」という二択ではなく、**「どのスケールで、どのタスクに対して、どの程度のデータをどちらに配分するか」**を定量的に決定するための基礎的な枠組みを提供しました。