🤖 AI

To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining

该论文通过系统研究不同模型规模下预训练数据与检索库规模的权衡，提出了一个三维扩展框架，揭示了在固定数据预算下如何根据任务类型和模型饱和程度优化预训练与检索的资源分配，从而为设计可扩展的语言模型系统提供了量化指导。

原作者： Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：在训练人工智能（AI）时，我们应该把多少精力花在“死记硬背”上，又应该留多少资源去“学会查资料”？

想象一下，你正在教一个学生（也就是 AI 模型）准备一场大考试。你有两种学习方法：

死记硬背（预训练/Parametric Knowledge）： 让学生把整本百科全书背下来，把知识直接刻在脑子里。
- 优点： 反应快，不用翻书。
- 缺点： 脑子容量有限，背多了容易忘，或者记错（产生幻觉），而且如果书里有新内容，得重新背一遍。
学会查资料（检索增强/RAG）： 只让学生记住核心逻辑和解题思路，遇到不懂的具体事实，就允许他随时去图书馆（外部数据库）查书。
- 优点： 知识更新快，不会记错事实，脑子可以腾出来思考复杂问题。
- 缺点： 考试时得花时间翻书，如果书找得不对，也会答错。

这篇论文的核心发现就是：在资源（比如时间、算力、数据量）有限的情况下，怎么分配“背书的量”和“图书馆的大小”，才能让这个学生考得最好？

🎓 核心发现：大小模型，策略不同

研究人员训练了不同大小的 AI 模型（从像小学生一样的 3000 万参数，到像大学生一样的 30 亿参数），并尝试了不同的“背书”和“查书”比例。他们发现了一个非常有趣的规律：

1. 小模型（小学生）：查书比背书管用

对于小模型来说，脑子太小了，根本背不下太多东西。

比喻： 就像一个刚上一年级的孩子，你让他背《辞海》，他记不住，还容易记混。
策略： 给他一个巨大的图书馆（大检索库），让他学会怎么查书。哪怕他脑子里只记住了“怎么查”，只要书够全，他就能答对难题。
结论： 小模型通过“查资料”获得的提升，比多背点书要划算得多。

2. 大模型（大学生）：背书更重要，查书边际效应递减

对于大模型来说，脑子很大，能装下很多知识。

比喻： 就像一个博学的教授，他脑子里已经装了很多常识。这时候，再给他一个更大的图书馆，他提升的空间就不大了，因为他大部分问题自己都能答上来。
策略： 大模型更需要多背书（增加预训练数据），把知识内化。如果强行给它配一个超大的图书馆，反而可能因为“翻书太慢”或者“书太多找不到重点”而效果变差。
结论： 模型越大，查资料的“性价比”越低。

3. 任务类型也很关键

背事实题（如：谁发明了电话？）： 查资料非常有效。就像你不需要背下所有电话号码，只要会查通讯录就行。
做推理题（如：数学题、逻辑题）： 查资料效果一般。就像做数学题，光翻书找公式没用，得靠脑子里的逻辑推理能力。这时候，把书背熟（内化知识）更重要。

📊 他们是怎么发现的？（简单的实验过程）

研究人员做了一个“资源分配游戏”：

假设你只有100 本书的数据量。
你可以选择：把 100 本全用来背（0 本查），或者留 50 本背，50 本做成图书馆供查。
他们测试了从 30M 到 3B 不同大小的模型，在各种题目（科学问答、常识推理等）上的表现。

结果画出了一张“地图”：

在小模型区域，把资源投给“图书馆”（检索），成绩提升最快。
在大模型区域，把资源投给“背书”（预训练），成绩提升更稳。
存在一个临界点：当模型学到一定程度（比如每个参数背了 4 倍数据量），再让它多背，效果就不明显了，这时候给它配个图书馆反而更划算。

💡 这对我们意味着什么？

这篇论文给未来的 AI 设计者指了一条明路：

不要“一刀切”： 以前大家觉得 AI 就是拼命背数据。现在我们知道，小模型要“轻装上阵，善用外脑”，大模型要“内功深厚”。
省钱又高效： 如果我们要训练一个小模型，与其花大价钱去收集海量数据让它背，不如花同样的钱建一个高质量的“外部知识库”，让模型学会查。这样既省了训练成本，效果还更好。
像人一样思考： 这其实很像人类的学习方式。我们小时候记不住所有细节，靠查字典、问大人；等我们长大了，脑子里有了很多常识，遇到新问题才去查资料。这篇论文证明了 AI 也可以走这条路。

一句话总结：
小模型靠“查”赢，大模型靠“背”稳；聪明的 AI 设计，就是知道什么时候该让它背，什么时候该让它查。

这是一篇关于检索增强生成（RAG）与预训练之间权衡关系的学术论文，题为《To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining》（记忆还是检索：考虑 RAG 的预训练缩放定律）。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

现有的大语言模型（LM）缩放定律（Scaling Laws）通常假设所有训练数据都被压缩进模型参数（参数化知识）中。然而，RAG 引入了一个新的自由度：将部分语料库作为外部非参数化知识库（检索存储），在推理时访问。

核心矛盾：在固定的数据预算（Data Budget）下，如何最优地在预训练数据量（用于训练模型权重）和检索库大小（用于外部检索）之间进行分配？
现有局限：以往研究要么只关注预训练缩放，要么只关注 RAG 的下游效果，缺乏系统性地将两者视为同一数据预算下的竞争资源，并研究其相互替代关系和缩放规律。

2. 方法论 (Methodology)

作者构建了一个大规模的实验框架，系统地研究了模型规模、预训练数据量和检索库大小三者之间的关系。

实验设置：
- 模型：基于 OLMo-2 架构，训练了从 30M 到 3B 参数的多种规模模型。
- 数据：使用 DCLM 语料库（高达 100B tokens）。
- 变量控制：
  - 预训练数据规模 (D)：变化范围为模型参数量的 1 倍到 150 倍。
  - 检索库规模 (R)：从同一语料库中切分出的不同大小的子集，范围从 1 倍到 20 倍模型参数量。
  - 所有检索库均基于 FAISS 构建，使用 Qwen3-Embedding-8B 作为嵌入模型。
- 评估基准：涵盖推理（Reasoning）、科学问答（Scientific QA）和开放域问答（Open-domain QA）的多样化基准（如 ARC, HellaSwag, SciQ, Natural Questions 等）。
- 指标：主要使用困惑度 (Perplexity, PPL) 而非准确率 (Accuracy)，因为 PPL 能提供更连续、平滑的缩放趋势，避免准确率的阶梯式突变问题。
建模方法：
- 提出了一个三维缩放定律，将损失函数 $L$ 建模为模型大小 $N$ 、预训练 tokens $D$ 和检索 tokens $R$ 的函数：
  $L(N, D, R) = A \left(\frac{N}{10^9}\right)^{-\alpha} + B \left(\frac{D}{10^9}\right)^{-\beta} - C \log\left(1 + \eta \frac{R}{10^9}\right) + L_0$
- 其中，前两项描述传统的参数化缩放，第三项（对数增益项）描述检索带来的性能提升及饱和效应。

3. 关键贡献 (Key Contributions)

揭示了非单调的替代关系：证明了检索对预训练的替代作用并非线性的，而是依赖于模型规模和任务类型。在低数据量区域，检索无法有效替代预训练；但在特定阈值后，检索成为高效的替代方案。
建立了三维缩放框架：首次将模型大小、预训练数据和检索库大小统一在一个数学模型中，量化了参数化知识与非参数化知识的可替代性（Substitutability）。
确定了规模依赖的交叉点 (Crossover Point)：发现了一个关键的临界点（约 4.14 tokens/parameter），超过此点后，检索开始比单纯增加预训练数据更高效地降低损失。

4. 主要结果 (Key Results)

检索的边际收益递减 (Diminishing Returns)：
- 小模型受益最大：30M 参数的小模型从检索中获得的单位收益最高。
- 大模型收益饱和：随着模型规模增大（接近 3B），检索带来的边际收益显著下降，大模型更倾向于通过内部参数化记忆知识。
可替代性分析 (Substitutability)：
- 在预训练不足（Undertrained）或数据量较少时，检索无法替代预训练。
- 当预训练数据量达到模型参数量的 ~4.14 倍 以上时，检索开始表现出极高的替代效率（即 1 个检索 token 可以替代多个预训练 token 的效果）。
- 这种替代效率在知识密集型任务（如 CommonsenseQA）中极高，而在推理密集型任务（如 PIQA, GSM8K）中较低甚至为负。
任务类型依赖性：
- 知识型任务：检索能显著弥补参数化知识的不足，特别是在长尾事实性知识上。
- 推理型任务：检索带来的提升微乎其微，因为这类任务更依赖模型内部的逻辑推理能力，而非外部事实检索。
检索质量的影响：通过改进查询构建（如加入答案选项或黄金答案），检索性能有提升，但并未改变整体的缩放趋势，说明当前的瓶颈更多在于检索机制本身而非模型能力。

5. 意义与启示 (Significance)

重新定义数据分配策略：论文指出，预训练和检索不应被视为独立的设计选择，而应被视为固定数据预算下的联合优化问题。
指导资源分配：
- 对于小模型或数据预算有限的场景，应优先考虑增加检索库大小，而非盲目增加预训练数据。
- 对于大模型或推理任务，应优先保证足够的预训练数据量，检索仅作为辅助。
系统设计的范式转变：未来的语言模型设计应从“将所有数据压缩进权重”转向“显式地将语料库划分为内部化（预训练）和外部访问（检索）两部分”。这有助于在计算成本、推理延迟和内存占用之间找到更优的平衡点。
认知科学的映射：这一发现与人类认知模式（内部化抽象推理能力，依赖外部记忆存储事实）高度一致，为构建更高效、更符合认知规律的 AI 系统提供了理论依据。

总结：该论文通过严谨的缩放定律分析，量化了“记忆”（预训练）与“检索”（RAG）之间的权衡关系，证明了检索是特定规模和数据密度下预训练的高效替代品，为未来高效语言模型系统的构建提供了定量的指导原则。