🤖 machine learning

Inferring the Size of Large Language Models From Popular Text Memorization

本文提出了一种黑盒方法，通过分析大型语言模型对流行文本的记忆准确率来推断其参数量的保守下界，从而实现对模型规模的排序，并揭示包括闭源权重系统在内的隐藏的行业扩展策略。

原作者： Ivica Nikolic

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Ivica Nikolic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你走进一个房间，里面几个人正在背诵著名故事，如《爱丽丝梦游仙境》或《圣经》。你看不见他们，无法询问他们的大脑有多大，也无法偷看他们的笔记。你唯一能做的，就是在他们说到一半时叫停，然后听他们接下来会说什么。

这正是研究人员在现代人工智能模型（大语言模型）面前所面临的问题。大型科技公司构建了这些强大的人工智能，却将它们的“蓝图”保密。他们不会告诉你人工智能拥有多少个“神经元”（参数），而参数数量正是衡量模型智能程度或成本的标准方式。

这篇论文介绍了一种巧妙的“黑盒”侦探方法，仅通过倾听人工智能完成句子的能力，就能推测这些秘密人工智能大脑的规模。

核心思想：“记忆测试”

研究人员意识到，几乎所有大型人工智能都是在同一堆庞大的互联网文本上训练的。这意味着它们都读过相同的流行书籍、宗教文本和著名文件。

这就像一场记忆竞赛。如果你要求一个人完成一本他们已背诵的书籍中的句子，大脑更大（参数更多）的人通常比大脑较小的人更有可能答对。

研究人员通过以下方式验证了这一假设：

挑选 37 部著名的公有领域文本（如《哈姆雷特》、《圣经》和美国宪法）。
将它们切割成数千个小片段。
要求不同的人工智能模型预测这些片段中的下一个词。

他们发现了一个清晰的模式：人工智能越大，在这些著名故事中预测下一个词的准确率就越高。 尽管其他因素（如人工智能的训练方式）也很重要，但大脑规模是成功的最主要驱动因素。

两种侦探工具

为了将这些“记忆得分”转化为规模估算，团队构建了两种不同的工具：

1. “缩放定律”（地图）
想象你有一组已知人物（开源人工智能），你确实知道他们的大脑规模。你将他们的记忆得分与已知规模进行对比，并画出一条连接这些点的平滑曲线。这看起来像一架梯子：得分越高，规模呈指数级增长。

工作原理： 当秘密人工智能参加测试时，你观察它在梯子上的位置。如果它的得分相当于一个 1000 亿参数模型，你就估算其规模大致如此。
局限性： 由于秘密人工智能的构建方式可能不同（例如“混合专家”模型，其中每次只有一部分大脑处于活动状态），研究人员决定采取非常保守的态度。他们不猜测确切规模，而是猜测一个最低下限。他们会说：“这个人工智能至少有这么大。”

2. “头对头”测试（竞赛）
有时，你不需要确切的数字；你只需要知道谁更大。

工作原理： 研究人员让两个秘密人工智能在同一项记忆测试中相互竞争。他们利用统计“竞赛”来判断其中一个人工智能是否 consistently 比另一个更擅长完成句子。
结果： 如果人工智能 A 在竞赛中击败了人工智能 B，他们就可以自信地说：“人工智能 A 肯定比人工智能 B 大”，即使他们不知道确切数字。

他们的发现

团队在 19 个开源模型（他们已知答案）上测试了他们的方法，准确率达到了 95%。随后，他们将目光转向了 OpenAI、Google、Anthropic 和阿里巴巴等公司的“秘密”模型。

以下是这项“侦探工作”揭示的行业隐藏策略：

“大脑更大”策略（Google 和 Anthropic）： 这些公司似乎正在构建参数量巨大的模型。例如，他们的顶级模型显示出拥有数千亿参数的迹象，表明每一代新模型都在变得越来越大。
“效率”策略（OpenAI 和阿里巴巴）： 令人惊讶的是，研究人员发现 OpenAI 的新模型（如 GPT-4o 和 GPT-5 变体）在原始参数量方面似乎并没有比旧版本显著增大。它们似乎达到了“规模上限”。与其让大脑变得更大，它们似乎正通过更好的训练或更聪明的算法让现有大脑变得更聪明。
层级核查： 该方法正确识别了产品的内部排名。例如，它在未被提前告知该顺序的情况下，正确推测出 Anthropic 的"Opus"模型比"Sonnet"模型大，而"Sonnet"模型又比"Haiku"模型大。

局限性（细则）

这篇论文非常诚实地说明了它不能做什么：

它是下限： 该方法旨在确保安全。它会告诉你人工智能至少有 X 大小，但实际规模可能大得多。这就像说“这个盒子至少重 10 磅”，而实际上它可能重 50 磅。
“混合专家”问题： 一些现代人工智能采用“混合专家”架构。想象一个图书馆，回答问题时只调用少数几位特定的图书管理员，而不是全体工作人员。由于研究人员无法看到总共有多少图书管理员，而活跃的有多少，他们无法获得这些模型的精确总数，只能得到一个保守的最低值。
无作弊： 该方法假设人工智能没有试图欺骗他们。如果一家公司故意编程让他们的人工智能遗忘著名书籍以隐藏其规模，这种方法就会失效。

结论

这篇论文证明，你不需要公司的秘密蓝图就能很好地了解其人工智能的规模。只需测试人工智能回忆著名故事的能力，你就可以推断出可靠的“最低规模”，并揭示一家公司是通过让模型变得更大，还是通过让模型变得更聪明来发展其模型。它将人工智能的“黑盒”变成了我们可以窥探内部的东西，即使我们无法看到一切。

技术摘要：从流行文本记忆推断大型语言模型的规模

1. 问题表述

大型语言模型（LLM）的总参数量（ $|f|$ ）是解读其能力、成本及性能对比的主要指标。然而，对于由主要科技公司（如 OpenAI、Google、Anthropic）开发的最先进的闭源权重模型，这一指标几乎总是被保密。这种不透明性导致闭源模型与开源模型之间的比较存在模糊性，并掩盖了 API 定价和延迟背后的经济驱动因素。

本文在严格的黑盒约束下（仅限提交提示并观察文本输出，无法访问 logits、权重或隐藏状态）解决了两个具体的推断问题：

绝对规模推断：估算未知模型 $f$ 的参数量 $|f|$ 。
相对规模推断：判断对于阈值 $\tau > 0$ 是否满足 $|f| > (1 + \tau)|g|$ ，从而确定一个模型是否显著大于另一个模型。

核心挑战在于将模型规模的信号与混淆变量（如训练数据分布、指令微调以及架构选择）隔离开来，这些变量同样会影响文本生成的质量。

2. 方法论

所提出的方法基于以下观察：流行且广泛传播的文本（如古典文学、宗教文本、基础文件）几乎存在于每一个大规模预训练语料库中。作者假设，模型在这些已记忆文本中准确预测下一个 token 的能力，从根本上受限于其总参数量。

数据收集与信号提取：

源文本：使用 37 种流行的公共领域文本（如《爱丽丝梦游仙境》、《圣经》）和 4 种冷门的基线文本。
准确率指标：对于模型 $M$ 、文本 $T$ 和前缀长度 $l$ ，作者计算原始准确率（ $\hat{\alpha}_r$ ）和提升准确率（ $\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$ ，其中 $\hat{\beta}$ 是冷门文本上的基线准确率）。
准确率分布：通过采样多个前缀长度和文本，该方法为每个模型构建了一个高维准确率分布向量（ $A_{T,L}(M) \in \mathbb{R}^{2KL}$ ），聚合了不同上下文下的性能表现。

推断框架：
本文介绍了两种互补的方法，将这些准确率分布转化为规模估计：

缩放定律估计器（绝对推断）：
- PCA 投影：对已知开源权重模型的准确率分布应用主成分分析（PCA），以提取一维潜在规模指数（ $z_M$ ）。该指数捕捉了性能中的主导方差，假设其由参数量驱动。
- 指数缩放：基于神经缩放定律，潜在指数 $z$ 与参数量 $\theta$ 之间的关系被建模为指数形式： $\hat{\theta}(z) = A \cdot e^{B \cdot z}$ 。该曲线使用已知规模的开源权重模型进行校准。
- 保守边界：对于闭源模型，估计值由此曲线得出，但根据交叉验证的误差幅度乘以 0.5 的系数进行调整，以产生保守的下界。
成对统计检验（相对推断）：
- 阻塞符号置换检验：为了比较两个模型 $f$ 和 $g$ ，该方法计算它们准确率分布的差异。由于同一文本内的测量值是相关的，该检验将每个源文本视为一个“块”。
- 假设检验：单侧阻塞符号置换检验评估准确率差异是否系统地偏向于某一个模型。零假设（ $H_0$ ）假设不存在系统性优势。拒绝 $H_0$ 表明表现更优的模型可能更大。
- 阈值设定：该检验在控制假阳性率的情况下，确定是否满足 $|f| > (1+\tau)|g|$ 。

范围与局限性：
该方法假设模型是在标准互联网规模语料库上训练的通用模型。其明确排除了因专门微调（例如仅代码模型）而导致灾难性遗忘的模型，或采用策略性规避（例如故意遗忘公共文本）的模型。对于混合专家（MoE）架构，该方法提供的是总参数量的保守下界，因为推理过程中的活跃参数仅是总参数量的一个子集。

3. 主要贡献

基于记忆的规模信号：本文证明，聚合流行文本上的下一个 token 准确率会产生一个鲁棒的高维信号，即使在无法访问模型内部的情况下，该信号也与模型规模高度相关。
双重下界框架：提出了一种结合 PCA 驱动的缩放定律估计器和严格的成对统计检验的双重方法。对任何目标模型的最终推断结果是这两种方法产生的边界中的最大值。
验证与应用：该框架在 19 个开源权重稠密模型（绝对估计的 $R^2 = 0.95$ ，相对测试的精确率/召回率约为 90%）、16 个开源权重 MoE 模型以及 21 个流行的闭源权重模型上进行了验证。

4. 结果

开源权重稠密模型：缩放定律估计器在校准集上实现了 0.9504 的 $R^2$ ，在留一法交叉验证中实现了 0.9387。所有预测值均落在两倍误差带内。
开源权重 MoE 模型：该框架成功为所有 16 个评估的 MoE 模型建立了有效的下界。虽然“紧密度”（边界与真实规模的比率）差异显著（例如 WizardLM-2-8x22b 为 86%，而 Mimo-v2-pro 为 11%），但边界始终保守（从未超过真实规模）。
闭源权重模型：应用于 Anthropic、Google、OpenAI 和阿里巴巴的 21 个模型后，该框架：
- 正确恢复了内部产品层级（例如 Anthropic 的 Opus > Sonnet > Haiku）。
- 揭示了截然不同的行业扩展策略：
  - Google 和 Anthropic：显示出显著的代际扩展，旗舰模型的下界超过 4000 亿参数（例如 Claude Opus 4.6 为 4330 亿，Gemini 3 Flash 为 4050 亿）。
  - OpenAI 和阿里巴巴：在严格的参数上限下运行。旗舰模型如 GPT-4o 和 Qwen3.6-Max 的边界接近 1100 亿，表明性能提升是由算法优化或数据质量驱动，而非大规模参数扩展。
- 确定了较小变体的具体边界（例如 GPT-5.4-nano 为 20 亿，Claude Haiku 4.5 为 490 亿）。

5. 意义与主张

本文声称提供了一种系统性的黑盒方法，用于探测闭源 LLM 的隐藏设计选择。通过证明模型规模在公共领域文本的记忆中留下了可检测的“指纹”，作者表明：

透明度：可以在无法访问权重或 logits 的情况下推断模型规模的保守下界。
战略洞察：该方法揭示行业并非铁板一块；一些提供商正在激进地扩展参数，而另一些似乎已达到参数上限，转而依赖其他杠杆来提升能力。
鲁棒性：对于通用模型，该方法对训练数据和架构的变化具有鲁棒性，前提是记忆信号未被故意抑制。

作者保持谦逊，承认边界在构建上就是保守的，且恢复 MoE 架构或具有策略性规避的模型的确切参数量仍然是一个未解决的挑战。这项工作并不声称要取代内部指标，而是为现代 AI 开发的“黑盒”提供了一个严谨的外部探测手段。