技术摘要：基础模型研究中的有效性威胁

问题陈述

基础模型的出现极大地增加了训练最先进机器学习系统的计算成本，通常需要数万个 GPU。因此，理想的受控实验——即通过训练具有不同配方的多个模型来隔离因果效应——在计算上是难以实现的。为了规避这些成本，研究界采用了近似策略，包括代理实验（使用较小的模型或更廉ally 的处理方式）、观察性研究（分析公开的元数据）以及单次运行设计（利用单次训练过程中的内部变化）。

本文解决的核心问题是，这些节省成本的策略引入了有效性威胁（validity threats）：隐藏且有时无法测试的假设。当这些假设被违反时，关于模型行为、最优超参数或数据组成的科研结论可能会变得根本性错误或不再适用。作者认为，在近似大规模实验时不存在“免费的午餐”；计算量的节省必然以有效性的损失为代价。

方法论

本文提出了一个评估框架，将基础模型研究形式化为一个因果推断问题。其目标是近似能够识别特定配方处理效应（recipe-specific treatment effect）的“理想实验”，定义为：
$$\tau(a, y; \psi) = E[y(a) | \psi] - E[y(\emptyset) | \psi]$$
其中 $\psi$ 是训练配方，$a$ 是处理（对配方的改变），$y$ 是结果。

该框架将分析分解为两个层面：

1. 研究策略： 作者将当前实践分为三种主要策略：

   • 代理法（The Proxy Approach）： 在更便宜的代理对象（较小的模型、作为预训练代理的微调、或作为验证损失的代理结果）上进行实验，并将其外推至目标规模。
   • 观察法（The Observational Approach）： 分析现有公开模型的元数据，以推断训练选择与结果之间的关系，而无需进行新的训练运行。
   • 单次运行法（The Single-Run Approach）： 在单次训练过程中模拟多次实验，将数据点或子词视为独立单元，或使用理论控制（例如，影响函数、金丝雀数据）。

2. 有效性类型： 借鉴自实证社会科学的分类法，该框架通过四个维度评估策略：

   • 统计有效性（Statistical Validity）： 在有限且有噪声的样本下估计的可靠性。
   • 内部有效性（Internal Validity）： 估计值反映的是真实的因果效应，而非仅仅是相关性。
   • 外部有效性（External Validity）： 研究结果能否从代理或样本推广到目标训练配方（例如，跨规模或跨模型家族）。
   • 构念有效性（Construct Validity）： 处理（treatment）和结果（outcome）的操作化是否准确反映了预期的研究问题。

核心贡献与结果

1. 有效性特征谱分析

论文将每种策略固有的有效性威胁综合为“有效性剖面（validity profile）”，将其分类为“基本不受影响”、“需要仔细考虑”或“关键威胁”。

• 代理模型：
  • 优势： 如果使用受控实验，通常能保持统计有效性和内部有效性；如果使用原始的处理/结果，则能保持构念有效性。
  • 关键威胁： 外部有效性。假设处理效应可以可预测地缩放（例如，通过缩放法则）这一前提往往未经证实。当出现突现行为（emergent behaviors）或跨越不同的训练配方时，这种可预测性会失效。
• 代理处理与结果：
  • 优势： 本身不会对目标模型的统计、内部或外部有效性构成威胁。
  • 关键威胁： 构念有效性。替换处理方式（如用微调代替预训练）或结果（如使用基准测试子集）往往会从根本上改变因果估计量。例如，微调代理可能会因为与单轮预训练不同的记忆动力学，从而高估隐私泄露风险。
• 观察法：
  • 优势： 保留了目标规模下的证据，并通过聚合不同家族的数据提供较高的统计有效性。
  • 关键威胁： 内部有效性。该方法依赖于不可测试的**可交换性（exchangeability）**假设（即无混杂因素）。诸如“日历时间”之类的混杂因素（即较新的模型同时受益于架构进步和精选的数据组合）可能会诱发伪相关。此外，外部有效性受到模型家族间效应异质性的威胁；聚合数据会抹平这些差异，可能掩盖特定配方的效应。
• 单次运行法：
  • 优势： 可以提供细粒度的见解，并在大规模运行内保持统计有效性。
  • 关键威胁： 由于干扰（interference）导致的内部有效性问题。由于所有单元共享相同的模型参数，即训练点 $i$ 会更新用于点 $j$ 的参数，因此“处理一个单元不影响其他单元”的假设（即 SUTVA 假设）受到了挑战。此外，如果效应具有异质性，则外部有效性在单元之间也会受到威胁。

2. 识别未被充分关注的威胁

分析揭示了文献中关注不足的特定有效性威胁：

• 观察性研究中由于“日历时间”和数据组成的混杂导致的可交换性违背。
• 单次运行设计中单元之间的干扰，这违反了稳定单元处理值假设（SUTVA）。
• 使用代理处理（如多轮微调）来近似预训练动力学时，产生的构念有效性根本性转变。

3. 实用工具包

论文提供了一个矩阵（表 1）作为研究者和评审员的实用工具包。它允许他们：

• 明确识别给定设计面临哪些类型的有效性风险。
• 使隐藏的假设显性化。
• 理解结合使用多种策略时所需的权衡（例如，使用代理处理的观察性研究会累积更多的有效性威胁）。

意义与主张

作者声称，其框架为讨论基础模型研究中的有效性提供了一套通用语言，弥合了因果推断理论与经验机器学习实践之间的鸿沟。

• 对于作者： 该框架提供了一套词汇，用于辩护必要的权衡并使隐藏假设显性化，确保其研究主张与所选设计的实际有效性威胁相一致。
• 对于评审员： 它提供了一个结构化的基础，用以评估论文的结论是否由其底层方法论所支持，特别是在结合使用多种近似策略时。
• 对于领域： 论文指出，虽然理想的实验通常难以实现，但研究者必须意识到“计算量的节省是以有效性威胁为代价的”。该框架并非旨在提出消除这些威胁的单一方案，而是提供了一种系统的方法来审视它们，并暗示稳健的结论可能需要并行追求多种策略，或依赖于关于特定威胁可靠性的累积科学知识。

该工作强调，有效性并非一种二元属性，而是一个必须通过严谨的设计和对假设的明确承认来管理的风险谱系。