💬 NLP

An evolutionary perspective on modes of learning in Transformers

该论文从进化生物学视角出发，通过控制实验揭示了环境稳定性与线索可靠性如何决定 Transformer 模型在权重内学习（IWL）与上下文学习（ICL）两种策略间的选择及其动态转换机制。

原作者： Alexander Y. Ku, Thomas L. Griffiths, Stephanie C. Y. Chan

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Y. Ku, Thomas L. Griffiths, Stephanie C. Y. Chan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给 Transformer（现代大语言模型的核心技术）做一场“进化生物学”的体检。作者们发现，AI 的学习方式其实和生物在自然界中的生存策略惊人地相似。

为了让你轻松理解，我们可以把Transformer 模型想象成一个正在上学的学生，把训练环境想象成他每天面对的生活场景。

1. 两种学习策略：死记硬背 vs. 临场应变

这个学生有两种主要的学习方法：

IWL（权重内学习）：相当于“刻在脑子里的知识”
- 比喻：就像学生通过长期的复习，把公式、单词表永久地刻在脑子里。无论考试题目怎么变，他都能凭记忆回答。
- 特点：这是“慢工出细活”，需要长时间训练，但一旦学会，就很稳定，不需要看提示。
ICL（上下文学习）：相当于“看题解题”
- 比喻：就像学生考试时，试卷上给了几个例题（提示），他不需要死记硬背，而是看着例题，现场模仿着做。
- 特点：这是“临场发挥”，非常灵活，只要题目给得清楚，他就能马上学会新东西，但一旦离开试卷（提示），可能就忘了。

2. 环境决定命运：什么时候该用哪种方法？

论文的核心观点是：学生选择哪种方法，取决于他生活的“环境”长什么样。 作者引入了两个关键指标：

A. 环境的稳定性（是天天变，还是万年不变？）

如果环境很稳定（比如每天都是做同样的数学题）：
- 生物逻辑：既然每天都是同一套题，何必每次都重新看例题呢？不如直接把答案背下来（进化/刻在脑子里）。
- AI 表现：模型会倾向于IWL（死记硬背）。它发现把知识“固化”在脑子里效率最高，于是慢慢不再依赖提示，直接输出答案。这就像生物进化中的“基因固化”——原本需要环境刺激才有的特征，最后变成了天生就会的本能。
如果环境变化很快（比如今天考数学，明天考历史，后天考烹饪）：
- 生物逻辑：背下来根本来不及，必须学会“见招拆招”。
- AI 表现：模型会倾向于ICL（看题解题）。因为它发现把知识刻在脑子里太慢且容易过时，不如利用眼前的提示（上下文）来快速适应新任务。

B. 线索的可靠性（提示是准的吗？）

如果提示很靠谱（例题和答案完全对应）：
- 学生敢于看例题解题（ICL），因为跟着提示走准没错。
如果提示是乱码或错误的（例题和答案对不上）：
- 学生不敢看例题了，只能靠自己脑子里的知识（IWL），或者干脆放弃。

3. 有趣的“变心”过程：先易后难

论文最精彩的部分是发现，学生的策略不是一成不变的，它会随着时间“变心”，而且这种变化取决于哪种方法学起来更简单。

场景一：Omniglot 任务（类似认字）
- 情况：要记住几千个生僻字的含义（很难），但看几个例子就能猜出意思（很简单）。
- 过程：刚开始，学生觉得“背几千个字”太难了，于是先看提示解题（ICL）。但随着训练时间拉长，他发现把字义背下来（IWL）虽然起步难，但一旦背下来就一劳永逸，于是慢慢从“看提示”变成了“死记硬背”。
- 比喻：就像你刚开始学开车看导航（ICL），开久了路熟了就凭记忆开（IWL）。
场景二：正弦波回归任务（类似预测曲线）
- 情况：要现场根据几个点画出曲线（很难，需要复杂的算法），但直接背一个大概的曲线公式（IWL）反而比较容易。
- 过程：刚开始，学生觉得现场算太复杂，于是先死记硬背一个大概公式（IWL）。但随着训练深入，它发现如果能学会“现场根据提示画曲线”（ICL），效果会好得多，于是从“死记硬背”变成了“看提示解题”。
- 比喻：就像你刚开始学做菜靠菜谱（IWL），后来发现看视频跟着做（ICL）更能做出新花样，于是转变了学习方式。

4. 总结：AI 的“生存智慧”

这篇论文告诉我们，Transformer 并不是随机选择学习方式的，它像生物一样，拥有一种**“进化智慧”**：

看天吃饭：环境越稳定，越倾向于把知识“刻在脑子里”（IWL）；环境越动荡，越倾向于“看提示行事”（ICL）。
先捡软柿子捏：在训练初期，模型会优先选择学起来成本最低、最容易上手的策略（不管它是不是最终的最优解）。
最终优化：随着时间推移，如果环境允许，它会慢慢切换到那个长期来看最完美、最稳定的策略。

一句话概括：
Transformer 就像一个聪明的学生，它会根据考试环境是“固定不变”还是“千变万化”，来决定是“死记硬背”还是“临场发挥”；而在刚开始学习时，它总是先选择那条看起来最轻松的路，然后再慢慢进化到最完美的状态。

这项研究不仅让我们更懂 AI，也提醒我们：在设计 AI 训练方法时，要像生态学家一样，考虑“环境”的稳定性，才能培养出既灵活又稳健的智能系统。

这是一篇发表于 ICLR 2026 的会议论文，题为《从进化视角看 Transformer 中的学习模式》（AN EVOLUTIONARY PERSPECTIVE ON MODES OF LEARNING IN TRANSFORMERS）。该论文由 Google DeepMind 和普林斯顿大学的学者共同完成。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

Transformer 模型具备两种互补的学习策略：

权重内学习 (In-Weight Learning, IWL)：通过训练永久性地优化模型参数，将知识编码到权重中。
上下文学习 (In-Context Learning, ICL)：利用提示（Prompt）中的上下文信息临时调整推理，不更新参数。

现有的研究多关注 ICL 的涌现机制（如归纳头、隐式优化等），但往往忽略了学习动态（Learning Dynamics）。实证研究表明，ICL 往往是暂时的（transient），在训练早期出现，随后可能被 IWL 取代，或者反之。
核心问题：是什么因素决定了 Transformer 在不同训练阶段选择 ICL 还是 IWL？现有的理性适应视角难以解释策略之间的转换机制。

2. 方法论 (Methodology)

作者提出将进化生物学的理论框架映射到 Transformer 的学习动态中：

生物学类比：
- 表型可塑性 (Plasticity) $\leftrightarrow$ ICL：个体在生命周期内根据环境线索（Prompt）调整行为，无需改变基因（权重）。
- 遗传进化 (Genetic Evolution) $\leftrightarrow$ IWL：跨代通过自然选择缓慢修改基因（权重）以固定适应性状。
- 遗传同化 (Genetic Assimilation)：可塑性性状在稳定环境下逐渐被基因固定，最终不再依赖环境线索。这对应于 ICL 随训练深入被 IWL 取代的现象。
关键维度定义：
作者定义了决定策略选择的两个环境维度：
1. 环境稳定性 (Environmental Stability)：目标任务在训练过程中跨时间步的不变性。
2. 线索可靠性 (Cue Reliability)：单个 Prompt 中包含的信息是否足以准确指定目标任务。
实验设置：
在两个受控的元学习基准任务中操纵上述维度：
1. 正弦回归 (Sinusoid Regression)：连续域任务。通过调整高斯噪声方差（ $\sigma^2$ ）控制线索可靠性，通过 AR(1) 过程参数（ $\alpha$ ）控制环境稳定性。
2. Omniglot 少样本分类：离散域任务。通过调整标签翻转概率（ $\rho$ ）控制线索可靠性，通过全局映射的持久性概率（ $\gamma$ ）控制环境稳定性。
- 评估协议：构建与当前训练环境冲突的评估 Prompt，计算模型对“上下文目标”（ICL）和“权重目标”（IWL）的预测误差，定义 ICL 偏好分数 ( $S_{ICL}$ )。

3. 主要贡献 (Key Contributions)

理论框架创新：首次系统地将进化生物学中的“环境可预测性”理论（特别是跨时间尺度的信息可靠性）应用于解释 Transformer 的 ICL 与 IWL 竞争机制。
揭示学习动态的驱动因素：证明了学习策略的转换不仅取决于环境的渐近最优性（长期来看哪种策略最好），还取决于获取该策略的成本（哪种策略更容易学）。
量化学习成本：引入序贯描述长度 (Prequential Codelength) 作为衡量学习策略获取成本的指标，成功预测了模型在训练初期的策略选择。
因果验证：通过操纵任务结构（如减少 Omniglot 词汇量），人为改变 IWL 的学习成本，成功逆转了观察到的策略转换方向（从 ICL 优先变为 IWL 优先），验证了成本驱动假说。

4. 实验结果 (Results)

4.1 渐近策略的决定因素

稳定环境 + 不可靠线索 $\rightarrow$ IWL 主导：当环境稳定且 Prompt 信息不可靠时，模型倾向于将任务固化到权重中（类似遗传同化）。
波动环境 + 可靠线索 $\rightarrow$ ICL 主导：当环境变化剧烈但 Prompt 提供准确线索时，模型倾向于利用上下文进行适应（类似表型可塑性）。
特例：在 Omniglot 任务中，即使环境完全稳定，若线索完美可靠，模型仍可能保持 ICL 偏好，暗示此时 IWL 的获取成本过高。

4.2 任务依赖的瞬态模式 (Transience Patterns)

训练过程中观察到了两种相反的策略转换轨迹：

ICL 瞬态 (ICL $\to$ IWL)：在 Omniglot 高稳定性任务中，模型早期依赖 ICL，随着训练深入逐渐转向 IWL。这对应生物学中的“遗传同化”。
IWL 瞬态 (IWL $\to$ ICL)：在正弦回归中等稳定性任务中，模型早期依赖 IWL（拟合全局函数），后期才发展出 ICL 能力。这对应“延迟的 ICL"或类似“顿悟 (Grokking)"的现象。

4.3 成本仲裁机制

假设：模型优先采用获取成本更低（归纳偏差更匹配任务结构）的策略，即使它不是长期最优解。
Omniglot 任务：IWL 需要记忆大量字符映射（高样本复杂度），而 ICL 仅需局部模式匹配（简单电路）。因此，ICL 成本更低，模型先学 ICL。
正弦回归任务：IWL 只需学习单一正弦波近似（简单），而 ICL 需在推理中实现回归算法（复杂电路）。因此，IWL 成本更低，模型先学 IWL。
验证：通过减小 Omniglot 词汇量降低 IWL 成本，成功使模型从“先 ICL"转变为“先 IWL"，证实了学习成本是决定初始策略的关键。

5. 意义与影响 (Significance)

生态视角的训练观：提出了一种基于环境统计结构的“生态”视角来理解模型行为。训练环境的设计（稳定性与线索质量）直接决定了模型是发展出鲁棒的权重知识还是灵活的上下文适应能力。
指导训练方法：该框架为设计新的训练策略提供了原则性指导。例如，若希望模型具备强大的 ICL 能力，可能需要设计具有适度波动性且线索可靠的环境，或者控制 IWL 的获取难度。
连接 AI 与认知科学：将 Transformer 的学习动态与进化生物学、认知科学中的资源理性分析 (Resource Rational Analysis) 联系起来，为理解大模型的“黑盒”行为提供了可解释的理论基础。
未来方向：探讨了“鲍德温效应 (Baldwin Effect)"在 Transformer 中的可能性，即早期的 ICL 是否作为脚手架加速了复杂任务中 IWL 的获取。

总结：该论文通过进化生物学的透镜，揭示了 Transformer 在 ICL 和 IWL 之间的选择并非随机，而是由环境可预测性（决定长期最优解）和学习成本（决定短期学习轨迹）共同驱动的动态平衡过程。这一发现为理解大模型的泛化行为和训练动态提供了深刻的理论洞见。