🤖 machine learning

Manifold Bandits: Bayesian Curriculum Learning over the Latent Geometry of Large Language Models

本文介绍了贝叶斯流形课程（Bayesian Manifold Curriculum, BMC），这是一个具有结构感知能力的框架，它通过将大语言模型强化学习中的问题采样重构为一个流形结构的多臂老虎机问题，利用任务之间的潜在几何关系而非仅仅依赖基于难度的选择，来优化学习生产力、任务多样性与评估效用之间的权衡。

原作者： Darrien McKenzie, Nicklas Hansen, Xiaolong Wang

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Darrien McKenzie, Nicklas Hansen, Xiaolong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位非常聪明但年纪尚小的学生（大型语言模型）如何解决复杂的谜题。你拥有一个庞大的谜题库，范围从“我该如何系鞋带？”到“我该如何建造火箭？”不等。

在过去，研究人员尝试用两种主要策略来教导这位学生：

随机猜测： 就像从帽子里随机抽取谜题一样。这种方法很慢，因为学生可能会因为题目太简单而感到无聊，或者因为题目太难而放弃。
“金发姑娘”策略（寻找适中）： 只挑选那些“刚刚好”的谜题——既不太容易，也不太难。这种方法效果很好，但有一个缺陷：它将每个谜题视为完全独立、互不相关的个体。它忽略了“建造火箭”和“驾驶飞机”之间是相关的。如果学生在其中一个任务中学到了空气动力学，他们应该在另一个任务中也表现得更好。

这篇论文介绍了一种更聪明、更高效的教学方法，称为贝叶斯流形课程（Bayesian Manifold Curriculum, BMC）。它是这样运作的，我们可以使用简单的类比来理解：

1. “心理地图”（潜在任务树）

BMC 不再将每个谜题视为独立的、不相关的项目，而是观察学生的内在脑图。

想象一下，学生拥有一张心理地图，相似的概念在地图上的位置彼此靠近。“数学谜题”在数学街区，“编程谜题”在编程街区，而“科学谜题”则在科学街区。在“数学”街区内，还有更小的街道，比如“代数”和“微积分”。

BMC 构建了一个层次化树状结构（类似于族谱），它是基于学生的脑图来构建的。它不需要人类老师来标注这些分组；它通过观察学生是如何表征问题的，从而推导出这种结构。

类比： 这就像是在组织一个图书馆，不仅是按“小说”和“非虚构类”进行分类，而是创建一个动态地图，展示即使在不同区域，哪些书在“叙事风格”上实际上是相似的。

2. “智能导游”（贝叶斯学习）

一旦构建好了地图，BMC 就会扮演一名导游的角色，决定下一步要给学生展示哪些谜题。它使用了一种叫做贝叶斯学习的方法，这本质上是“从经验中学习并更新信念”。

“惊喜”因素： 如果学生解决了一个原本预期会失败的谜题，导游会感到兴奋。如果他们在一个预期会成功的谜题上失败了，导游会感到好奇。
涟漪效应： 这是最神奇的部分。如果学生在“代数”方面学到了新知识，导游不仅会更新“代数”部分的地图，由于地图知道“代数”与“微积分”是相连的，导游还会同时更新他们对学生在微积分问题上表现如何的预期，即使他们还没有见过微积分题目。
类比： 想象你在教一个人开车。如果他学会了侧方位停车，你不会只认为“他擅长停车”。你还会更新你的信念，认为他在“狭窄空间内操控”这一通用技能上也取得了进步，这有助于你决定下一步教他什么。

3. 三种平衡术

论文指出，一个好的老师需要平衡三件事，作者称之为生产力、多样性和效用。

生产力（“学习信号”）： 我们挑选的谜题是否真的教会了学生新知识？（即：题目要有足够的难度来引起兴趣，但又不能难到无法完成）。
多样性（“覆盖面”）： 我们是只教学生一种类型的谜题（比如只教数学），还是确保他们能看到各种各样的题目（数学、编程、科学）？如果你只教数学，学生可能会在科学领域失利。
效用（“现实世界测试”）： 我们教授的技能是否是学生在最终考试中真正需要的？有时候，那些能提供最佳“学习信号”（最具有生产力）的谜题，并不一定是那些对最终考试帮助最大的题目。

4. 结果：更聪明的课程

研究人员在数学数据集上测试了该方法。他们发现：

旧方法（例如仅仅挑选“中等难度”的题目）经常陷入循环，忽略了那些罕见但重要的题目类型。
BMC 成功找到了那个“甜点位（Sweet Spot）”。它在保持学生受到挑战（生产力）的同时，确保了他们不会错过各种稀有类型的题目（多样性）。
“效用”转折： 他们甚至开发了一个名为 BMC-T 的版本，可以被告知：“嘿，最后的考试主要是关于中国数学题。”系统随后会微妙地调整其教学重点，以更好地覆盖这些特定领域，同时不会失去其他类型题目带来的益处。

核心结论

这篇论文表明，要有效地教导 AI，你不能只看一个问题的难度。你必须理解 AI 是如何看待问题之间的关系的。通过构建一张关于这些关系的地图，并使用一个智能的、不断更新的导游来选择下一课，你可以更快、更广泛地教导 AI，并让它更好地应对将要面临的特定测试。

这不仅仅是一个只会递交随机练习册的老师，而是一个理解你的大脑、了解你的技能是如何关联、并能设计出兼顾挑战、多样性和现实相关性的定制化课程的老师。

技术摘要：流形多臂老虎机——基于大语言模型潜在几何结构的贝叶斯课程学习

1. 问题陈述

强化学习（RL）已成为增强大语言模型（LLM）推理能力的主要方法，特别是通过像 GRPO、DAPO 和 GSPO 这样的组相对优化算法。这些方法依赖于一组 Rollout 中的**奖励方差（reward variance）**来生成策略梯度。如果模型对某个提示词（prompt）始终解决或始终失败，则奖励方差为零，从而导致没有学习信号并浪费计算资源。

现有的自适应课程学习方法试图解决这一问题，通过优先选择中间难度（即可能产生非零方差）的提示词。然而，这些方法通常将问题选择建模为一个独立的多臂老虎机问题（multi-armed bandit problem）。这种建模方式忽略了 LLM 训练中的两个关键动态特性：

内生非平稳性（Endogenous Non-Stationarity）： 提示词上的奖励分布演变不仅受外部因素影响，也是模型自身更新和采样决策的直接结果。
结构化异质性（Structured Heterogeneity）： 问题并非相互独立；具有相似推理模式和潜在特征的提示词之间存在关联。忽视这些关系会导致探索效率低下。

此外，当前策略往往仅关注生产力（productivity）（最大化即时学习信号），而忽略了多样性（diversity）（任务空间的覆盖范围）和效用（utility）（与下游评估基准的相关性）。这可能导致覆盖范围狭窄且泛化能力不足。

2. 方法论

作者提出了贝叶斯流形课程（Bayesian Manifold Curriculum, BMC）框架，该框架将问题采样重新定义为具有内生非平稳性的流形结构化老虎机问题。该方法由三个核心组件组成：

A. 潜在任务树（Latent Task Trees）

BMC 不将提示词视为独立的臂，而是直接从策略模型的内部表示中构建层次化的潜在任务树。

构建： 该树通过使用策略模型中间层的嵌入（embeddings）进行递归构建。在每个节点处，通过 PCA 进行降维，通过 UMAP 进行投影，并使用 HDBSCAN 进行聚类。
停止准则： 当一个区域通过“图表测试（Chart Test）”时停止递归，该测试验证局部流形是否近似平滑且连贯（具有低内在维度和连通性）。
目的： 该层次结构近似于模型的潜在任务流形，将提示词组织成多尺度区域，反映模型对任务关系的内部感知，而非依赖外部标注或固定分类法。

B. 贝叶斯流形课程 (BMC)

BMC 使用三步循环在潜在任务树上执行结构化决策：

自顶向下选择（层次化汤普森采样）： 为了形成训练批次，智能体从根节点向叶节点遍历树。在每个节点，智能体从高斯置信分布 ( $\mathcal{N}(\mu, \sigma^2)$ ) 中为子节点采样奖励估计值，并选择样本值最高的子节点。这平衡了不同抽象层级的探索（多样性）与利用（生产力）。
非平稳置信度建模（贝叶斯滤波）： 叶节点（单个提示词）维护关于其预期学习信号（奖励方差）的置信度。这些置信度使用受正态-逆伽马（Normal–Inverse-Gamma）模型启发的轻量级贝叶斯滤波器进行在线更新。更新机制结合了惊奇度（surprise）（标准化预测误差）和陈旧度（staleness）（距离上次采样的时长），以适应模型不断变化的能力。
自底向上置信度传播（经验贝叶斯）： 更新后，信息向上传播。父节点置信度被估计为对其子节点置信度的精度加权平均值，并根据子树异质性进行调整。这使得来自一个提示词的信息能够为同一区域内相关的其他提示词提供信息，从而利用潜在结构。

C. 效用感知扩展 (BMC-T)

为了解决训练生产力与下游评估性能之间的失配问题，作者引入了 BMC-T。该变体通过将采样偏向于在潜在空间中与目标分布（例如特定的评估基准）有重叠的训练分布区域。它将潜在任务树视为一种近似干预模型，假设在临近任务上的训练具有更强的迁移效应。

3. 核心贡献

潜在任务树： 一种直接从模型嵌入中近似任务流形结构的层次化方法，提供了无需外部标签的多尺度提示词关系表示。
贝叶斯流形课程 (BMC)： 一个在这些树上进行贝叶斯决策的结构感知自适应课程框架，能够在实现高效探索的同时，应对由模型引起的内生非平稳性。
生产力–多样性–效用权衡： 一项诊断性分析，证明了自适应课程不能仅通过下游性能来表征。作者区分了三个轴线：
- 生产力： 学习信号（奖励方差）。
- 多样性： 任务流形的覆盖范围。
- 效用： 与特定评估基准的相关性。
  他们表明这些轴线并非互换的；优化其中一个并不保证优化其他指标。

4. 实验结果

作者在数学推理任务上评估了 BMC，使用了 DAPO-Math-17K 数据集和 Qwen3 模型（4B 和 8B）以及 GSPO 和 GRPO。

训练效率（生产力）： BMC 及其“仅难度（Difficulty Only）”消融实验达到了与动态采样（Dynamic Sampling）（通过重新生成批次以确保方差）相当的学习速度，但其墙钟时间（wall-clock time）显著降低，接近**均匀采样（Uniform Sampling）**的效率。
覆盖范围与信息共享（多样性）： BMC 成功地在仅树（Tree Only）（强调覆盖范围）的多样性与**仅难度（Difficulty Only）**的生产力之间取得了平衡。指标显示，BMC 提供了更好的欠代表区域覆盖（稀有度加权暴露），并且潜在任务树解释了显著的学习信号变化（结构增益），证实了学习信号与潜在结构相关。
评估性能（效用）：
- 动态采样在表现较弱的基准测试（如中文数学、分布外科学）上表现较差，原因是其存在对稀有提示词类型的隐式过滤。
- BMC 在分布外（OOD）基准测试 GPQA-Diamond 上取得了强劲的表现，这表明联合优化生产力和多样性能促进那些标准分布内数学评估无法捕捉的能力。
- BMC-T 证明了效用是可以引导的：针对特定基准（如 AIME2024）进行定向，可以在保持整体生产力的同时提高在这些特定基准上的性能，证实了不同的问题类型承载着不同的评估相关性。

5. 重要性与主张

本文认为，仅靠难度不足以带来强大的下游性能。最大化学习信号（生产力）并不保证更好的结果，如果模型没有接触到驱动其向目标任务泛化的类型的问题。

作者主张，问题选择应被构架为基于策略潜在几何结构的流形结构化老虎机问题。通过从策略自身的学习表示中推导课程结构（遵循“苦涩教训”：即利用数据和计算来学习结构，而非强加人类定义的定义），BMC 提供了一种方法来：

驾驭生产力、多样性和效用之间的权衡。
处理由采样决策塑造未来奖励景观的内生非平稳性。
在无需手工定义分类法或外部嵌入模型的情况下，实现跨领域、跨语言和跨模态的泛化。

这项工作强调了**“评估死区（evaluation deadzone）”**现象：模型可能在特定问题集上进行高效训练，但如果这些问题与评估分布不一致，其下游性能可能不会提升。BMC-T 提供了一种机制来解决这一问题，通过将训练精力转向目标相关的潜在流形区域。