🤖 machine learning

Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets?

本文表明，将贝叶斯优化应用于权重空间中的低维随机线性嵌入，能够实现对大语言模型高效的无梯度后训练，在实现与现有方法（如 RandOpt）相当或更优性能的同时，所需的候选评估次数减少了五倍。

原作者： Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、超级聪明的机器人大脑，它已经阅读了互联网上几乎所有的内容。这个大脑就是一个“大语言模型”。通常情况下，如果你想教它一个新技巧——比如解数学谜题或玩特定的游戏——你必须使用一种叫做“基于梯度的优化”的方法。这就像是在浓雾中寻找山顶，通过感受脚下的坡度并迈出细小、谨慎的步伐来前进。这虽然可行，但速度慢、成本高，且需要大量的计算能力。

最近，科学家们发现了一种不需要这些沉重攀爬装备就能微调这些大脑的方法。他们发现，如果你只是稍微随机地摇晃一下大脑的设置，其中一些随机的摇晃竟然会让它在特定任务上变得更聪明。这就像摇晃一个乐高盒子；大多数时候，你只会得到一堆乱七八糟的东西，但偶尔，你会意外地拼凑出一个完美的微型宇宙飞船。这个想法被称为“神经丛林”（Neural Thickets）。问题在于，如果只是通过随机摇晃盒子来寻找那个完美的宇宙飞船，就像是在蒙着眼睛找大海里的针。你必须尝试数千次摇晃，测试每一次的结果，并寄希望于运气好。这篇论文提出了一个简单的问题：我们能否更聪明一点，让这种“摇晃”变得更有章法？与其盲目猜测，我们能否使用一个“智能猜测者”来确定下一步该往哪个方向摇晃，从而用更少的尝试找到最好的结果？

智能摇晃者：无需眼罩即可寻得针尖

研究这些模型的团队使用的是名为 Qwen2.5 的模型，他们决定测试一种叫做**贝叶斯优化（Bayesian Optimization）**的方法。为了让你理解他们在做什么，让我们把机器人的大脑设置想象成一张巨大的、多维的地图。那种“随机摇晃”的方法（称为 RandOpt）就像是从远处向这张地图投掷飞镖。你投掷数千枚飞镖，看看哪些击中了“好”的位置，然后保留最好的那些。这虽然有效，但很浪费。

作者提出了一种不同的策略：贝叶斯优化 (BO)。把这想象成有一个神奇的、隐形的向导，他已经看过你投掷的几枚飞镖。在你投掷了几枚飞镖之后，这个向导会构建一张关于好位置“可能”在哪里的一张粗略地图。与其随机投掷飞镖，向导会准确地告诉你下一步该往哪里投，以便学到最多的东西。这就像是在玩“猜热还是猜冷”的游戏，但向导的猜测极其精准，以至于你只需寥寥数步就能找到宝藏，而不是成百上千步。

为了实现这一点，团队并没有观察整个巨大的地图。他们意识到，对机器人大脑的“好”的变化，很可能发生在那个庞大空间中一个非常狭窄、细小的通道里。因此，他们构建了一个只有 64 维的微型地图“切片”来进行搜索。然后，他们利用这个智能向导来探索这个切片。

他们的发现：更聪明，而非更辛苦

研究结果非常令人兴奋，但也带有重要的注意事项。当他们在像 Countdown（数字游戏）、GSM8k（数学应用题）和 MATH500（更难的数学题）这样的推理任务上进行测试时，“智能摇床”（BO）表现出了非凡的能力。

仅使用 200 次尝试（评估），贝叶斯优化方法就达到了与使用了 1,000 次尝试的“随机摇床”（RandOpt）相当甚至更高的性能。这意味着效率提升了五倍！

在使用 15 亿参数模型的 Countdown 任务上，智能摇床得到了 15.05 的分数，而使用了五倍努力的随机摇床仅得到了 14.60。
在 GSM8k 上，智能摇床得分 67.78，超过了随机摇床的 66.13。

这表明，通过使用智能向导来导航搜索空间，你不需要投掷那么多飞镖就能找到一个强大的单一专家模型。你可以得到一个准备好独立上场的“超级机器人”，而不需要通过五十个不同版本的投票来决定答案。

陷阱：“虚假宝藏”问题

然而，论文也警告我们，这个神奇的向导并非完美无缺。这里有一个棘手的现象，叫做“赢家诅咒”。

想象你在果园里寻找最好的苹果。如果你挑选那个在阳光下看起来最闪亮的苹果，那可能只是因为光线好，而不是因为它真的最甜。研究人员发现，当他们过度推动搜索时，“智能摇床”会找到那些在训练题目（选择集）上表现惊人，但在处理新的、未见过的题目时实际表现却变差的模型。

例如，在 MATH500 任务上，智能摇床找到了在练习题上得分极高（超过 63%）的模型，但当测试真正的难题时，它们的表现实际上比基础模型还要差！向导对那些仅仅是靠运气得到的“闪亮苹果”过于自信了。论文指出，一旦达到某个临界点，搜索过程就变成了单纯的死记硬背练习题，而不是学习真正的技能。

总结

这篇论文表明，贝叶斯优化是无需进行昂贵的前后计算，就能为神经网络寻找强大单一专家的有力工具。它证明了，只要在搜索开始出现“过拟合”（即死记硬背练习题）之前停止，你可以用比随机猜测少五倍的精力找到更好的解决方案。

虽然这种方法并不能在所有任务上都创造奇迹（尤其是当“好”的解非常罕见或者练习题具有误导性时），但它展示了一个充满希望的未来。我们不再需要通过数百万次的随机猜测来蛮干，而是可以利用智能的、有引导性的搜索来寻找我们 AI 大脑的最佳版本，在获得顶级性能的同时，节省时间和能源。作者建议，随着预算的增加和解决“幸运光照”问题方法的改进，这种方法有望成为下一代 AI 微调的标准方式。

技术摘要：利用贝叶斯优化寻找神经网络丛林中的强专家模型

问题陈述

无梯度后训练已成为大语言模型（LLMs）一种比基于梯度的算法（如 PPO 和 GRPO）更具成本效益的替代方案。现有的方法，例如 RandOpt（神经丛林/Neural Thickets），依赖于对预训练权重进行随机高斯扰动采样，并在选择集上进行评分，最后通过多数投票集成前 $K$ 个模型。虽然这种方法有效，但也面临两个主要的效率问题：

搜索成本： 评估 $N$ 个候选群体需要进行 $N \times |D_{sel}|$ 次自回归生成。为了获得强大的结果，RandOpt 通常需要庞大的群体规模（例如 $N=5,000$ ），这使得搜索在计算上非常昂贵。
部署成本： 最强的结果依赖于集成 $K$ 个模型（例如 $K=50$ ）。部署单个查询需要生成 $K$ 个不同的输出，且维护 $K$ 种权重配置会消耗大量资源。退回到单个模型（ $K=1$ ）会导致显著的准确率下降（例如在 MATH-500 上下降了 11.2 个百分点）。

核心研究问题是：在固定且适度的评估预算下，能否通过一种结构化的、无梯度的策略，识别出比随机采样更强的单一专家模型，从而降低搜索和部署成本？

方法论

作者提出在随机线性嵌入的权重空间内应用贝叶斯优化（BO）。该方法旨在实现完全无梯度化，利用高斯过程（GP）代理模型来引导搜索。

低维子空间搜索： 该方法并非在全维度 $D$ $D$ 的权重空间中进行各向同性采样，而是构建了一个随机线性嵌入 $A \in \mathbb{R}^{D \times d}$ $A \in R^{D \times d}$ （其中 $d=64$ $d = 64$ ）。候选模型由系数向量 $\alpha \in \mathbb{R}^d$ $α \in R^{d}$ 和尺度 $\sigma \in \mathbb{R}_{>0}$ $σ \in R_{> 0}$ 定义。
- 扰动公式为： $\theta' = \theta_0 + \sigma \cdot \sqrt{D} \cdot \frac{A\alpha}{\|A\alpha\|}$ 。
- 这种归一化确保了扰动范数与标准 RandOpt（ $\sigma\sqrt{D}$ ）一致，从而实现了对扰动尺度的公平比较。
代理引导搜索：
- 利用高斯过程（GP）拟合观测到的奖励（在选择集 $D_{sel}$ 上的准确率）。
- 通过最大化采集函数（例如 logEI）来提出下一个候选点 $(\alpha, \sigma)$ ，以平衡探索与利用。
- 选择规则： 最终模型通过最高观测奖励或最高GP 后验均值进行选择。后者旨在减轻“赢家诅咒”，因为它会惩罚那些可能仅仅是因为在选择集上运气好或存在噪声而获得高分的候选模型。
评估协议： 该方法在 Qwen2.5-Instruct 模型（0.5B, 1.5B, 3B 参数）上针对三个推理基准测试进行了测试：Countdown、GSM8k 和 MATH500。BO 和随机搜索的预算均固定为 200 个候选评估，并与预算为 200 和 1,000 的 RandOpt 进行对比。

关键结果

实验表明，BO 能够以显著更少的评估次数实现具有竞争力的或更优越的性能：

样本效率： 在使用 5 倍更少候选评估次数（200 对比 1,000）的情况下，BO 在大多数设置下能达到或超过 RandOpt-1000 在 $K=1$ $K = 1$ （单专家）时的表现。
- Countdown-0.5B： BO (9.34%) 对比 RandOpt-1000 (6.81%)。
- GSM8k-1.5B： BO (67.78%) 对比 RandOpt-1000 (66.13%)。
- MATH500-1.5B： BO (40.43%) 对比 RandOpt-1000 (39.80%)。
子空间 vs. 代理： 在相同的 64 维子空间内，BO 始终比随机搜索获得更高的选择奖励，这证实了收益是由代理模型的效率驱动，而非单纯由降维本身驱动。
集成性能 ( $K=20$ )： 在匹配预算（200 次评估）下，BO 的 $K=20$ 表现与替代方案相当，但仍落后于 RandOpt-1000，这表明集成质量受益于更广泛的候选池，而集中的搜索可能无法完全捕捉到这一点。
局限性与过拟合：
- MATH500 异常： 在 MATH500 上，BO 获得了最高的选择奖励，但最低的测试准确率。作者将其归因于过拟合：当“邻域”内不存在真正更好的模型时，搜索会拟合选择集（ $D_{sel}$ ）中的噪声，而非任务本身。
- 饱和阈值： 对 GSM8k-1.5B 的 200 个候选者的分析显示，即使验证集和测试集准确率趋于平缓，选择奖励仍在持续上升。选择奖励中最高的 8 个点并未在留出集上带来任何可衡量的提升，这表明存在一个饱和点，即选择目标变得不再提供有效信息。

意义与主张

本文声称，代理引导搜索可以大幅降低无梯度后训练的评估成本，同时产生更强的可部署单专家模型。

效率高于可行性： 本文认为，挑战不在于无梯度方法是否有效，而在于如何高效地使用它们。BO 提供了一种机制，能以比随机采样所需的预算小得多的代价，从权重空间中提取可获得的增益。
去噪效应： 使用 GP 后验均值进行选择提供了一个去噪的真实适应度估计，有助于避免选择那些仅仅是在选择集上表现幸运的候选模型。
研究范围有限： 作者谨慎地指出，其结果取决于所选的特定 64 维切片。他们并不声称该子空间是最优的，只说明 BO 能高效利用它。此外，他们承认该方法并不会创造采样无法达到的增益；它只是更快地找到这些增益。难点在于如何在子空间内定位“好的区域”，因为性能会随不同的随机种子和基底选择而显著变化。

总之，本文确立了贝叶斯优化在应用于权重空间的低维随机嵌入时，是一种可行且高效的策略，用于识别高性能的 LLM 单一专家模型，为相比于目前的集成式无梯度方法，提供了一条更廉价的训练与部署路径。