🤖 machine learning

Beyond Static Bias: Adaptive Multi-Fidelity Bandits with Improving Proxies

本文针对多保真度多臂老虎机问题，提出了一种基于阈值的自适应延续伴随（TACC）算法，该算法利用大语言模型等不断优化的代理源，动态决定何时继续低成本采样或升级至高保真度评估，从而实现实例相关的 regret 上界，以有界的低保真度延续替代对数级的高保真度确认。

原作者： Muyun Lu, Haoyang Hong, Huazheng Wang, Ying Lin

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muyun Lu, Haoyang Hong, Huazheng Wang, Ying Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位招聘经理，正试图从数百名候选人中找出唯一最佳的那一位。你有两种评估方式：

“快速扫描”（低保真度）：你查看他们的简历。这种方法廉价且迅速，但可能会产生误导。也许简历看起来很棒，但此人实际上并不胜任这份工作。然而，如果你仔细查看许多简历，你开始能更好地判断谁真正优秀。你使用这种方法越多，你的“快速扫描”就越聪明。
“全面面试”（高保真度）：你邀请他们进行深入的、长达一小时的面试。这既昂贵又耗时，但非常准确。

问题所在：
过去，试图解决这一问题的计算机算法假设“快速扫描”总是存在一个固定的缺陷。它们认为：“哦，无论发生什么，简历的准确度总是比面试低 20%。”因此，一旦简历在统计上看起来“足够好”，算法就会立即停止阅读简历，转而开始支付昂贵的面试费用。

新观点：
这篇论文指出，在现代社会（例如涉及人工智能或高级模拟时），“快速扫描”并非静止不变的。你使用它得越多，它就越会改进。如果你花一点点额外的时间来校准你的简历阅读流程，它就会变得更好。

作者问道：是否值得在廉价的简历扫描上多花几分钟，使其准确度足以完全跳过昂贵的面试？

解决方案：“智能暂停”（TACC）

作者创建了一种名为TACC（基于阈值的自适应延续伴侣）的算法。你可以将其想象为一位聪明的招聘经理，知道在花钱之前何时该停下来思考。

以下是 TACC 的工作原理，使用一个简单的类比：

初始扫描：你查看一份简历。它有点模糊。
阈值：你有一条规则：“如果简历仍然太模糊，就继续扫描。”
“静态”错误：传统算法会说：“好吧，简历现在足够清晰了（它通过了阈值）。停止扫描，立即支付面试费用。”
TACC 的“智能暂停”：TACC 会问：“等等。如果我只花再多两秒钟阅读这份简历，它是否会变得足够清晰，以至于我根本不需要支付面试费用？”
- 如果答案是是（“快速扫描”即将变得非常准确），TACC 就会利用那两秒钟廉价的额外时间。
- 如果答案是否（简历仍然太混乱），TACC 就会停止浪费时间，转而支付昂贵的面试费用。

为何这很重要

这篇论文从数学上证明了这种“智能暂停”能节省大量资金。

对于“尚可”的候选人：过去的算法会支付昂贵的面试费用，仅仅为了确认他们并非最佳人选。现在，TACC 通常只需通过几次额外的廉价扫描就能做出判断，从而节省了面试成本。
对于“糟糕”的候选人：它仍然能迅速意识到他们很差劲并继续前进。
对于“最佳”的候选人：它最终会确认他们，但不会在中层候选人的不必要面试上浪费资金。

现实世界测试：AI 法官

为了证明这行之有效，作者不仅使用了数学，还通过人工智能进行了测试。

任务：他们必须找出回答逻辑问题的最佳 AI“策略”（一组指令）。
廉价扫描：他们使用一个“弱”AI 法官来评分答案。这位法官速度很快，但经常犯错。然而，随着他们向其输入更多数据，它在评分方面变得越来越擅长。
昂贵面试：他们使用一个“强”AI 法官（或类人验证器）来获得完美的评分。这非常昂贵。

结果：
与旧方法相比，TACC 算法节省了显著的资金（计算成本）。它成功地认识到，有时让“弱”AI 法官多做一点工作以使其步入正轨，比立即支付“强”AI 法官来工作更便宜。

总结

这篇论文介绍了一种更聪明的决策方式，适用于你拥有一个廉价但不完美、且随着实践而改进的工具，以及一个昂贵但完美的工具的情况。新方法不再是在廉价工具看起来“还行”的那一刻就立即切换到昂贵工具，而是会再等待极短的时间，看看廉价工具是否能独自完成任务。如果它可以，你就能节省一大笔财富。

技术摘要：超越静态偏差：具有改进代理的自适应多保真度老虎机

问题定义

本工作针对随机多臂老虎机（MAB）问题的一个特定扩展，即多保真度多臂老虎机（MF-MAB）。在标准的 MF-MAB 设定中，臂（arms）可以使用多个反馈源（保真度）进行评估，这些源在成本与准确性之间进行权衡。传统框架假设低保真度（廉价）源与高保真度（昂贵）源之间存在静态偏差；无论查询低保真度源的次数多少，这种差异都是固定的。

然而，涉及基于学习的模拟器和大型语言模型（LLM）作为评估器的现代应用表现出不同的动态：低保真度代理源可以通过额外的校准或重复使用而改进。本文研究了一个受预算约束的 MF-MAB 设定，其中：

存在 $K$ 个臂，每个臂具有平稳的高保真度目标均值 $\mu^{(H)}_k$ 。
低保真度源提供观测值 $Y^{(L)}_{k,\tau}$ ，该观测值根据对该特定臂进行的查询次数 $\tau$ 而演变。
低保真度源初始时与高保真度目标存在不匹配，但随着该源被更频繁地查询（例如通过校准），这种不匹配会减小。
目标是最小化成本加权的伪遗憾，定义为选择次优臂所产生的累积成本，而不仅仅是拉动次数。

核心挑战在于确定何时停止查询正在改进的低保真度源并升级至昂贵的高保真度源。静态阈值规则可能会过早升级，从而错失低保真度源通过持续廉价采样变得足够准确的机会。

方法论

建模改进的代理

作者引入了一个选择平均不匹配界（selected-average mismatch bound）来捕捉不断演变的差异。他们不再假设固定的偏差 $|\mu^{(L)}_k - \mu^{(H)}_k| \le \zeta$ ，而是假设一个演变的证书 $U_k(n)$ ，使得累积不匹配有界：
$\sum_{\tau=1}^n |\mu^{(L)}_k(\tau) - \mu^{(H)}_k| \le U_k(n)$
这导出了一个选择平均不匹配界 $B_k(n) = \sup_{s \ge n} U_k(s)/s$ ，它界定了经验低保真度均值与真实高保真度目标之间的差异。随着 $n$ 的增加， $B_k(n)$ 减小，反映了代理可靠性的提升。

TACC 算法

本文提出了基于阈值的自适应延续伴侣（TACC）算法。TACC 基于置信度模板运行，但为低保真度源引入了新颖的有界延续规则。

置信界：TACC 利用两种保真度构建高保真度目标 $\mu^{(H)}_k$ $μ_{k}^{(H)}$ 的上置信界（UCB）。
- 高保真度 UCB：标准统计区间。
- 低保真度 UCB：标准统计区间加上不匹配修正 $B_k(n)$ 。
臂选择：算法选择具有最高乐观分数的臂，该分数定义为低保真度和高保真度 UCB 中的最小值。
保真度选择（核心创新）：
- 阈值前：如果低保真度的统计不确定性（半径）高于阈值 $\gamma$ ，算法继续采样低保真度。
- 阈值后：一旦统计半径低于 $\gamma$ ，静态规则会立即升级至高保真度。然而，TACC 会检查有界延续是否具有成本效益。
- 延续规则：算法计算如果进行 $s$ 次额外的低保真度查询，不匹配修正 $V_{k,t}(s)$ 的预期减少量。如果不匹配的减少足以在不进行高保真度确认的情况下潜在地证明该臂的次优性，且这些额外查询的成本是有界的（具体而言， $S_0 \lambda^{(L)} \le \lambda^{(H)}$ ），TACC 将继续采样低保真度。否则，它将升级至高保真度。

主要贡献

问题形式化：本文形式化了具有改进代理源的 MF-MAB 设定，超越了以往文献中普遍存在的静态偏差假设。它引入了选择平均不匹配界来建模差异的动态减少。
算法设计：提出了 TACC 作为一种乐观算法，它将标准的臂选择与有界阈值后延续规则相结合。该规则明确决定低保真度源的“改进”是否足以证明延迟昂贵的高保真度查询是合理的。
理论分析：作者推导了实例相关的遗憾界。分析将次优臂分为三类：
- 简单臂（ $A_\gamma$ ）：在阈值前由低保真度认证。
- 中间臂（ $C_\gamma$ ）：在静态阈值处未被认证，但在有界低保真度延续后变得可认证。
- 困难臂（ $H_\gamma$ ）：需要高保真度确认。
  该界表明，对于检测到的中间臂，TACC 用有界低保真度延续成本替代了对数级的高保真度确认成本。
实证验证：在合成老虎机和受控的LLM 作为裁判（LLM-as-a-judge）策略评估任务上的实验表明，与静态多保真度规则（MF-UCB）和仅高保真度基线（UCB）相比，TACC 降低了成本加权遗憾。

结果

合成实验

在包含 200 和 500 个臂的合成设定中，TACC 始终实现了比 UCB、MF-UCB 和静态双保真度规则更低的成本加权遗憾。在高保真度成本较高（例如 $\lambda^{(H)} = 50$ ）的场景中，这种优势最为显著，其中通过有界延续避免不必要的高保真度确认带来了显著的节省。

LLM 作为裁判实验

作者在策略评估管道中评估了 TACC，其中臂是自然语言推理（NLI）的提示策略。

设置：低保真度是一个“弱裁判”（较小的 LLM），其随着校准而改进；高保真度是一个“验证器”（真实情况）。
发现：TACC 优于所有基线，包括使用相同不匹配界但缺乏延续逻辑的直接消融（DNC）。与最佳静态基线相比，TACC 将最终成本加权遗憾降低了约 10-20%，证实了有界延续机制有效地利用了弱裁判的改进特性，以避免过早升级至昂贵的验证器。

意义与主张

本文主张，这项工作的主要意义在于认识到现代 AI 系统中的代理源并非静态的。通过将低保真度源视为一个改进的实体，作者表明最优策略不仅仅是基于当前不确定性切换保真度，而且如果预期廉价源将改进到足以解决歧义的程度，则应自适应地继续采样该源。

作者谦逊地将他们的贡献框架化为一个规范的双保真度模型。他们承认局限性，指出当前工作假设已知的不匹配界，并专注于臂局部的演变（即改进仅发生在查询特定臂时），而不是影响所有臂的同时全局模型微调。这项工作是在涉及 LLM 和基于学习的模拟器的环境中，迈向更复杂、动态的保真度分配策略的基础性一步。