🤖 machine learning

Cost-Aware Multi-Objective Bandits: Theory and Application to Budgeted LLM Configuration Evaluation

本文通过将任务建模为一个成本感知型多目标多臂老虎机问题，提出了具有预算遗憾（budgeted regret）和误差概率理论保证的新颖在线选择与帕累托识别算法，并通过实验验证了其有效性，从而解决了在有限预算下评估大语言模型配置的挑战。

原作者： Bo Xue, Zhi Hong, Jiayi Li, Yuanyu Wan, Ji Cheng, Shuang Qiu

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Xue, Zhi Hong, Jiayi Li, Yuanyu Wan, Ji Cheng, Shuang Qiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名飞船船长，但你的燃料箱非常小，而且你的地图上充满了迷雾。你需要找到前往遥远星球的最佳路线，但你不知道哪条路径最快、哪条最安全、哪条最省燃料。在人工智能的世界里，这正是工程师们在尝试调优“大语言模型”（LLMs）时会遇到的情况——这些模型是能写故事、解数学题并与我们聊天的超级智能计算机大脑。这些模型拥有数千个不同的设置，比如大脑的大小、思考的方式以及说话的速度。测试每一个设置就像试图飞向银河系中的每一颗恒星一样；这太费钱，太耗时，而且会消耗掉过多的计算机资源。

为了解决这个问题，科学家们使用了一个聪明的技巧，叫做“多臂老虎机问题”（bandit problem）。把它想象成赌场里一排老虎机。你不知道哪台机器的赔率最高，所以你必须拉动一些摇杆来猜测。但这里的转折在于：有些机器玩一次只需一分钱，而有些则要花一美元。如果你只是为了追求大奖而一直玩那些昂贵的机器，你还没找到最好的那台，就已经破产了。你还必须权衡多个目标：也许你想要一台既赔率最高又速度最快的机器。这篇论文探讨的正是一个这样的谜题：当每一次测试成本都不同时，你该如何找到最佳的 AI 设置，并且要同时平衡速度、准确性和成本？

这篇论文的作者 Bo Xue 及其团队决定将寻找完美 AI 设置的过程，视为一场有着严格预算的高风险“猜最佳路线”游戏。他们意识到，以往的方法遗漏了两个重要的线索：它们通常忽略了有些测试的成本远高于其他测试，而且它们通常只寻找一个“最佳”答案，而不是寻找一组具有不同优势且互为权衡的“足够好”的答案。因此，他们构建了两种更聪明地玩这场预算游戏的策略。

首先，他们创建了一种用于即时决策的策略，称为 CoHV-UCB。想象一下，你正带着有限的零花钱在森林中穿行。每当你停下来品尝一颗浆果时，它都会花费你不同金额的现金。有些浆果很便宜但味道一般；有些则很贵但极其美味。这个算法就像一个超级聪明的觅食者。它不仅仅看浆果有多好吃，还会计算一个“性价比”得分。它会问：“如果我把最后几枚硬币花在这颗昂贵的浆果上，它能否提供比便宜的那颗更好的‘单价美味度’？”论文从数学上证明了这种方法是非常高效的。它表明，“遗憾值”（regret）——即因为没有每次都选最完美的浆果而错失的美好滋味——增长得非常缓慢，仅随着你预算的对数增长。用通俗的话说，即使你有一个巨大的预算，这种方法也能确保你不会把钱浪费在错误的浆果上，并且它能精确到小数点后最后一位。

其次，他们构建了一种寻找“帕累托集”（Pareto Set）的策略，这是一种高级说法，意指“所有最佳权衡方案的集合”。想象一下你在买车。你不可能拥有一辆既最快、最安全又最便宜的车。你可能必须在快速且昂贵的跑车和安全且缓慢的家庭面包车之间做出选择。所谓的“帕雷托集”，就是指那些你无法在不增加成本的情况下获得更快速度，或在不降低速度的情况下获得更高安全性时，所列出的汽车清单。作者的新算法 CoPSI 就像一个快速排除劣质车的侦探。它观察目前为止测试过的车辆，识别出哪些车明显不如其他车辆，并停止测试它们，从而将预算留给那些仍在竞争中的棘手车辆。论文显示，这种方法在寻找正确的权衡列表方面表现得极其出色。如果你给予足够的预算，它出错的概率会下降得极快，以至于几乎不可能出错。这就像如果你有足够的钱去测试每一辆车，你几乎肯定能找到那份完美的选项清单。

团队不仅在纸面上提出了这些想法，还在现实世界中使用真正的“大语言模型”对其进行了测试。他们设计了实验，要求在不同的模型、提示词（prompts）和设置之间进行选择，并使用了来自数学和推理测试的真实数据。结果显而易见：他们的新方法击败了旧有的方式。当使用“性价比”策略时，他们在找到最佳 AI 设置的同时，节省了大量的资金（Token）。当使用“权衡查找器”时，相比于随机测试或忽略成本，他们能更好地识别出一组最佳选项。

简而言之，这篇论文为我们玩这场 AI 调优游戏提供了新的规则手册。它告诉我们，如果我们想在不破费的情况下找到最佳 AI 设置，我们就不能再把每一次测试都当作成本相同来对待。我们需要聪明地规划预算，平衡测试成本与我们想要实现的多个目标。作者通过研究表明，通过这样做，我们可以让 AI 开发变得更快、更便宜、更有效，确保我们不会在那些没有回报的实验上浪费宝贵的资源。

技术摘要：面向 LLM 配置评估的成本感知多目标多臂老虎机

1. 问题形式化

本文解决了在有限预算下评估大语言模型（LLM）配置的挑战。在实际场景中，选择最优配置（例如：基座模型、提示词模板、解码参数）涉及平衡多个相互竞争的目标——如任务准确率、延迟和鲁棒性——同时会产生不同的评估成本。这些成本源于 Token 消耗、API 费用或人工标注成本，且不同配置之间的成本差异显著。

作者将这一挑战形式化为一个具有有限评估预算 $B$ 的成本感知多目标老虎机问题。该问题由两个互补的学习目标定义：

在线配置选择（Online Configuration Selection）： 通过自适应地选择配置，以最大化单位成本的累积效用，从而在随时间推移的过程中最小化遗憾（Regret）。
帕累托配置识别（Pareto Configuration Identification）： 在固定预算内识别出非支配（帕累托最优）的配置集合。

该框架将每个配置建模为一个“臂”（arm），它会产生一个随机的向量值奖励 $\mathbf{r}_{i,t} \in [0,1]^D$ ，并产生一个与配置相关的成本 $c_{i,t}$ 。与以往的工作不同，该形式化明确考虑了多目标性能与评估成本异质性之间的权衡。

2. 方法论

论文提出了两种针对不同学习目标的特定算法：

A. CoHV-UCB：成本感知超体积 UCB（在线选择）

针对在线选择问题，作者提出了基于“面对不确定性时的乐观主义”（optimism-in-the-face-of-uncertainty）原则的 CoHV-UCB 算法。

机制： 算法利用置信区间为每个配置构建一个乐观奖励向量 $\mathbf{U}_{i,t}$ 。随后，它计算一个单位成本超体积指数：
$I_{i,t} = \frac{HV(\mathbf{U}_{i,t})}{\underline{c}_{i,t}}$
其中 $HV(\cdot)$ 是超体积指标（用于衡量多目标质量）， $\underline{c}_{i,t}$ 是预期评估成本的置信下界。
成本处理： 为了防止指数因低估成本而被人为抬高，算法对成本分母使用截断置信下界，确保其远离零。
选择： 在每一轮中，选择具有最高指数的配置，直到预算耗尽。

B. CoPSI：成本感知帕累托集识别（固定预算）

针对固定预算识别问题，作者提出了 CoPSI，这是一种基于配置成本进行样本分配的连续拒绝（successive-rejects）算法。

机制： 算法分阶段运行。在每个阶段，它维护一个活跃配置集，并计算一个采样目标 $n_r$ ，该目标与活跃集总成本的倒数成正比。
基于间隙的消除（Gap-Based Elimination）： 它计算活跃配置的经验帕累托间隙（ $\hat{\gamma}_{i,r}$ ）。这些间隙衡量了一个配置是被支配还是属于帕累托最优的经验证据。
策略： 算法识别出具有最大经验分类间隙的配置，并将其从活跃集中移除（接受其为帕累托最优或拒绝其为被支配项）。此过程持续进行，直到仅剩一个配置，该配置将被包含在最终输出中。
成本感知： 每个阶段的采样目标根据剩余活跃配置的总成本进行显式调整，以确保预算得到高效利用。

3. 理论贡献

本文为两种算法建立了严谨的理论保证：

CoHV-UCB 的遗憾界限： 作者证明了超体积效率遗憾（hypervolume-efficiency regret）受限于：
$O\left(\sum_{i \neq i^*} \frac{\log B}{\Delta_i}\right)$
其中 $B$ 是预算， $i^*$ 是就超体积效率而言的最优配置， $\Delta_i$ 是效率间隙。该界限保留了经典单目标预算老虎机中存在的对预算的对数依赖性。
CoPSI 的错误概率： 对于固定预算识别，识别错误帕累托集的概率受限于：
$O\left(\exp\left(-\frac{B}{H_{\mu,c}}\right)\right)$
其中 $H_{\mu,c}$ 是取决于配置成本和帕累托分类间隙的成本感知复杂度度量。该结果表明错误概率随预算呈指数级衰减，并且当所有成本相同时，可以恢复标准的帕累托集识别保证。

4. 实验结果

作者在 GSM8K 和 PIQA 数据集上通过 LLM 配置任务评估了其方法。配置涉及各种模型、温度和提示策略，目标包括准确率和归一化反向延迟。

在线选择： CoHV-UCB 显著优于基准方法（包括成本不敏感的 HV-UCB 和单目标准确率-成本-UCB）。在 PIQA 数据集上，与均匀分配相比，CoHV-UCB 将超体积效率遗憾降低了 83.2%。结果强调，当追求原始性能最高的配置与追求效率最高的配置不同时，考虑成本离散性至关重要。
帕累托识别： 与均匀分配和成本不敏感的连续拒绝算法（PSI-SR）相比，CoPSI 在识别帕累托集方面表现出卓越性能。在 GSM8K 上，在最大预算下，CoPSI 相比均匀分配降低了 84.6% 的识别错误概率。实验证实，成本感知采样允许算法将资源集中在帕累托边界附近的模糊配置上。

5. 重要性与主张

本文声称是首个关于成本感知多目标老虎机的研究。其主要意义在于弥合了理论老虎机框架与 LLM 评估实际约束之间的鸿沟，在这些场景中：

成本是异质的： 评估成本根据模型规模和提示策略的不同而有显著差异。
目标是多维的： 从业者必须同时平衡准确率、延迟和效率。
预算是有限的： 穷尽式评估在计算和财务上都是难以承受的。

作者断言，其框架能够实现高效的在线决策和准确的成本感知帕累托识别。通过对性能和成本进行联合优化，所提出的方法使从业者能够从有限的评估预算中提取更多价值，避免了忽视成本变化或仅关注单一目标的策略陷阱。这项工作为自适应 LLM 评估提供了原则性的基础，实现了从静态基准测试向资源高效型多标准优化的跨越。