🤖 machine learning

LILO: Bayesian Optimization with Natural Language Feedback

本文介绍了 LILO，这是一个贝叶斯优化框架，它利用大语言模型将自由形式的自然语言反馈转化为结构化偏好信号，从而在优化复杂、主观目标时，相较于传统方法提升了样本效率和灵活性。

原作者： Katarzyna Kobalczyk, Zhiyuan Jerry Lin, Benjamin Letham, Zhuokai Zhao, Maximilian Balandat, Eytan Bakshy

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Katarzyna Kobalczyk, Zhiyuan Jerry Lin, Benjamin Letham, Zhuokai Zhao, Maximilian Balandat, Eytan Bakshy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试为一道新菜寻找完美的食谱，但你无法亲自品尝。你必须依赖一位厨师（即决策者）来告诉你这道菜是否美味。

在传统的做法（传统优化）中，你必须向厨师提出非常具体且枯燥的问题，例如：“在 1 到 10 的评分中，你有多喜欢盐味？”或者“这道菜比那道菜好吗？”这种方式效率低下，而且厨师可能会因为要回答如此多琐碎的问题而感到厌倦。

LILO（语言闭环优化）是一种解决此问题的新方法。它在你和厨师之间引入了一位翻译官（一个 AI 语言模型）。

以下是其工作原理，使用一个简单的类比：

1. 问题：厨师说“人话”，计算机说“数学”

通常，计算机擅长数学，但不擅长理解人类的细微差别。如果厨师说：“我喜欢这个味道，但有点太辣了，而且口感很奇怪”，标准计算机可能不知道如何将这句话转化为一个数字来改进食谱。

2. 解决方案：翻译官（大语言模型）

LILO 使用大语言模型（LLM）作为翻译官。

你（厨师） 自然地表达：“我更喜欢第二个选项，因为它更快且更准确，但不要让它占用太多内存。”
翻译官（LLM） 倾听你自由流动的思绪，并将其转化为结构化的偏好列表，就像一张记分卡：“在速度方面，选项 A 优于选项 B。在内存方面，选项 B 更优。”

3. 引擎：GPS（贝叶斯优化）

一旦翻译官将你的话语转化为记分卡，一个名为贝叶斯优化的强大数学引擎就会接手。将这个引擎想象成一个智能 GPS。

它不会随机猜测；它利用记分卡构建一张“什么味道好”的地图。
它知道自己在哪些地方不确定（地图上尚未探索的区域），以及“最佳味道”可能藏在哪里。
它利用这张地图来决定接下来尝试哪道新食谱，以获取最多的学习信息。

为什么这比直接让 AI 烹饪更好？

有些人曾尝试让 AI 厨师全程独立烹饪，而不使用 GPS。但 AI 厨师就像一个仅根据书本知识进行猜测的学生；他们没有可靠的方法来判断自己对猜测的确信程度。他们可能会反复尝试同一个糟糕的想法。

LILO 仅将 AI 厨师保留在翻译官的角色上。它不让 AI 做出最终决定。相反，它让 AI 翻译你的话语，然后由GPS（贝叶斯优化） 利用这些翻译结果进行高效导航。这意味着你能用更少的尝试次数，更快地找到最佳解决方案。

“秘密配方”特性

丰富的反馈：你不必像个机器人。你可以说：“我比关注大小更关注速度，但仅限于一定程度。”翻译官比简单的"1 到 10"评分更能理解这些复杂的权衡。
预热启动：如果你拥有先验知识（例如：“根据经验，我知道多加盐通常会有帮助”），你可以告诉翻译官。系统会利用这一点在正确的区域开始搜索，从而节省时间。
处理杂乱数据：即使“菜肴”不仅仅是数字，该系统也能运作。它可以优化产生文本（如总结新闻文章）或图像的结果。翻译官可以阅读文本或查看图像，并根据你的自然语言反馈判断哪一个更好。

核心结论

该论文表明，通过让人类自然地表达，并利用 AI 将这些话语转化为数学语言供智能导航系统使用，我们可以比以前更快、更省力地解决复杂问题。这就像拥有一位翻译官，能将你的随意对话转化为给超级智能探险家的精确指令集。

技术摘要：LILO：基于自然语言反馈的贝叶斯优化

1. 问题定义

本文解决了优化高成本评估黑盒函数的挑战，其中真实目标并非可直接测量的标量，而是决策者（DM）复杂且主观的偏好。在许多现实场景中，将结果 $y$ 映射为满意度评分的效用函数 $g(y)$ 是未知的，且难以用闭式表达。

传统的基于偏好的贝叶斯优化（PBO）方法依赖于结构化反馈，如成对比较或标量评分。然而，这些格式往往具有局限性，无法捕捉决策者用自然语言自然表达的高层目标、权衡关系和定性约束。相反，将大语言模型（LLM）直接用作端到端优化器往往缺乏校准的不确定性以及原则性的探索 - 利用权衡，导致样本效率低下。

目标是解决以下复合优化问题：
$x^* := \arg \max_{x \in X} g(f(x))$
其中 $f: X \to Y$ 是黑盒系统， $g: Y \to \mathbb{R}$ 是潜在效用函数，利用来自决策者的自由形式自然语言反馈来引导搜索。

2. 方法论：LILO 框架

作者提出了语言循环优化（LILO），这是一个混合框架，将 LLM 的表达能力与基于高斯过程（GP）的贝叶斯优化的可靠性相结合。LILO 将 LLM 定位为反馈解释的辅助代理，而非优化器本身。

核心工作流

优化过程分为 $T$ 个连续试验，每个试验包含三个阶段：

候选生成与实验：
- 选择一批候选输入 $\{x_i\}$ 。
- 对于第一次试验（ $n=1$ ），候选点要么均匀采样，要么在提供先验知识的情况下通过 LLM 提示生成。
- 对于后续试验，基于当前 GP 代理模型 $M_{n-1}$ ，使用批量采集函数（例如 Log Noisy Expected Improvement）选择候选点。
- 评估黑盒函数 $f$ 以产生可观测结果 $y_i = f(x_i)$ 。
反馈获取：
- LILO 代理根据累积的实验数据和先前的反馈，为决策者生成一批问题（ $B_{pf}$ ）。
- 决策者提供自由形式的自然语言答案（ $a_j$ ）。
- 这些反馈被存储在偏好反馈数据集 $D_{pf}$ 中。
通过 LLM 标注 + GP 建模进行效用估计：
- 标注： LLM 充当解释器，将累积的自然语言反馈转换为观测结果之间的结构化成对偏好标签。给定一对结果 $(y, y')$ ，LLM 根据决策者的文本反馈确定哪一个更受偏好。
- 预算控制： 为了管理 LLM 成本，标注是在预算 $K$ 下进行的。本文提出了一种使用qEUBO（最佳选项期望效用）采集函数的序列策略，以选择最具信息量的成对数据进行标注，而非随机采样。
- 建模： 标注后的成对偏好用于拟合输入空间 $X$ 上的**成对高斯过程（GP）**代理模型 $M_n$ 。该模型近似复合效用 $u(x) = g(f(x))$ 。
- GP 模型提供具有校准不确定性的效用后验分布，从而驱动下一轮候选点的选择。

融入先验知识

LILO 支持通过融入文本先验知识（ $P_{prior}$ ）进行“热启动”。LLM 被提示根据决策者的领域专业知识（例如，“这些范围内的输入应带来良好结果”）生成初始候选点，而不是随机初始化，从而利用 LLM 预训练的领域知识。

3. 主要贡献

本文概述了五项主要贡献：

LILO 框架： 一种新颖的贝叶斯优化框架，通过自由形式自然语言提取效用信息，提供了比标准成对或标量反馈更具表达力的接口。
效用估计机制： 一种可扩展的方法，结合基于 LLM 的偏好标注与 GP 建模，在噪声和间接反馈下实现校准的不确定性和原则性的探索。
性能优势： 实证证据表明，LILO 在合成和现实世界基准测试中均优于传统的 PBO 基线（依赖定量反馈）和仅 LLM 优化器。
先验知识整合： 一种通过文本先验进行热启动优化的方法，显著提高了早期阶段的性能。
与非结构化结果的兼容性： 证明了 LILO 可以在不依赖结果空间 $Y$ 上显式代理模型的情况下，优化高维非结构化结果（例如文本摘要），而是依赖 LLM 解释结果的能力。

4. 实验结果

作者在 10 个环境中评估了 LILO，包括合成多目标函数（DTLZ2）、车辆安全模拟器、汽车驾驶室设计、热舒适度模型以及神经架构搜索（NAS-Bench-201）。他们还测试了具有非结构化文本结果的文本摘要任务。

主要发现

样本效率： LILO 始终优于基线，特别是在优化的早期阶段。在反馈受限的情况下，决策者的一条自然语言消息在优化进展方面大致相当于 8–16 次成对比较或标量评估。
与基线的比较：
- 与仅 LLM 方法相比： 仅 LLM 方法（直接式或两步式）随着迭代增加往往会停滞或无法实现有意义的改进，缺乏贝叶斯优化的收敛保证。
- 与定量贝叶斯优化相比： LILO 在早期试验中优于“真实效用贝叶斯优化”和“偏好贝叶斯优化”（使用真实标量或成对标签）。随着试验次数增加，优势会减弱，但自然语言的信息密度提供了显著的起步优势。
成对与标量标注： 研究发现，提示 LLM 进行成对比较比提示其直接输出标量效用值能产生更可靠的效用估计和更好的优化进展。
先验知识： 通过 LLM 初始化融入领域先验显著改善了起始点和整体性能。
非结构化结果： 在文本摘要基准测试中，LILO 成功利用自然语言反馈优化了解码参数，其性能与具有最大神谕反馈的基线相当。

5. 意义与主张

本文声称，LILO 代表了使贝叶斯优化适用于具有复杂主观目标问题的重大进步。通过将 LLM 置于辅助角色，将丰富、非结构化的语言转化为结构化的偏好信号，该框架在提供灵活、高信息密度反馈通道的同时，保留了传统贝叶斯优化的样本效率、稳定性和校准不确定性。

作者强调，LILO 特别适用于具有复杂多指标权衡的现实场景（例如在线实验、设计优化），在这些场景中，明确的目标不可用或难以形式化。他们承认，虽然 LILO 在反馈受限的情况下表现优异，但其性能与定量基线相比可能会在非常长的时间范围内趋于收敛，未来的工作可以探索结合非结构化语言与结构化定量反馈的混合方法。

复现结果的代码已公开在 https://github.com/facebookresearch/lilo。