🤖 machine learning

The Steering Budget: Examples beat Knobs

本文认为，生成模型的可控性从根本上受限于其训练数据中固有的“预算”，并证明了虽然传统的“旋钮”方法（如提示词或引导尺度）只能访问这一范围中的一小部分，但提供具体的示例可以让模型触及某一属性潜力的全谱系，包括那些无法用言语明确指定的特征。

原作者： Raj Kumar Rajendran

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Raj Kumar Rajendran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人艺术家，它可以根据你的要求画出任何东西，从金毛寻回犬到晶体结构。多年来，科学家们一直试图通过给它“旋钮”来控制它。你可以说，“让它更亮一点，”或者“让它看起来像照片，”或者“把引导拨盘转到最大。”这就像是试图通过扭动单个舵柄来驾驶一艘船。但有一个令人沮丧的限制：无论你多么用力地扭动旋钮，机器人最终都会停止移动。它撞上了一堵墙。你想让图像变得非常亮，但机器人只能做到“有点”亮，然后就拒绝再进一步。

这篇论文提出了一个简单但具有革命性的问题：为什么机器人会停止？是因为机器人坏了吗，还是因为它在开始画画之前就被赋予了一个隐藏的规则手册？作者发现，机器人并没有坏，它只是在一个由它所学习的数据设定的严格“预算”内工作。他们发现，与这个机器人交流有两种方式：“说”（Telling）和“展示”（Showing）。“说”是使用旋钮和语言来缩小你想要的目标范围。“展示”是递给机器人一堆例子，并对它说：“做更多像这些一样的东西。”令人大吃一惊的是：“展示”可以到达“说”甚至无法梦到的地方，而且我们甚至可以在启动机器人之前，精确地计算出每种方法能走多远。

“说”的大墙 vs. “展示”的魔力

把机器人的知识想象成一个巨大的图书馆。每本书都是一种特定类型的东西，比如“海滩场景”、“雪山”或“晶体结构”。

“说”（旋钮）： 当你使用旋钮时，你正站在图书馆的一个特定区域内，比如“海滩”区。你可以要求机器人让海滩阳光更灿烂，或者让沙滩更白。但你被困在了这一个区域里。你不能仅仅通过扭动一个拨盘就神奇地把海滩变成雪山。你受限于该“海滩”区域内已经存在的各种变化。
“展示”（示例）： 当你展示示例时，你不再受限于某一个区域。你可以递给机器人一些混合的书籍：有些来自“海滩”区，有些来自“雪山”区，还有一些来自“沙漠”区。你说：“制作更多看起来像这种混合风格的东西。”突然间，机器人不再只是微调某一个东西，它正在探索整个图书馆。它可以将海滩的明亮感与雪山的质感结合起来，这是单个旋钮永远无法做到的。

这篇论文称之为**“预算”（Budget）**。在机器人进行训练之前，它所学习的数据就已经设定了一个硬性限制。

“类内”预算（“说”的触达范围）： 这是你在单个类别内部可以摆动（wigло）的空间。如果你想让海滩更亮，预算就是基于机器人见过的照片，海滩可以变得多亮。
“类间”预算（“展示”的触达范围）： 这是你在不同类别之间跳跃的空间。这是海滩的平均亮度与煤矿的平均亮度之间的差异。这个差距通常巨大——比单个类别内部的摆动空间要大得多。

作者发现，对于我们想要控制的大多数事物，“类间”预算才是关键。它是不同类型事物之间的巨大鸿沟。旋钮（“说”）只能触及单个类别内的微小摆动空间。而示例（“展示”）可以触及类别之间的巨大鸿沟。

“旋钮”的迷思与“示例”的现实

你可能会想：“如果我把旋钮转得更用力一点，难道不会奏效吗？”论文说：不。

他们用两个截然不同的机器人测试了这一点：一个画图的机器人（像数字艺术家）和一个设计晶体结构的机器人（像材料科学家）。

在晶体实验室中： 他们尝试制造具有更宽“带隙”（一种特定的能量属性）的晶体。“旋钮”（一个简单的标签，标注为“高带隙”）几乎没能推动进度。但当他们向机器人展示具有高带隙特征的晶体示例时，机器人的输出结果比旋钮能达到的效果跳跃了数十甚至数百倍。
在图像实验室中： 他们尝试让图像看起来更“像动物”。一个强大的、经过学习的旋钮可以稍微推动进度，但前提是它必须在不破坏“类别”规则的情况下，误打误撞地让图像看起来像完全不同的动物。而“展示”方法（通过挑选最好的动物类别进行混合）比最好的旋钮多移动了3倍的距离。

论文明确排除了“更好的旋钮”能解决问题的想法。他们认为，限制并非机器人设计的缺陷，而是数据的基本规律。如果数据在不同类别之间没有巨大的差距，那么旋钮可能运行良好（比如让图像稍微变亮一点）。但如果目标需要跨越不同的类型，旋钮在结构上就是无法做到的。

为什么这很重要：“我明白那种感觉”的问题

这是最酷的部分。有时，专家知道自己想要什么，但无法解释清楚。

想象一位电影剪辑师，他看了上百个镜头，最后选出了最好的十个。他无法说明为什么这十个是完美的。他只是“知道”。如果你要求他向机器人描述那种“感觉”，他可能会说“让它更有情感”，但机器人只会做一个通用的忧郁表情。

“说”在这里失效了： 你无法为一个你无法描述的感觉提供一个词汇。
“展示”在这里获胜： 你只需把那十个你喜欢的片段交给机器人。你不需要解释“为什么”。机器人观察这些片段的混合模式，然后说：“啊，我明白其中的规律了。我会制作更多像这样的东西。”

论文表明，“展示”可以触及这些“无法命名”的目标，因为它不需要用语言来定义目标。它只需要展示模式。它甚至可以同时混合两个相反的事物——比如“干净的车辆”和“干净的食物”——而单个旋钮通常无法做到这一点，往往只会给你一个两者之间模糊、混乱的平均值。

结论：先测量，后选择

这篇论文并不仅仅是在说“示例更好”。它给了你一个配方，让你知道何时该使用它们。

在开始生成之前，你可以对你的数据进行快速的“审计”。你可以计算“预算”，看看你想要的改变有多少来自于类别内部（摆动空间），有多少来自于类别之间（巨大的跳跃）。

如果“类间”预算很小： 旋钮就足够了。你不需要展示示例。
如果“类间”预算巨大： 你必须展示示例。旋钮永远无法带你到达那里。

作者在图像和晶体上进行了测试，数学逻辑完全成立。他们甚至展示了，如果你试图“微调”一个机器人使其在某件事上达到完美（比如让一切看起来都很有“美感”），你往往会失去所有的多样性，最终得到一个枯燥、重复的机器人。这是因为微调是针对单张图像进行的，这会缩小多样性。而“展示”通过混合不同的类别，是保持这种多样性的唯一方法。

简而言之，这篇论文教导我们，要驾驶生成式人工智能，我们不应仅仅是扭动旋钮。我们需要先观察数据的地图。如果目的地很远，我们需要的不是一个更好的方向盘，而是向机器人展示地图，并让它选择最佳路径。而且有时，那条最佳路径是我们无法命名、只能展示的路径。

技术摘要：转向预算：示例优于旋钮

问题陈述

生成模型通常使用“旋钮”（如提示词、引导比例或属性标签）来进行转向控制。然而，从业者观察到一个硬性天花板：即使将这些控制推向极限，也往往无法将目标属性（例如图像亮度、晶体带隙）移动到理想的程度。本文认为，这种局限性并非源于模型的架构或训练过程的缺陷，而是由训练数据本身设定的结构性约束。

核心问题在于区分两种类型的转向操作：

告知（Telling）： 通过提示或标签来描述一个目标（例如，“明亮的狗”）。这是一种**合取（conjunctive）**操作，通过在特定类别内交集约束来缩小输出分布。
展示（Showing）： 提供一组示例并要求“更多像这样的”。这是一种**析取（disjunctive）**操作，通过并集化多样化的实例，使模型能够捕捉到那些无法用言语表达或需要结合相反属性的目标。

论文指出，“告知”所能达到的成就与“展示”所能达到的成就之间的差距并非偶然，而是一个由模型训练前数据的方差结构所决定的固定预算（budget）。

方法论

理论框架：预算

作者将生成模型的输出空间根据“廉价”标签 $P$ （例如，图像类别、晶体化学成分）划分为分箱（bins） ( $B$ )。一个“昂贵”的属性 $L$ （例如，美学评分、带隙）在这些分箱内部及分箱之间发生变化。

目标属性 $L$ 在训练数据中的总方差 ( $J$ ) 可以使用**全方差定律（Law of Total Variance）**分解为两个不同的预算：

箱内预算（Within-Bin Budget, $T$ ）： 单个分箱内 $L$ 的平均方差。这代表了“告知”可用的空间。由于“告知”是通过在固定分箱内重新加权输出进行操作，因此它在结构上受限于此预算。
箱间预算（Between-Bin Budget, $E$ ）： 不同分箱之间 $L$ 的均值的方差。这代表了“展示”可用的空间。“展示”通过改变抽取批次时的分箱混合比例（即“配方” $P$ ）来操作，从而能够获取这一预算。

总方差精确等于：
$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (箱内)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (箱间)}}$
其中 $w_b$ 是分箱份额， $v_b$ 是箱内方差， $g_b$ 是分箱均值。

操作的范围

论文推导出，操作在 $L$ 的均值上能实现的极大偏移量受限于 $\sqrt{\chi^2} \times \text{Budget}$ ，其中 $\chi^2$ 衡量了与原始分布的偏差。

告知： 受限于 $T$ 。在实践中，旋钮（如引导比例）实现的 $\chi^2$ 较小（接近 1），限制了其触达范围约为 $T$ 。
展示： 获取 $E$ 。通过构建一个显著偏离数据分布的“配方”，“展示”可以实现更大的 $\chi^2$ （通常 $\sim 100$ ），从而使其移动均值的幅度远超任何旋钮。

经验验证

作者在两个无关领域测试了这些主张：

图像： 在 ImageNet 上训练的扩散 Transformer (DiT)。分箱为 ImageNet 类别；目标包括亮度、美学评分和 CLIP 内容得分。
晶体： 在材料数据库 (Alexandria) 上训练的生成器。分箱为化学成分；目标包括带隙、稳定性和密度。

他们对训练数据进行“廉价审计”，在不生成任何样本的情况下计算 $T$ 和 $E$ ，然后验证真实模型是否遵循这些预算。

核心贡献

预算区分： 提供了一个精确的定量解释，将属性的可转向性拆分为“告知”部分（箱内）和“展示”部分（箱间）。这种拆分可以在模型训练前仅通过数据计算得出。
AND/OR 观察： 将“告知”形式化为合取（交集/收敛）而将“展示”形式化为析取（并集/多样化）。这解释了为什么“展示”可以达到涉及“或”条件或无法命名的隐性偏好的目标。
统一的失效模式视角： 论文将四个熟悉的生成模型问题——模式崩塌（mode collapse）、对齐税（alignment tax）、奖励作弊（reward hacking）以及组合泛化失败——重新定义为一个单一的结构性失配：试图使用“告知”方法（针对单个输出的优化）来解决“展示”问题（需要集合层面的分布跨度）。
预测框架： 能够预先判断一个目标是由旋钮控制还是需要示例。如果箱间份额（ $E/(E+T)$ ）很高，则示例是必要的；如果较低，则旋钮足够。
转向配方： 提供了一种构建最优“配方”（分箱混合）以达到目标的实用方法。对于求平均的目标，配方集中于单个最佳分箱；对于求分布/覆盖度的目标，则混合分箱以覆盖帕累托前沿（Pareto front）。

结果

1. 拆分是精确的且具有迁移性

精确性： 将方差分解为 $T$ 和 $E$ 的过程在两个领域中都完全成立。
迁移性： 对于模型能够忠实重现的属性（如晶体密度、图像亮度），从训练数据中计算出的预算准确预测了模型的行为。对于模型难以重现的属性（如晶体稳定性），数据审计对模型的预测能力较差，此时需要直接审计模型输出。

2. 示例优于旋钮（当预算需要时）

量级： 在晶体领域，其中箱间份额很高（例如带隙为 0.98），选择化学成分（展示）比最强的单化学成分内旋钮移动目标的幅度大了 6.8 倍。
旋钮极限： 即使使用最强的旋钮（如“best-of-12”采样或学习到的软提示），它们也无法在针对高箱间份额目标时达到“展示”的触达范围。
例外情况： 在低箱间份额的目标上（例如图像亮度，其中 $E/(E+T) \approx 0.17$ ），强大的学习旋钮确实比简单的分箱混合表现更好，这证实了预算的预测：当目标的方差主要存在于箱内时，旋钮就足够了。

3. 表达能力与覆盖度

合取目标： 当被要求覆盖两个相反属性的批次时（例如“干净的车辆” AND “干净的食物”），“告知”（提示词）或组合条件会导致“模糊的中庸之道”（产生奇美拉/混合物）。只有展示（混合车辆分箱和食物分箱）才能产生两者的真实实例。
隐性转向： 该框架成功地通过使用示例来推断分箱混合，实现了向专家可以演示但无法命名的“品味”（例如特定的审美风格）进行转向，前提是廉价键（类别标签）可以区分相关的分箱。

4. 训练效应

论文表明，标准的微调（过滤、RLHF）会以可预测的方式重塑预算。然而，如果微调过于激进，导致模型完全脱离其训练分布，则数据侧的预算将不再适用，必须直接审计模型。

意义与主张

论文声称“转向预算”为生成式转向提供了一个基本的、与模型无关的理解：

可预测性： 从业者可以测量训练数据的预算，从而提前知道是需要从提示词转向基于示例的转向。
结构性解释： 它解释了为什么针对单个输出的优化（RLHF 和微调的标准做法）不可避免地会导致多样性的丧失（模式崩塌），因为这会使箱间分布（ $E$ ）坍缩，而 $E$ 是集合层面多样性的唯一来源。
表达能力： 它验证了“展示”是唯一能够转向本质上是析取的或隐性的目标的机制，因为这些目标存在于“告知”无法触及的箱间预算中。

作者强调，这不仅仅是一种新的生成技术，而是一种定量的解释，用于说明现有技术（提示词 vs. 示例）的极限与能力，其结论直接源于数据的统计特性。