🤖 AI

Context Assembly as the Controlled Variable: A Control-Theoretic View of Harness Policies for Frozen LLM Agents

本文提出了一种针对冻结大语言模型（LLM）智能体的控制理论框架，该框架将上下文组装视为受控变量，利用在线外层策略来动态优化提示词组件，同时提供形式化的稳定性保证和不确定性校准。

原作者： Debjyoti Paul

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Debjyoti Paul

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

完美提示词的艺术：一个控制论故事

想象一下，你正试图教一个聪明但极其固执的机器人如何破解谜题。这个机器人是一个人工智能（AI），它是“冻结”的，这意味着它的脑回路已经定型；你无法重写它的神经元，也无法教它新的事实。它博学多才，但除非你给出正确的指令，否则它不知道如何将这些知识用于你特定的谜题。在人工智能的世界里，这种设定被称为“智能体”（agent）。长期以来，研究人员一直试图研究如何让这些智能体变得可靠，将其视为需要被操控的机器。他们使用了“控制论”（control theory）的思想，这基本上是关于如何保持事物稳定和循轨运行的科学——就像汽车的定速巡航系统不断调整油门以保持恒定车速，或者恒温器通过调节热量来保持室内舒适一样。

这篇论文探讨的核心问题是：我们究竟应该操控什么？ 大多数人一直试图控制机器人下一步会做什么（比如拿起哪个工具）或者与谁交谈。但本文指出，真正的魔力发生在机器人开始行动之前。这关乎于控制“上下文”（context）——即具体的指令、你展示给它的示例，以及你喂给它的背景信息量。这就像一位厨师，他无法改变食谱书（冻结的AI），但可以改变食材、厨房的灯光以及台面上的笔记，从而做出完美的菜肴。作者们想要知道，我们能否构建一个智能系统，能够自动找出在运行过程中设置这些指令的最佳方式，并且这个系统是否足够稳定，值得信赖。

论文的核心思想：操控设置，而非操控机器人

这篇由 Debjyoti Paul 于 2026 年 7 月撰写的论文，提出了一种看待 AI 智能体的全新视角。作者建议，与其直接控制机器人的动作，不如控制上下文组装（context assembly）。用通俗的话说，这意味着控制“提示词的设置”：使用哪种模板、展示哪几个示例、从数据库中检索多少信息，以及让 AI 进行多少次自我检查。

作者设想了一个由两部分组成的系统。第一部分是“冻结”的 AI 智能体——即实际执行工作的机器人。第二部分是一个位于机器人外部的“束缚器”（harness）或控制器。这个控制器是一个聪明的学习者（使用诸如“上下文多臂老虎机/contextual bandit”或“REINFORCE”策略等方法），它通过不断尝试不同的设置来观察哪种设置能获得最佳结果。这就像一位舞台监督，他无法改变演员的台词（因为演员是冻结的），但他可以改变灯光、道具和剧本注释，以帮助演员更好地表演。

他们的发现：现实检验

作者不仅仅是在构思这个想法；他们还对其进行了测试，以验证其是否有效且稳定。他们在一种特定的设置下进行了实验，其中控制器必须从 729 种不同的配置中进行选择（这是不同提示风格、工具、记忆策略和验证步骤的组合）。他们针对每个运行序列进行了 60 个回合（episodes/试验）的测试，在不同种子下总计完成了 240 个回合。

以下是他们发现的真实情况：

1. 稳定性测试（它是否在进步？）
作者想要观察控制器是否在学习过程中变得越来越好，他们称之为“稳定性”。在一个理想的世界里，随着学习的进行，控制器的性能应该上升或保持不变。然而，他们的数据显示了不同的情况。在他们测试的 60 个回合 中，性能实际上呈现出轻微下降或在大多数运行中保持持平的趋势。四个测试运行中有三个显示出微小的负斜率。

作者解释说，这并不一定意味着他们的想法失败了，而是测试规模的局限性。他们认为，面对 729 种可能的选项，60 个回合 的时间对于控制器学习窍门来说实在太短了。这就像试图在短短几天内学会 729 种不同的语言；你还没有足够的练习时间来变得精通。他们指出，即使在 300 个回合（比他们的稳定性测试多出五倍）的情况下，他们的配套论文发现该系统仍然无法超越一个静态的、预设的基准线。结论是，该系统目前处于“欠采样”（under-sampled）状态——样本量太小，不足以证明其长期理论，尽管该理论本身是合理的。

2. 置信度测试（它知道自己在瞎猜吗？）
第二项检查是“不确定性校准”（uncertainty calibration）。这在问：控制器是否知道自己何时有信心，何时不确定？在现实场景中，如果 AI 不确定，它应该请求人类介入。

这里的测试结果相当令人惊讶且有些混乱。控制器的“置信度”得分（基于它认为自己的选择有多大可能性）极低，约为 0.0014，而任务的实际成功率要高得多，约为 0.64 (64%) 和 0.58 (58%)。这是一个巨大的差距，大约有两个数量级。

作者解释说，这并不是学习过程中的漏洞，而是一个数学问题。因为存在 729 个选项，选中任何一个选项的概率自然很小（大约为 1/729，即 0.0014）。因此，即使控制器选对了答案，看起来也总是“缺乏信心”。这意味着，如果你试图利用这个原始置信度数值来决定何时寻求人类帮助，它将无法奏效——你会为每一个任务都呼叫人类，甚至包括那些简单的任务。论文建议，为了解决这个问题，你需要重新校准置信度信号（例如，通过观察前两个选项之间的差距，而不是原始概率），但他们承认尚未测试过这种修复方法。

总结

这篇论文并不声称已经解决了 AI 控制的问题。相反，它提供了一个非常具体且诚实的视角，去审视一种全新的思考方式：控制“上下文”而非控制“动作”。它认为，虽然这是一个充满前景且独特的想法，但目前的实验表明，我们正撞上一堵墙，因为可能性的空间（729 种配置）对于我们现实中能收集到的数据量来说太大了。

作者非常谨慎，并未将其称为突破。他们明确指出，他们的稳定性结果是“噪声主导的”，且他们的置信度信号在没有额外修复的情况下目前是“无信息的”。他们本质上是在说：“这里有一个新的杠杆可以拨动，但目前，我们还没有进行足够的练习挥杆，所以无法确定它是否完美运行，而且我们目前衡量置信度的方法也是有缺陷的。”这更像是一种对更多数据和更好校准方法的呼吁，而非一场胜利的宣言。

技术摘要：作为受控变量的上下文组装（Context Assembly）

问题陈述

尽管截至 2026 年中期，将控制理论应用于大语言模型（LLM）智能体已成为一个成熟领域，但现有文献主要侧重于控制特定的离散动作或系统路由。此前的研究将工具选择（Anonymous [2026]）、大规模离散宇宙中的动作选择（Majumdar [2026]）或智能体间消息路由（Nogueira and Skogestad [2026]）视为受控变量。

本文认为，这些方法忽视了一个截然不同且具有实际重要性的受控变量：上下文组装（context assembly）。这指的是提示词模板、少样本示例（few-shot demonstrations）、检索上下文容量以及规划或验证轮数（passes）的动态配置。与原始动作流或工具目录不同，上下文组装是当前由护栏工程师（harness engineer）手动编辑的具体参数集。本文指出，该变量规模较小、可枚举，但复杂度又足以需要在线学习，并且可以通过位于冻结 LLM 之外的轻量级控制器（上下文多臂老虎机或 REINFORCE）进行优化。

方法论

形式化分解

系统被分解为两个不同的策略：

内部策略 ( $\pi_\theta$ )： 一个冻结的 LLM 模型，在给定状态 $s_t$ 和上下文配置 $C_t$ 的情况下生成动作 $a_t$ 。模型权重 $\theta$ 永不更新。
外部策略 ( $\pi_\phi$ )： 一个可学习的控制器，根据任务 $x_t$ $x_{t}$ 和交互历史 $h_t$ $h_{t}$ ，从固定的、可枚举的空间 $\mathcal{C}$ $C$ 中选择上下文配置 $C_t$ $C_{t}$ 。
- 在本文的实例化中， $|\mathcal{C}| = 729$ ，该空间由提示风格、工具/检索策略、记忆策略、规划策略、验证策略和步数预算进行因子分解而成。
- 外部策略通过线性价值函数（用于上下文多臂老虎机）或 Softmax 策略（用于 REINFORCE）进行参数化。

优化目标

外部策略旨在最大化多目标奖励函数，同时保持 $\theta$ 固定：
$\max_\phi \mathbb{E} [R_{task} + \lambda_v R_{verify} + \lambda_p R_{policy} - \lambda_c C_{tokens} - \lambda_\ell C_{latency} - \lambda_h P_{unsupported}]$
该目标平衡了任务成功率、验证质量和策略遵循度，同时权衡了 Token 使用成本、延迟以及不支持操作的惩罚。

稳定性与校准分析

本文使用两个特定的控制理论视角来评估控制器：

经验稳定性： 采用 Zhang 等人 [2026] 的定义，稳定性被定义为随着回合（episodes）累积，滑动窗口内的期望奖励呈非递减趋势。这是一种比李雅普诺夫渐近稳定性更弱、更具可测量性的主张，适用于“状态”为已学习权重集的在线学习场景。
不确定性校准： 本文分析了控制器的置信度（定义为所选动作的 Softmax 概率）是否与实际的任务成功率相关联。这对于人类介入（human-escalation）场景至关重要，因为低置信度应能预测失败。

关键结果

1. 经验稳定性

作者使用工具使用领域（Ollama qwen2.5:7b）下的 240 个回合，对 Bandit 和 REINFORCE 控制器进行了仪器化实验。

发现： 经验结果并未证实在每个种子 60 个回合的预算内存在非递减奖励的理论命题。
分析： 奖励对回合索引的线性拟合显示，在四个运行序列中有三个呈现出轻微负向或平坦的趋势。作者将其归因于欠采样机制，而非逻辑失效。由于动作空间包含 729 种配置，60 个回合不足以使运行估计值实现收敛（这一机制在 Majumdar [2026] 中被识别为 $\Omega(M)$ 机制）。这些结果表征了在实际的、单日实验预算下学习该空间时的难度，而非证明渐近收敛性。

2. 不确定性校准

校准分析揭示了控制器置信度与其实际表现之间的显著脱节。

发现： 期望校准误差（ECE）为 0.607，存在严重的失校。
机制： 控制器的平均置信度约为 0.0014（约等于 $1/729$ ），而实际成功率在 0.58 到 0.64 之间。
启示： 由于动作空间巨大且得分分布接近均等，原始 Softmax 概率被限制在接近 $1/M$ 的水平。这使得原始概率无法作为人类介入的有效信号；本质上，无论成功与否，每个回合看起来都是“低置信度”。论文明确指出，如果不进行重新校准（例如温度缩放或价值间隔定义），原始动作选择概率不能用作置信度信号。

意义与主张

本文提出了一个适度且具体的观点：它指出上下文组装是一个与工具选择或智能体路由相比尚未得到充分探索的独特受控变量。

贡献： 它提供了“冻结模型 + 可学习护栏”架构的形式化分解，并将这一特定的受控变量置于与其他智能体控制论文相同的经验审查（稳定性与校准检查）之下。
报告的诚实性： 论文强调其经验结果是“提供信息而非粉饰太平”。它明确报告说，当前的实验预算不足以实现其当前形式所需的渐近稳定性或校准。
设计点： 论文并未声称解决了一个问题，而是将校准问题标记为一个真实的开放设计点。它建议，若要使这种方法可行，必须重新定义置信度信号（例如通过价值间隔），而不是依赖于大规模离散空间上的原始 Softmax 概率。

总之，本文并不声称解决了 LLM 护栏的稳定性问题。相反，它严谨地展示了在大型离散空间中学习上下文组装时固有的样本复杂度瓶颈，并强调了朴素置信度度量在校准失效方面的问题，为这一特定细分领域的未来工作提供了一个现实的基准。