技术摘要：前沿 AI 系统中的上下文多目标优化

1. 问题陈述

本文指出了前沿 AI 系统中的一种关键失效模式：目标选择失效。虽然现代 AI 在目标清晰、稳定且可验证的领域（如代码生成、数学推理、游戏对战）表现出色，但在开放式场景中（如科学辅助、长视野智能体、高风险建议及个性化工具使用）仍不可靠。

在这些开放式情境中，相关目标往往是模糊的、依赖上下文的、滞后的，或仅部分可观测的。作者认为，许多部署失败并非源于能力或规模的不足，而是系统优化了局部可见的信号（例如用户偏好或流畅度），却忽略了支配交互的更广泛目标结构。现有方法常将异质性需求（有用性、真实性、安全性、隐私、利益相关者影响）压缩为单一标量奖励或偏好分数。当目标发生冲突、约束被上下文激活，或某些需求（如隐私、非欺骗）必须作为不可交易的硬约束而非软偏好发挥作用时，这种简化便会失效。

核心问题被表述为上下文多目标优化（CMOO）：这是一个决策问题，系统不仅必须针对行动进行优化，还必须识别适用的目标结构，确定哪些目标处于激活状态，区分软偏好与硬约束，并根据具体情境选择合适的行动类别（例如回答、澄清、拒绝、升级）。

2. 方法论与框架

2.1 形式化表述

作者将 AI 行为建模为依赖上下文的选择规则。令 $c$ 为交互上下文，$A(c)$ 为候选行动集合（包括直接回答、澄清、拒绝、不确定性披露、确认、升级、工具使用或放弃）。

系统为每个行动 $a$ 估计一组目标相关量 $L_{O_{active}(c)}(a, c)$，其中 $O_{active}(c)$ 是在上下文 $c$ 中被激活的目标集合。系统的行为由以下选择规则定义：
$$a^*(c) \in G(A(c), L, C(c), S(c), U(c), \Pi)$$
其中：

• $C(c)$：激活的约束集合。
• $S(c)$：相关利益相关者集合。
• $U(c)$：关于上下文、目标或后果的不确定性。
• $\Pi$：冲突解决程序。

2.2 关键概念

• 近似目标可约性：如果某个标量度量 $m$ 能够保持行动排序、控制约束违反，并在压力分布下保持稳健，则该任务可归约为此标量度量。这仅在目标可测量、可通约且合法可交易时，才验证了标量优化的有效性。
• 经验目标不可约性：许多前沿任务是不可约的，因为没有任何标量度量能够忠实代表依赖上下文的不可交易约束（例如，隐私违规无法通过有用性来补偿），或者因为在标量分数下看似等价的情况需要不同的行动类别。
• 操作判断：目标行为能力被定义为识别激活目标、识别冲突、应用不可交易约束、校准不确定性，并基于理由选择适当行动类别的能力。这是一个功能性定义，而非对人类式道德理解的声称。

2.3 实施路径

本文提出了一条实施 CMOO 的技术路径，从简单的奖励最大化转向结构化的决策过程：

1. 目标状态表示：系统在进行聚合之前，维护一个结构化的目标估计向量（有用性、安全性、隐私、不确定性等），而非单一标量奖励。这保留了判断的“理由结构”，防止因过早标量化而掩盖权衡。
2. 偏好感知目标分解：偏好学习（如 RLHF、DPO）被丰富为记录为何某个回答更受青睐（例如更真实 vs. 更礼貌），而不仅仅是哪个更受青睐。这区分了偏好分歧与噪声，并识别出何时偏好应被约束覆盖。
3. 上下文到目标的路由：一种机制将交互上下文映射到目标概况，激活特定的目标、约束、利益相关者和升级策略。该层确定风险级别、可逆性和利益相关者范围，确保高风险上下文触发适当的约束。
4. 分层与词典式约束：该框架将软偏好（如风格、简洁性）与硬约束或准硬约束（如安全性、合法性、隐私）分离开来。选择规则首先通过激活的约束（词典式排序）过滤行动，然后在可接受集合内优化软偏好。这防止了非法补偿（例如，用高有用性来“支付”隐私违规）。
5. 审议式政策推理：系统检索相关政策，并基于明确原则进行推理以解决冲突。这为冲突解决提供了可检查的接口，解释了为何选择了特定的行动类别（例如拒绝而非回答）。
6. 智能体与工具使用控制：随着系统变得具有智能体特性，该框架扩展到外部行动。它区分规划与行动，要求对不可逆或高影响行动进行更严格的检查（例如确认门、最小权限访问）。
7. 受控个性化：个性化被视为受约束的目标修饰符。敏感适应需要明确的同意和透明度，确保个性化不会覆盖隐私、自主权或非操纵约束。
8. 诊断评估与修订：评估侧重于目标选择准确性（路由、约束召回、行动类别选择），而不仅仅是最终回答质量。系统包含机制，用于在部署后审计和修订政策、阈值和路由分类法，以解决代理漂移和新失效模式。

3. 主要贡献

本文做出了四项主要贡献：

1. 识别目标选择失效：它将目标选择失效区别于能力失效和代理估计误差，认为许多前沿 AI 失败源于为特定情境优化了错误的目标。
2. CMOO 的形式化：它将开放式 AI 行为形式化为一个选择规则问题，其中激活的目标、约束、利益相关者和行动类别均依赖于上下文。
3. 理论区分：它引入了近似目标可约性和经验目标不可约性的概念，以阐明标量优化在何处是合理的，在何处会失效。
4. 实施路径：它提出了一种综合架构，将分解的目标建模、上下文路由、分层约束、审议式推理和部署后修订连接起来，以解决已识别的差距。

4. 结果与主张

作为一篇立场与观点论文，该工作未呈现新的实证基准或算法性能指标。相反，其“结果”是理论性和结构性的：

• 命题 1：作者证明，上下文盲加权标量化无法满足以下要求：当硬约束在一个上下文中激活而在另一个上下文中未激活时，即使目标分数向量相同也无法满足。这表明，只有在表示了依赖上下文的约束激活变量后，标量化才是充分的。
• 现有方法分析：本文系统分析了为何当前方法（预训练、SFT、RLHF、基于验证器的 RL、智能体优化）不足以应对开放式场景。它认为，这些方法假设了固定的优化信号，无法处理高风险、模糊环境中所需的动态目标与约束激活。
• 诊断框架：它概述了一种使用上下文配对案例的诊断评估协议，以测试目标路由准确性、约束召回和行动类别选择，并指出当前基准往往忽略了这些关键维度。

5. 意义与局限性

意义：
本文认为，从奖励最大化转向操作判断是构建在上下文中适宜、可修正且可问责的前沿 AI 系统的核心。通过使目标结构显性化，该框架阐明了标量优化何时是有效的近似，何时从根本上是不充分的。它将拒绝、澄清和升级等行为视为接口缺陷，而是视为对安全和对齐至关重要的内生政策行动。作者将此框架化为向“目标机制”的转变——研究目标在部署系统中如何被表示、激活和修订。

局限性：
作者明确承认了若干局限性：

• 形式化与算法：本文提供了形式化和路径，而非完整、可直接部署的算法。目标状态表示和冲突解决等组件需要进一步的技术规范。
• 过度保守：分层约束若未仔细调整，可能导致系统拒绝良性请求或限制用户代理权。
• 虚假精确性：分解的目标模型可能会为难以直接测量的开放纹理目标制造一种虚假的精确感。
• 路由脆弱性：上下文到目标的路由器本身可能成为一个脆弱的代理，在面对新任务或对抗性提示时失效。
• 制度缺口：本文侧重于模型级框架，留下了更广泛的制度问题（例如定义目标的权限、利益相关者的争议）未充分发展。

总之，本文提出，为了使前沿 AI 在开放式环境中安全运行，该领域必须超越优化单一信号，转向设计能够识别、优先排序和解决复杂、依赖上下文的多目标结构的系统。