🤖 machine learning

Towards Value-Constrained Credit Assignment in Fully Delegated AI Cooperatives

本文提出了一种用于全委托人工智能合作组织中价值约束型信用分配的框架，该框架利用遍历学习基质通过个体价值剖面来过滤模型更新，并基于在线边际贡献进行奖励分配，从而提供比传统联邦学习方法更精细的归因。

原作者： Young Yoon, Jimin Kim, Soyeon Park

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Young Yoon, Jimin Kim, Soyeon Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个规模宏大、高科技的协作式厨房，数十位厨师（AI 智能体）正齐心协力创造出一道世界级的食谱（AI 模型）。在这个厨房里，每一位厨师都代表着一个有着非常具体且不可逾越的规则、关于其愿意烹饪什么的特定个人。

厨师 A 说：“我绝不烹饪任何涉及军事武器的菜肴。”
厨师 B 说：“我拒绝烹饪任何歧视特定群体的食物。”
厨师 C 说：“我不碰任何被用于保险风险评分的食谱。”

在传统的厨房里，每个人都会把他们的食材扔进一个巨大的锅里，由主厨将其混合在一起。如果厨师 A 的“禁武器”规则被忽视了，因为厨师 B 加入了一种无意中让菜肴变得不符合厨师 A 安全标准的辛辣酱料，那么厨师 A 也会和大家一样获得报酬。这是不公平且危险的。

这篇论文提出了一种运行这个厨房的新方法，称为价值约束型信用分配（Value-Constrained Credit Assignment）。以下是它的运作方式，分步骤说明：

1. “价值过滤器”（守门员）

在任何厨师将食材加入主锅之前，他们必须先通过个人的安全扫描仪（“价值过滤器”）。

如果厨师 A 的食材通过了他们的扫描仪（即它是安全的且符合其价值观），它就会获得一个“绿灯”。
如果失败了（违反了他们的规则），扫描仪会将它变成“红灯”并予以拦截。
神奇之处在于： 只有获得“绿灯”的食材才被允许继续向下传递。这确保了没有人会被迫参与制作他们从道德上反对的菜肴。

2. “追踪路径”（遍历学习）

大多数现代 AI 厨房使用一种方法，即所有人将混合后的食材发送到一个中央搅拌机，然后由搅拌机来猜测每样东西是谁贡献的。这篇论文建议使用另一种方法，称为遍历学习（Traversal Learning, TL）。

想象一下，我们使用的不是搅拌机，而是一个传送带系统。

食材在传送带上从厨师 A 移动到厨师 B，再到厨师 C。
因为传送带是可见且可追踪的，我们可以精确地看到哪种食材来自哪位厨师，以及它去了哪里。
这比“黑盒”搅拌机的方法要清晰得多。它让我们能够追踪每一份贡献的精确路径，从而轻松看出谁帮助了食谱的改进，以及谁没有贡献。

3. “试味”（信用分配）

一旦“绿灯”食材进入传送带，厨房会进行快速的试味（验证）。

他们会问：“如果我们现在只加入厨师 A 批准的食材，这道菜的味道会变好吗？”
如果答案是肯定的，厨师 A 就会获得一个“信用点”。
如果答案是否定的（或者由于其食材早前被过滤器拦截），他们将获得零分。
这意味着厨师们仅因那些既符合其道德准则又确实对团队有益的食材而获得奖励。

4. “薪酬结算”（收益清算）

在一天结束时，厨房售出这道菜并赚取利润。钱是如何分配的？

它不是平均分配的。
它根据每个厨师获得的信用点进行分配。
如果厨师 A 有 10 个获批且有益的食材，而厨师 B 只有 2 个，那么厨师 A 会获得更大的一块饼。
论文建议使用一种公式，即贡献越多，获得的报酬越多，同时也可以进行调整，以更重地奖励那些“超级贡献者”。

为什么这很特别？

作者认为，这个系统同时解决了两个问题：

尊重： 它尊重了不同的人拥有不同道德边界这一事实（多元主义）。你不需要为了成为团队的一员而妥协你的价值观。
公平： 它根据人们实际做了什么来支付报酬，而不是仅仅根据他们拥有多少数据。如果你的数据因为违反了你自己的规则而被拦截，你不会受到惩罚；你只是不对那部分内容获得报酬。

简而言之： 这篇论文提出了一种系统，让 AI 智能体像一群只烹饪自己能接受之物的厨师一样协作。他们根据自己的获批烹饪内容对最终餐点的实际改进程度来获取报酬，并使用一个清晰、可追踪的传送带系统，以确保每个人都能获得公平的份额。

技术摘要：迈向全委派 AI 合作社中的价值约束型信用分配

1. 问题陈述

本文探讨了**全委派 AI 合作社（fully delegated AI cooperatives）**中奖励分配的挑战。在这种设定下，多个人类成员由自主智能体代表，这些智能体通过汇集数据和计算资源来训练共享的 AI 服务。其核心难点在于如何同时满足两个相互耦合的要求：

价值约束（Value Constraints）： 学习过程必须尊重每个成员特定的异质性价值约束（例如，禁止用于军事部署、保险风险评分，或对人口统计学公平性的要求）。
经济激励（Economic Incentives）： 最终生成的服务的经济收益必须根据实际贡献进行分配。

现有的方法往往无法将这两个要求耦合在一起。忽略价值约束的奖励规则可能会为那些成员并不认可的更新进行补偿；而联邦学习（FL）中标准的贡献核算通常基于聚合后的更新，这使得在衡量贡献之前，根据个人价值剖面来追踪并过滤特定更新方向变得十分困难。

2. 方法论

作者提出了一个整合了价值调节梯度过滤（Value-Conditioned Gradient Filtering）、**遍历学习（Traversal Learning, TL）以及在线边际贡献信号（Online Marginal Contribution Signals）**的框架。

2.1 价值调节过滤

在每个迭代步 $t$ ，持有本地数据 $D_i$ 和价值剖面 $v_i$ 的智能体 $i$ 计算本地梯度 $\nabla L_i(\theta_t)$ 。在传播此更新之前，它需通过一个价值过滤器 $F_i$ ：
$\tilde{\nabla} L_i(\theta_t) = F_i(\nabla L_i(\theta_t), v_i)$
过滤后的梯度 $\tilde{\nabla} L_i$ 代表了**可接受的（admissible）**更新部分。该过滤器可以采取多种形式，包括基于规则的宪法检查、可行集投影、梯度修改或学习到的黑盒可容性模型。如果一个更新方向违反了委托人的价值观，它将被拒绝（设为零），从而确保只有符合价值一致性的更新才会对合作模型产生贡献。

2.2 遍历学习 (TL) 底层架构

该框架利用遍历学习 (TL) 作为训练底层。与在事后聚合客户端更新的标准联邦学习（如 FedAvg）不同，TL 通过在分布式节点间保留显式的遍历路径和梯度路径来进行去中心化反向传播。

机制： 合作更新定义为 $\theta_{t+1} = \theta_t - \eta \sum_{i=1}^n \tilde{\nabla} L_i(\theta_t)$ 。
优势： 通过维护针对特定智能体的梯度路径，而非仅仅是聚合后的客户端状态，TL 能够更透明地追踪从本地数据暴露到可接受更新，再到合作效应的路径。作者认为，与以聚合为中心的 FL 相比，这种结构化的清晰度在处理价值约束环境下的归因问题时具有优越性。

2.3 边际贡献与结算

框架通过一个多步骤过程定义贡献和奖励分配：

在线信用信号： 智能体 $i$ 在时间 $t$ 的贡献 $c_i^t$ 被定义为仅由该智能体的可接受更新所引起的合作验证损失 $L_{val}$ 的边际改善：
$c_i^t = L_{val}(\theta_t) - L_{val}(\theta_t - \eta \tilde{\nabla} L_i(\theta_t))$
如果过滤器拒绝了该更新（即 $\tilde{\nabla} L_i = 0$ ），则贡献为零。
累积结算： 在会计周期 $H$ 内，贡献进行累加，并辅以可选的权重 $\omega_t$ ：
$C_i(H) = \sum_{t \in H} \omega_t c_i^t$
收入分配： 收入份额 $r_i(H)$ 根据累积贡献进行分配，使用幂参数 $\alpha \ge 1$ 来强化差异：
$r_i(H) = \frac{(C_i(H))^\alpha}{\sum_{j=1}^n (C_j(H))^\alpha}$
最终支付金额 $p_i(H)$ 是总收入 $R(H)$ 的份额。智能体仅因既可接受又能改善验证效果的更新而获得奖励。

3. 主要贡献

框架集成： 本文将价值调节的更新过滤、基于 TL 的归因、在线贡献信号以及累积合作结算集成到一个统一的分布式学习机制中。
梯度层面的多元主义： 它引入了一种机制，允许智能体选择性地接受或拒绝更新方向（多元主义），而非拒绝整个任务，从而在共享模型中实现异质性的价值约束。
归因底层： 作者认为，由于 TL 保留了显式的遍历路径，因此它比 FedAvg 式的 FL 提供了一个更精细且透明的归因底层，使得在检查价值可容性之后进行贡献测量成为可能。
使多元主义运作化： 该框架将多元主义对齐从一个理论目标转化为训练时期的信用分配机制本身。

4. 结果与主张

本文主要是一个理论和架构层面的提议；它并未呈现实证实验结果或基准测试对比。相反，它对该框架的特性提出了以下主张：

可行性： 该框架允许在每一步计算本地信用信号，确保即使由于异质性价值约束导致全局收敛至单一最优解的过程并不完美，累积结算依然是定义良好的。
隐私与效率： 作者建议使用该框架的一个变体（称为 "TLplus"），可以在成员智能体端仅放置一个剪切层或浅层前向块，向协调器传输掩码激活值。这旨在保留 TL 的归因优势，同时降低客户端成本并限制信息泄露，借鉴了类似 SplitNN 的分片思想。
定位： 作者明确表示，他们并不声称在公平性或现有的 FL 激励机制方面优于 Shapley 式估值。他们的主张仅限于：TL 提供了一个更透明的底层，能够将价值可容性、贡献核算与奖励分配联系起来。

5. 意义

这项工作的意义在于试图解决 AI 合作社中价值约束与经济激励这一“耦合”问题。通过拒绝将异质价值观坍缩为单一目标的做法，该框架使多元主义在学习动力学中得以运作。它提议从事后聚合（其中贡献难以追踪）转向显式遍历（其中贡献是可追踪且可过滤的），为多样化且受价值约束的 AI 合作社提供了一条通往可持续激励结构的潜在路径。