技术摘要：博弈论中基于熵的混合联盟框架。第一部分：人类仲裁

1. 问题陈述

经典的博弈论根植于冯·诺依曼（von Neumann）和摩根施恩（Morgenstern）的框架，假设智能体具有固定的决策权限和满足完备性、传递性和阿基米德性质等公理的标准偏好结构。然而，人机混合系统呈现出一个根本性的挑战：在数字环境中，执行权限可以在人类组件与人工智能（AI）组件之间进行内生性的交替。在这种设定下，联盟行为无法由单一的平滑偏好排序或标准效用函数来表示。现有的混合方法通常只是混合效用，或将权限视为静态，未能捕捉到由于政策分歧导致执行智能体在每一步发生变化的动态控制过程。本文旨在解决经典均衡概念在处理处于“虚拟自然”（Virtual Nature，即经典自然在算法层面的对应物）下的混合联盟时表现出的局限性，并寻求建立一个使委托过程具有动态性和依赖于机制（regime-dependent）的正式化框架。

2. 方法论：新博弈论（Neo-Game Theory）

作者引入了新博弈论，这是对旨在处理人机混合联盟的经典博弈论的一种扩展。该框架建立在以下支柱之上：

2.1. 虚拟自然与混合博弈

环境被建模为虚拟自然 ($V$)，这是一个转移函数 $V: S \times A \to \Delta(S)$，捕捉了算法的随机性、硬阈值和不连续性。一个混合博弈定义为一个元组 $N(V) = (S, A, U, \lambda, P_V)$，其中：

• $S$ 是状态空间。
• $A$ 是共同执行的动作空间（人类提议集与 AI 提议集的并集）。
• $U = \{U_H, U_{AI}\}$ 是个体效用函数。
• $\lambda_T \in \{0, 1\}$ 是二进制委托因子，决定在时间 $T$ 执行动作的智能体。
• $P_V$ 是由虚拟自然生成的转移核。

2.2. 公理偏离

该框架在联盟层面放宽了经典公理：

• 传递性失效： 交替控制可能导致非传递性的显现偏好（例如，$A \succ B, B \succ C, C \succ A$），即便个体智能体本身是具有传递性的。
• 阿基米德公理失效： 联盟不表现出平滑的权衡；人类的调整是渐进的，而 AI 的优化可以是离散的。
• 词典序效用： 联盟结果按词典序进行比较。执行机制（人类 vs. AI）在效用评估之前被选定，这意味着机制之间不存在补偿性权衡。

2.3. 基于熵的委托机制

委托由人类经验策略 ($p_H$) 与 AI 策略 ($p_{AI}$) 之间的詹森-香农（Jensen–Shannon, JS）散度 ($D_{JS}$) 决定。该框架利用两个固定阈值 $\alpha_{agree}$ 和 $\alpha_{disagree}$ 将策略空间划分为三个机制（regimes）：

1. 一致（Agreement, $D_{JS} \le \alpha_{agree}$）： AI 执行（$\lambda = 0$）。
2. 分歧（Disagreement, $D_{JS} \ge \alpha_{disagree}$）： 人类执行（$\lambda = 1$）。
3. 上下文/过渡（Contextual, $\alpha_{agree} < D_{JS} < \alpha_{disagree}$）： 执行由概率规则决定，其中人类执行的概率等于 $D_{JS}$。

2.4. 学习动力学与均衡

本文重点研究场景 1：人类仲裁，其中人类保留最终执行权。

• 策略更新： AI 在所有机制下都会向被执行的动作进行策略更新。人类仅在一致机制下（$D_{JS} \le \alpha_{agree}$）更新其策略。
• 效用轨迹： 效用通过基于执行动作的指数加权移动平均（EWMA）轨迹进行在线更新。
• 均衡概念： 本文定义了一个频率收敛均衡（Frequency-Convergence Equilibrium）。不同于经典的纳什均衡（最优反应的固定点），这是一种随机策略适应过程的动态稳定化。其特征是经验机制频率（$f_{agree}, f_{ctx}, f_{disagree}$）的渐近稳定。

3. 核心贡献

1. 新博弈论的正式化： 本文建立了混合联盟的公理基础，论证了交替权限如何导致词典序效用结构以及经典传递性的潜在失效。
2. 基于熵的委托： 提出了一种基于 Jensen–Shannon 散度的创新委托规则，利用阈值创建了不同的执行机制（一致、上下文、分歧）。
3. 人类仲裁机制： 作者开发并模拟了该理论的第一种机制（人类仲裁），其中 AI 通过观察和频率匹配进行学习，而人类则充当最终仲裁者。
4. 理论特征化： 本文证明了在 Robbins–Monro 步长或常数增益下，系统会收敛到稳定的策略频率分布。它确立了在特定条件下，散度过程是渐近平稳且遍历的。

4. 结果

作者在各种时界（$H \in \{200, \dots, 50,000\}$）和参数网格（阈值、学习率、步长调度、状态生成模式）下进行了模拟。主要发现包括：

• 收敛性： 在所有时界下，人类与 AI 的策略逐渐趋同，导致 Jensen–Shannon 散度 ($D_{JS}$) 趋于零。
• 参数的作用：
  • 学习率 ($\eta$)： 常数步长加速了早期对齐，但会引起微小振荡。递减步长（Robbins–Monro）能产生更平滑、更稳定的收敛轨迹。
  • 阈值： 阈值决定了机制切换的频率，但不会改变长期的对齐结果。
  • 状态生成： 状态是外生生成的（随机）还是内生生成的（依赖于动作）会影响短期波动性，但不影响渐近均衡。
• 瞬态与渐近： 参数主要影响瞬态学习路径（速度和噪声），而非收敛本身的存在。在足够大的时界（$H \ge 30,000$）下，系统达到饱和机制，此时策略对齐且 $D_{JS} \approx 0$，无论具体的学习计划或环境规范如何。
• 稳定性： 系统展示了鲁棒的策略对齐，且不依赖于经典的基于最优反应的优化。稳定性源于重复执行、经验适应以及委托规则的统计结构。

5. 意义与主张

本文声称提供了更广泛的新博弈论框架中的第一个机制（人类仲裁）。其意义在于：

• 理论基础： 它为权限交替的混合系统提供了公理基础，超越了仅简单聚合效用的模型。
• 行为均衡： 它将均衡重新定义为经验频率和策略散度的动态稳定化，而非静态的策略固定点。
• 实际应用： 模拟结果验证了基于熵的委托可以稳健地驱动混合系统中的策略对齐，这为人类在环（human-in-the-loop）训练和信任敏感型 AI 系统提供了一种可行的机制。

作者明确指出，这项工作为未来的扩展奠定了基础，特别是 AI 控制 和 谈判 机制，这将允许与在数字介导环境下建立的成熟解概念（如纳什均衡和斯塔克尔伯格均衡）进行系统性比较。本文并不声称解决了所有混合交互问题，而是形式化了其中一类特定的交互，即执行权限是内生且由策略驱动的。