💻 computer science

Partially Performative Prediction

本文引入了部分执行预测（partially performative prediction）的框架，该框架通过同时考虑由模型部署引起的内生分布偏移和由外部因素驱动的外生偏移，对传统的执行预测进行了泛化，同时扩展了稳定性与最优性的概念，以分析此类动态环境下的自适应学习启发式算法。

原作者： Jaewook Lee, Tijana Zrnic

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jaewook Lee, Tijana Zrnic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 "Partially Performative Prediction"（部分执行性预测） 的通俗化解释，采用了日常语言和类比。

核心问题：自我实现的预言

想象你是一名天气预报员。在过去，你的工作很简单：观察云层，预测是否会下雨，然后做到准确。天气并不会在意你说了什么，它只是自然发生。这就是计算机科学家所称的**“经典预测”（Classical Prediction）**。

但现在，想象你是一名股票分析师。如果你预测某只股票会上涨，人们可能会去买入，从而导致股价真的上涨。你的预测改变了你试图预测的现实。这被称为**“执行性预测”（Performative Prediction）**。数据因为你的行为而发生了偏移。

现有模型的缺陷：
目前的大多数研究假设存在两种极端情况之一：

纯粹的执行性（Purely Performative）： 数据变化的唯一原因是由于你的预测（例如股票市场的例子）。
纯粹的外生性（Purely Exogenous）： 数据变化的原因是完全不受你控制的外部因素（例如飓风导致的天气变化），而你的预测对它没有任何影响。

现实情况：
在现实世界中，情况几乎总是两者的结合。

例子： 一个信用评分算法预测谁更有可能违约。
- 执行性部分： 如果银行拒绝向某些人发放贷款，这些人可能会改变他们的行为（或停止申请），从而改变数据。
- 外生性部分： 经济衰退或新法律的出台。无论算法如何预测，这些因素都会改变数据。

这篇论文引入了**“部分执行性预测”（Partially Performative Prediction）**框架，旨在处理这种复杂的、真实的混合情况。

类比：在移动的人群中驾驶汽车

把训练 AI 模型想象成驾驶汽车。

目标： 你想保持在车道中心（最小化误差/损失）。
执行性偏移（你）： 如果你向左转向，周围的其他车辆可能会为了避开你而移动。你的动作改变了交通模式。
外生性偏移（路面）： 路面本身可能会弯曲，或者可能有风在推挤汽车。这些是你并未创造的力量。

“经典执行性预测” 假设路面是平直的，唯一移动的是响应你的交通流。
“经典在线学习” 假设交通流是静止的，但路面在你的轮胎下不断变化。

本论文的方法： 它承认两者都在发生。你在转向（影响交通），同时路面也在弯曲（外部力量）。

核心概念详解

1. “移动的目标”（The Moving Target）

在旧模型中，目标是找到一个“稳定点”——即一个一旦部署就不会再引起数据偏移的完美模型。这就像是在找一个停车位。

在这个新的“部分”世界里，没有永久的停车位。这个“完美模型”是一个移动的目标。

因为外部世界（外生性偏移）在变化，所以“最佳模型”每天都在变化。
因为你的模型会影响世界（执行性偏移），你捕捉目标的过程也会轻微地移动目标。

2. 遗憾值（Regret）：你落后了多少？

既然你无法“停车”，你就不能用“是否停下”来衡量成功。相反，你测量的是**“遗憾值”（Regret）**。

遗憾值是指你的表现与如果你能神奇地预知每一天最完美的模型时所能达到的表现之间的差距。
论文定义了两种遗憾值：
- 稳定性遗憾（Stability Regret）： 你距离当前本应处于稳定的模型还有多远？
- 最优性遗憾（Optimality Regret）： 你距离当前本应获得最佳结果的模型还有多远？

3. 路径长度（Path Length）：世界变化得有多快？

论文引入了一个关键指标，称为**“路径长度”**。

想象“完美模型”是一个跑步者。路径长度就是该跑步者随时间移动的总距离。
如果外部世界很平静（外生性偏移缓慢），跑步者移动得很慢。这很容易追踪。
如果外部世界很混乱（外生性偏移快速），跑步者会冲刺并左右横跳。这很难追踪。
论文证明，你的误差（遗憾值）很大程度上取决于这个路径长度。外部世界变化得越快，你的算法就越难跟上。

研究发现（结果）

作者测试了几种常见的更新 AI 模型的方法（如“重新训练”或“梯度下降”）在这一混合环境中的表现。以下是他们的发现：

1. “Alpha” ( $\alpha_t$ ) 的权衡
他们使用变量 $\alpha$ 来代表外部世界的影响程度与你的模型影响程度之间的比例。

如果 $\alpha$ 较低（主要是执行性）： 世界主要是在对你做出反应。论文显示，标准的重新训练在这种情况下效果很好。因为除非你触碰它，否则世界的“路径长度”是很小的。
如果 $\alpha$ 较高（主要是外生性）： 世界在自主变化。你的模型对塑造数据的能力较弱。论文显示，重新训练仍然有效，但是如果外部世界变化太快，你的误差将会增长。你本质上是在追逐一列失控的火车。

2. 重新训练依然有效（但有前提条件）
他们分析了“重复风险最小化”（RRM）——这只是“根据最新数据重新训练模型”的专业说法。

他们证明，只要重新训练得足够频繁，你就可以保持较低的遗憾值。
然而，这种遗憾值的“代价”与外部环境漂移的速度有关。如果外部漂移是不可预测的，你的误差就会更高。

3. 最优性更难实现
寻找“稳定点”（模型停止引起偏移的点）比寻找“最优点”（绝对的最佳表现）更容易。

要找到最优点，你需要预判你的模型将如何改变未来。
论文使用了“零阶优化”（本质上是通过“试探”系统来观察其反应）来寻找这些最优点。
他们证明，即使使用这种复杂的方法，只要目标移动得不是过于反复无常，你仍然可以追踪移动的最优目标。

一句话总结

这篇论文为 AI 模型在影响其预测世界的过程中，如何应对同时也在独立变化的外部世界提供了数学规则——并证明了只要外部世界的变化不是过于混乱，标准的重新训练方法仍然可以使 AI 保持在正轨上。

技术摘要：部分执行性预测 (Partially Performative Prediction)

问题陈述

本文针对现有执行性预测 (performative prediction) 框架的局限性进行了研究，这些框架将分布偏移建模为纯粹的内生性 (endogenous) 过程（即由部署的模型 $\theta$ 诱导）。在经典的执行性预测中，数据分布 $D(\theta)$ 仅根据学习者的行为而变化。然而，作者观察到，在现实的后果性领域（如金融、医疗、政策）中，分布偏移很少是纯粹内生的。它们通常是由模型的驱动作用与外生 (exogenous) 因素（如季节性效应、市场力量、政策变化）共同作用的结果，而这些外生因素是独立于学习者而演化的。

为了捕捉这种相互作用，本文引入了部分执行性预测。在此设定下，第 $t$ 轮的数据分布是一个随时间变化的混合分布：
$D_t(\theta) = (1 - \alpha_t)D(\theta) + \alpha_t P_t$
其中：

$D(\theta)$ 是依赖于模型 $\theta$ 的执行性成分。
$P_t$ 是随时间独立演化的外生分布。
$\alpha_t \in [0, 1]$ 控制着外生偏移的相对强度。

该框架推广了经典的执行性预测（当 $\alpha_t = 0$ 时恢复为经典模型），并趋向于纯粹的外生偏移设定（当 $\alpha_t = 1$ 时）。核心挑战在于，“目标”（最优或稳定的模型）不再是静态的；由于学习者的行为以及 $P_t$ 的外部演化，目标会发生漂移。

方法论与框架

1. 重新定义目标：动态遗憾 (Dynamic Regret)

由于环境是非平稳的，仅仅追求收敛到单一固定模型（如执行性稳定性或最优性所示）是不够的。作者提出通过相对于随时间变化的基准序列的动态遗憾来衡量性能：

执行性稳定性遗憾 ( $Reg^{PS}_T$ )： 将学习者的序列 $\{\theta_t\}$ 与执行性稳定点序列 $\{\theta^{PS}_t\}$ 进行比较，其中 $\theta^{PS}_t$ 在给定由 $\theta^{PS}_t$ 诱导的分布下的解耦风险最小化。
执行性最优性遗憾 ( $Reg^{PO}_T$ )： 将学习者与执行性最优点序列 $\{\theta^{PO}_t\}$ 进行比较，后者最小化执行性风险 $PR_t(\theta) = \mathbb{E}_{Z \sim D_t(\theta)}[\ell(Z, \theta)]$ 。

2. 关键分析工具：路径长度 (Path Length)

理论界限中的一个核心量是路径长度，定义为比较序列的累积移动量：
$\sum_{t=1}^{T-1} \Delta^{PS}_t \quad \text{其中} \quad \Delta^{PS}_t = \|\theta^{PS}_t - \theta^{PS}_{t+1}\|$
论文建立并证明，遗憾界限显式地取决于该路径长度，而路径长度是由外生分布 $P_t$ 的变化率和混合系数 $\alpha_t$ 所驱动的。

3. 分析的算法

本文分析了几种适配该设定的标准学习启发式算法：

重复风险最小化 (RRM)： 更新 $\theta_{t+1} = \arg\min_\theta \mathbb{E}_{Z \sim D_t(\theta_t)}[\ell(Z, \theta)]$ 。
重复梯度下降 (RGD)： 使用全期望梯度。
随机梯度下降 (SGD)： 包括“贪婪型”（每次部署使用一个样本）和“懒惰型”（每次部署进行多次采样/更新）变体。
零阶算法 (Zeroth-Order Algorithms)： 用于执行性最优性场景，因为执行性风险的梯度难以计算。这包括使用扰动模型来估计梯度的两次部署 (Two-Deployment) (ZGD2) 和单次部署 (Single-Deployment) (ZGD) 方法。

主要贡献与结果

1. 稳定性理论界限

作者推导了 RRM 和 RGD 的遗憾界限，这些界限显式地权衡了内生偏移与外生偏移。

定理 3.2 (RRM)： 在强凸性和光滑性假设下，稳定性遗憾被界定为：
$Reg^{PS}_T(ARRM) = O\left(1 + \sum_{t=1}^{T-1} \Delta^{PS}_t\right)$
收敛所需的收缩因子与经典设定相比有所放宽： $\epsilon < \frac{\mu}{(1-\alpha_{\min})\beta_z}$ 。
见解： 当偏移主要是执行性时（ $\alpha_t \approx 0$ ），路径长度消失，遗憾为常数。当偏移主要是外生性时（ $\alpha_t \approx 1$ ），遗憾取决于 $P_t$ 的非平稳性。如果 $P_t$ 剧烈波动，遗憾可能很大；如果 $P_t$ 近乎恒定，则遗憾保持在较低水平。

2. 最优性理论界限

对于执行性最优性，本文利用了零阶优化技术。

定理 5.2 & 5.3： 作者为两种部署算法提供了遗憾界限。这些界限随维度 $d$ 、时间跨度 $T$ 以及最优序列的路径长度 $\sum \Delta^{PO}_t$ 缩放。
凸性权衡： 论文指出，虽然较大的外生成分（ $\alpha_t \approx 1$ ）使得追踪目标变得更加困难（增加了路径长度），但它也使得执行性风险更有可能呈现凸性（因为如果损失函数是凸的，外生部分也是凸的）。相反，强烈的内生反馈即使在损失函数为凸的情况下，也可能导致执行性风险变为非凸。

3. 实验验证

在信用评分数据集（策略响应模型）和合成高斯数据上的实验验证了理论发现：

随机外生偏移： $\alpha_t$ 的快速衰减（减少了移动外生项的权重）会导致更低的遗憾。
平稳外生偏移： 保持较大的 $\alpha_t$ （更接近固定的、非执行性分布）会产生更低的遗憾。
实验遗憾曲线与不同 $\alpha_t$ 调度方案下的理论上界排序一致。

重要性与主张

本文声称提供了第一个将内生和外生分布偏移统一在单一学习模型下的框架。其主要意义在于：

泛化性： 它严格地推广了经典的执行性预测，表明标准算法（如 RRM）仍然有效，但在存在外生噪声的情况下需要重新评估收敛条件。
动态基准： 它将范式从静态平衡转向动态遗憾，承认在现实系统中，“最佳”模型是一个移动的目标。
权衡识别： 它显式地刻画了追踪移动目标的难度（外生漂移）与优化非凸景观的难度（内生反馈）之间的权衡。

作者对开放性问题保持谦逊，指出匹配遗憾速率的下界（特别是对于贪婪型 SGD）以及放宽正则性假设（凸性、敏感性）仍是未来研究的开放领域。他们还建议，遗憾定义可以自然地扩展到当前线性框架之外的非线性混合模型。