📊 statistics

Performative Learning Theory

本文为表演性预测建立了一个统计学习框架，证明了模型的影响力与泛化能力之间存在着一种根本性的权衡，同时表明在扭曲样本上进行重训练反而能奇迹般地提高泛化保证。

原作者： Julian Rodemann, Unai Fischer-Abaigar, James Bailie, Krikamol Muandet

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Julian Rodemann, Unai Fischer-Abaigar, James Bailie, Krikamol Muandet

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：“自我实现”与“自我否定”的水晶球

想象你拥有一个能预知未来的水晶球。在传统的机器学习时代，我们假设水晶球只是一个被动的观察者：它观察世界，做出预测，而世界保持原样。

但在现实世界中，预测往往会改变世界。这就是所谓的**“表演性”（Performativity）**。

自我否定的预测： 想象一个导航应用预测某条特定道路会出现交通拥堵。因为这个预测，所有人都避开了那条路。结果呢？交通拥堵消失了。这个预测在当下是“正确”的，但由于它的发布，它让自己变得错误。世界对预测做出了反击。
自我实现的预测： 想象一个就业中心使用人工智能来预测谁处于长期失业的高风险中。AI 将某人标记为“高风险”，于是就业中心为他们提供了额外的培训。由于这份额外的帮助，那个人找到了工作。预测实现了，但仅仅是因为预测本身促成了这一结果。

这篇论文提出了一个难题：如果你的预测改变了你正在学习的数据，你还能信任你的模型吗？

核心问题：“回声壁” vs. “反叛者”

作者引入了一个新的理论，称为**“表演性学习理论”（Performative Learning Theory）**。他们解释说，当你训练一个模型时，你通常使用一小部分样本数据（就像一次试吃）来预测它在整个群体（整家餐厅）中的表现。

然而，如果你的预测会改变行为，两种奇怪的情况可能会同时发生：

样本变成了“回声壁”（自我实现）： 你测试的小部分人群可能会完全按照你的预期做出反应。他们看到了预测，并调整行为以符合预测，模型由此认为：“哇，我太完美了！”模型因此产生了虚假的自信，因为它被样本“欺骗”了，因为样本在证实它自身的偏见。
总体人群变成了“反叛者”（自我否定）： 世界的其他部分（总体人群）可能会做出完全相反的反应。他们看到了预测，感到不满，并采取截然相反的行为。当模型试图将它那“完美”的训练成果应用于现实世界时，它就失败了。

类比： 想象一位老师给几个学生进行测试（样本）。

如果老师说：“这道题很简单”，学生们于是更加努力学习并拿到了100分，老师就会认为这道题确实简单。
但如果老师随后把同样的测试发给全校学生，而其他学生想：“他觉得这题简单？那我就让它变难吧”，结果大家都考砸了，那么老师的模型就错了。

权衡：改变世界 vs. 从中学习

论文发现了一个基本的权衡关系，就像一个跷跷板：

你改变世界的程度越多（干预），你就越难从中学习。
你试图从世界中学习的程度越高，你就越不应该试图改变它。

如果一个就业中心试图通过根据预测分配培训计划来帮助所有人，他们可能会帮助到那些个体。但这样做同时也改变了数据，以至于他们无法再分辨出自己的模型究竟是优秀的，还是仅仅创造了一个虚假的现实。这就像是在拿着喷火枪对着温度计测量室温一样。

解决方案：如何保持模型的诚实

作者证明了一些数学公式（界限/bounds），告诉我们在这些棘手的情况下可以预期多少误差。他们为机构（如就业中心或导航应用）提供了一个实用的策略：

不要仅仅在改变后的数据上重新训练： 如果你不断在已经被你的预测所改变的数据上重新训练模型，你会陷入那个“回声壁”中，导致模型变得越来越差。
利用“初始拟合”： 论文建议，你的第一个模型（在任何变化发生之前训练的模型）通常是最可靠的基准。
结合线索： 你可以利用在小样本中观察到的变化，来估算整个总体会如何反应。这就像是一个风向标：如果花园里的小风向标动了，你可以推测出整个城市的风向，即使城市本身的反应可能不同。

论文中的现实案例

作者在德国就业局（German Employment Agency）的真实数据上进行了测试。

设定： 他们研究了失业人员的数据。该机构使用一个模型来预测谁会长期失业。
转折： 被预测为高风险的人获得了职业培训。这种培训帮助他们找到了工作，从而改变了数据。
结果： 作者证明，如果该机构试图同时帮助太多人（改变数据过多），其对新人群的未来预测能力会显著下降。他们通过数学证明，在预测变得不可靠之前，存在一个可以进行干预的极限。

总结

这篇论文并不是说“停止做预测”。相反，它为**“如何在预测会改变世界的环境下进行预测”**提供了一套规则手册。

它警告我们：如果你在比赛进行的同时改变了游戏规则，你可能会忘记规则本身。 但如果你足够谨慎，你可以利用在测试组中看到的微小变化，去理解整个世界将如何反应，从而构建出即使在积极塑造现实时依然稳健的模型。

技术摘要：表演性学习理论 (Performative Learning Theory)

1. 问题陈述

机器学习系统已从数据的被动分析者演变为世界的积极塑造者。在许多领域，预测模型的部署会影响其旨在预测的结果，这种现象被称为表演性预测 (Performative Predictions, PP)。虽然先前的研究（例如 Perdomo 等人，2020；Brown 等人，2022）已经形式化了 PP 并研究了模型在群体层面反馈循环下的稳定性与最优性，但仍存在一个关键空白：表演性下的泛化问题。

具体而言，现有文献未能充分解决当以下情况发生时，模型如何从有限训练样本泛化到总体的问题：

样本本身会对模型的预测做出反应（例如，处于测试阶段的用户根据 App 的推荐改变行为）。
总体会对预测做出反应。
两者都会做出反应，且可能以冲突的方式进行。

核心问题在于，在表演性样本上训练的模型，能否以及能在多大程度上泛化到表演性总体，以及其泛化误差的理论界限是多少。

2. 方法论与框架

作者引入了表演性学习理论 (Performative Learning Theory, PLT)，将表演性预测嵌入统计学习理论之中。该框架通过考虑样本分布 ( $\hat{d}_t$ ) 和总体分布 ( $d_t$ ) 随时间 $t$ 的演变，对标准设定进行了泛化。

关键定义与假设

有状态转移 (Stateful Transition)： 分布的演变由未知的转移映射 $Tr $控制，其中$ d_t = Tr(d_{t-1}, \theta_t) $。这泛化了仅依赖于$ \theta_t$ 的无状态模型。
风险最小化： 本研究考虑了在总体上进行的重复风险最小化 (RRM) 以及在样本上进行的重复经验风险最小化 (RERM)。
条件： 分析依赖于 PP 文献中的标准假设：
- 强凸性： 损失函数 $\ell$ 对参数 $\theta$ 是 $\gamma$ -强凸的。
- Wasserstein 敏感性： 转移映射 $Tr $是$ (\varepsilon, p)$-联合敏感的，这意味着分布之间的 Wasserstein 距离随参数和前一分布的变化呈线性偏移。
- 正则性： 损失函数在数据上是 Lipschitz 连续的，且在参数上是连续可微的。

理论方法

作者通过分析分布之间的 Wasserstein 距离来推导泛化界限。他们利用了：

收敛界限： 利用 Fournier & Guillin (2015) 来限制初始样本与真实总体之间的距离。
样本内偏移界限： 推导由于训练循环内的表演性效应导致的样本分布偏移量。
覆盖数 (Covering Numbers)： 使用覆盖数熵积分 (Kolmogorov & Tikhomirov, 1959) 而非 Rademacher 复杂度，以处理分布支撑集（support）的动态特性。
Wasserstein 空间中的对偶性： 将自否定（总体）和自实现（样本）预测分别视为极大极小 (min-max) 和极小极小 (min-min) 风险泛函，从而允许使用经验过程理论进行局部分布鲁棒且有利的学习。

3. 核心贡献与结果

本文针对不同表演性场景下的四个特定研究问题 (RQ1–RQ4) 进行了探讨：

RQ1: 样本表演性下的泛化

场景： 模型在对预测做出反应的样本上进行重训练，但总体并未做出反应（或尚未被观察到）。
结果 (定理 3.7)： 作者证明了超额风险 $R(d_0, \hat{\theta}_T) - \inf R(d_0, \theta)$ 的上界。
核心洞察： 该界限取决于表演性响应率 ( $m/n$ ，即改变行为的样本单元比例)。如果 $m = o(n)$ ，则当 $n \to \infty$ 时，界限趋于零。然而，如果样本反应强烈，界限会增大，这表明存在一种权衡：通过操纵样本来改善结果，会降低从该样本中学习可泛化属性的能力。

RQ2: 全面表演性下的泛化

场景： 模型在样本上训练，随后部署到一个会对预测做出反应的总体中。
结果 (定理 3.10 & 3.13)： 推导了表演性超额风险（在偏移后的总体上的误差）和泛化差距（在偏移后的总体上的风险与在偏移后的样本上的风险之差）的界限。
结构性洞察： 在最坏情况下，样本通过自实现预测（欺骗性地证实模型）创造了一个“经验回声室”，而总体则自否定这些预测（做出相反的行为）。这在训练性能与样本外性能之间造成了根本性的差距。
推论 3.11： 一个实际的洞察建议，通过使用初始拟合 ( $\hat{\theta}_0$ ) 在样本外数据上进行评估，并结合观察到的样本偏移来估计总体偏移，可以获得最紧密的泛化保证，而不是在扭曲的样本上反复重训练。

RQ3: 累积表演性超额风险

场景： 模型在样本上训练，随后部署到一个总体中，并在该总体上进行反复的重训练。
结果 (定理 3.16)： 本文提供了随时间变化的累积误差界限。分析表明，累积误差是由初始的样本到总体的偏移以及随后的总体动态驱动的。

RQ4: 推断差距

场景： 比较经验风险最小化器（在样本上训练）与理论风险最小化器（在总体上训练）。
现状： 本文指出，对于渐近情况 ( $n \to \infty$ )，这一问题已由近期工作 (Li 等人, 2025b) 部分回答，并指出针对有状态表演性的有限样本分析仍是一个开放的研究方向。

4. 实证说明

作者使用来自德国联邦就业局 (1975–2017) 关于求职者画像的真实行政数据来阐明其界限。

设置： 一个逻辑回归模型预测长期失业风险。高风险个体会被分配到职业培训，如果培训有效，则会降低其失业风险，从而产生表演性效应。
发现： 界限成功量化了泛化差距。随着被分配到培训的求职者比例 ( $\xi$ ) 的增加，界限中的表演性项也随之增长，展示了**“改变-学习”权衡 (change-learn trade-off)**：模型改变世界（通过分配更多培训）的程度越高，其对总体进行预测的可靠性就越低。

5. 意义与主张

本文声称开启了对表演性下可学习性 (learnability under performativity) 的研究。其主要贡献在于：

理论基础： 它建立了第一套考虑有限样本以及样本与总体反应差异的表演性预测泛化界限。
基本权衡： 它形式化了干预（通过预测改变世界）与推断（从产生的数据中学习）之间的权衡。模型对环境的影响越大，从产生的数据中进行泛化的难度就越大。
回声室机制： 它识别了一种特定的机制，即样本可以通过自实现预言“欺骗”模型，而总体则会“否定”它们，从而导致泛化差距扩大。
实践指导： 它提供了一个具有理论依据的反直觉建议：面对表演性时，依靠初始模型拟合结合偏移估计（源自样本反应）可能比在扭曲数据上持续重训练能获得更紧密的保证。

作者保持了谦逊的基调，承认其界限依赖于特定的正则性条件（强凸性、Lipschitz 连续性），并且转移映射 $Tr$ 被视为一个黑盒。他们将这项工作定位为理解高风险领域（如就业服务、金融和刑事司法）中预测系统局限性的基础性一步，在这些领域中，预测会主动塑造结果。