📊 statistics

Performative Learning Theory

本論文は、パフォーマティブな予測のための統計的学習フレームワークを確立し、モデルの事象への影響力と汎化能力の間に根本的なトレードオフが存在することを証明するとともに、歪められたサンプルを用いて再学習を行うことが、逆説的に汎化の保証を向上させ得ることを示している。

原著者： Julian Rodemann, Unai Fischer-Abaigar, James Bailie, Krikamol Muandet

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Julian Rodemann, Unai Fischer-Abaigar, James Bailie, Krikamol Muandet

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：「自己成就」と「自己否定」の水晶玉

あなたは未来を予言する水晶玉を持っていると想像してください。従来の機械学習の世界では、水晶玉は単なる受動的な観察者であると想定されてきました。世界を観察し、推測を出し、世界はそのままの状態を維持するというものです。

しかし、現実の世界では、予測がしばしば世界を変えてしまいます。これを**パフォーマティビティ（遂行性）**と呼びます。

自己否定的な予測： ナビゲーションアプリが、特定の道路で渋滞が発生すると予測したとします。この予測があるために、誰もがその道路を避けます。その結果はどうなるでしょうか？渋滞は消滅します。予測はその瞬間においては「正しかった」のですが、それが発表されたことによって、予測自体を間違いにしてしまったのです。世界が予測に対して抵抗したのです。
自己成就的な予測： 就職支援センターが、誰が高リスクで失業状態が続くかを予測するためにAIを使用しているとします。AIがある人物を「高リスク」とフラグ立てしました。そのため、センターはその人に特別なトレーニングを提供します。その追加のサポートのおかげで、その人は仕事を見つけます。予測は的中しましたが、それは予測そのものが結果を引き起こしたからこそ実現したのです。

この論文は、難しい問いを投げかけます。もしあなたの予測が、学習対象となるデータ自体を変えてしまうとしたら、そのモデルをまだ信頼できると言えるのでしょうか？

コアとなる問題：「エコーチェンバー」対「反逆者」

著者らは、**パフォーマティブ学習理論（Performative Learning Theory）**という新しい理論を導入しています。彼らは、モデルを訓練する際、通常は小さなサンプル（例えば、レストランでの試食）を使用して、それが全人口（レストラン全体）に対してどのように機能するかを予測することを説明しています。

しかし、予測が行動を変えてしまう場合、2つの奇妙なことが同時に起こり得ます。

サンプルが「エコーチェンバー（共鳴室）」になる（自己成就）： あなたがテストしている小さなグループの人々は、まさにあなたが予想した通りに反応するかもしれません。彼らは予測を目にし、それに合わせて行動を変えるため、モデルは「うわあ、完璧だ！」と考えます。サンプルが自身のバイアスを裏付けることでモデルを「欺いて」いるため、モデルは誤った自信を得てしまいます。
母集団が「反逆者」になる（自己否定）： 世界の他の人々（母集団）は、全く逆の反応を示すかもしれません。彼らは予測を目にし、苛立ち、それとは反対の行動をとります。モデルが、その「完璧な」訓練を現実の世界で使おうとしたとき、失敗に終わるのです。

例え話： 教師が数人の生徒（サンプル）にテストを実施している場面を想像してください。

もし教師が「この問題は簡単だ」と言い、生徒たちがより熱心に勉強して100点を取ったなら、教師は「このテストは簡単だ」と思い込みます。
しかし、その教師が同じテストを学校全体に実施したとき、他の生徒たちが「彼は簡単だと思っているのか？なら、難しくしてやろう」と考えて全員が不合格になったとしたら、教師のモデルは間違っていたことになります。

トレードオフ：世界を変えること vs 世界から学ぶこと

この論文は、シーソーのような根本的なトレードオフを発見しました。

世界を変えれば変えるほど（介入）、そこから学ぶことは難しくなります。
世界から学ぼうとすればするほど、世界を変えようとしてはいけません。

もし就職支援センターが、予測に基づいて全員にトレーニングプログラムを割り当てることで助けようとすれば、個々の人々を助けることはできるでしょう。しかし、そうすることでデータをあまりにも大きく変えてしまうため、自分のモデルが本当に優れているのか、それとも単に偽りの現実を作り出しているだけなのかを判別できなくなります。これは、温度計にバーナーを押し当てながら、部屋の温度を測ろうとしているようなものです。

解決策：モデルの誠実さを保つには

著者らは、このようなトリッキーな状況において、どの程度の誤差を想定すべきかを示す数学的な式（境界）を証明しています。彼らは、機関（就職支援センターやナビゲーションアプリなど）に対して、実践的な戦略を提示しています。

変更されたデータに基づいて再学習しない： 自分の予測によってすでに変化してしまったデータに基づいてモデルを再学習し続けると、その「エコーチェンバー」に陥り、モデルはさらに悪化していきます。
「初期適合（Initial Fit）」を利用する： 論文では、最初に行ったモデル（変化が起こる前に訓練されたもの）が、最も信頼できるベースラインになることが多いと示唆しています。
手がかりを組み合わせる： 小さなサンプルで見られる「変化」を利用して、母集団全体がどのように反応するかを推定することができます。これは風向計のようなものです。庭にある小さな風向計が動いたのを見れば、たとえ街全体が異なる反応を示したとしても、街全体でどのように風が吹いているかを推測できるのです。

論文における実世界の例

著者らは、ドイツの雇用庁の実際のデータを用いてテストを行いました。

設定： 彼らは失業者に関するデータを調査しました。機関は、誰が長期的な失業状態になるかを予測するモデルを使用していました。
ひねり： 高リスクと予測された人々には、職業訓練が行われました。この訓練が仕事を見つける手助けとなり、データを変化させました。
結果： 著者らは、もし機関が一度に多くの人々を助けようとしすぎると（データを変えすぎると）、新しい人々に対するモデルの予測能力が著しく低下することを明らかにしました。彼らは、予測が信頼できなくなる「介入の限界」が存在することを数学的に証明しました。

まとめ

この論文は「予測をするのをやめろ」と言っているのではありません。代わりに、**「予測が世界を変えてしまうときに、どのように予測すべきか」**というルールブックを与えてくれるのです。

論文は警告しています。**「ゲームをプレイしている最中にルールを変えてしまうと、ルールを忘れてしまう可能性がある」**と。しかし、注意深く行えば、テストグループで見られる小さな変化を利用して、世界全体がどのように反応するかを理解することができ、現実を積極的に形作りながらも、堅牢なモデルを構築することが可能になります。

技術要約：パフォーマティブ学習理論 (Performative Learning Theory)

1. 問題提起

機械学習システムは、データを単に分析する受動的な存在から、世界を能動的に形作る存在へと進化してきました。多くの領域において、予測モデルの展開は、それが予測しようとしている事象そのものに影響を与えます。これは「パフォーマティブな予測 (performative predictions, PP)」として知られる現象です。先行研究（例：Perdomo et al., 2020; Brown et al., 2022）は、PPを定式化し、集団レベルのフィードバックループ下でのモデルの安定性と最適性を研究してきましたが、決定的な欠落が残っています。それは、パフォーマティビティ（遂行性）下における汎化性能です。

具体的には、既存の文献は、以下の状況においてモデルが有限の訓練サンプルから母集団へとどの程度汎化できるかについて、十分に扱っていません：

サンプル自体がモデルの予測に反応する場合（例：ベータテスト中のユーザーがアプリの推奨に基づいて行動を変える）。
母集団が予測に反応する場合。
両方が反応し、場合によっては互いに相反する形で反応する場合。

中心的な問いは、パフォーマティブなサンプルから学習したモデルが、パフォーマティブな母集団に対してどの程度、またどのように汎化できるのか、そしてその汎化誤差の理論的境界はどのようなものか、という点です。

2. 手法とフレームワーク

著者らは、統計的学習理論の中にパフォーマティブな予測を組み込んだ「パフォーマティブ学習理論 (Performative Learning Theory, PLT)」を導入しています。このフレームワークは、時間の経過 $t$ に伴うサンプル分布 ( $\hat{d}_t$ ) と母集団分布 ( $d_t$ ) の進化を考慮することで、標準的な設定を一般化しています。

主要な定義と仮定

状態を持つ遷移 (Stateful Transition): 分布の進化は、未知の遷移写像 $Tr $によって制御されます。ここで$ d_t = Tr(d_{t-1}, \theta_t) $です。これは、分布が$ \theta_t$ にのみ依存するステートレス（状態を持たない）なモデルを一般化したものです。
リスク最小化: 本研究では、母集団に対する反復リスク最小化 (RRM) と、サンプルに対する反復経験リスク最小化 (RERM) の両方を検討します。
条件: 分析は、PPの文献における標準的な仮定に基づいています：
- 強凸性: 損失関数 $\ell$ はパラメータ $\theta$ に関して $\gamma$ -強凸です。
- ワッサースタイン感度: 遷移写像 $Tr $は$ (\varepsilon, p)$-結合感度を持ち、分布間のワッサースタイン距離は、パラメータと前回の分布の変化に対して線形に変化します。
- 正則性: 損失はデータに対してリプシッツ連続であり、パラメータに対して連続微分可能です。

理論的アプローチ

著者らは、分布間のワッサースタイン距離を分析することで、汎化境界を導出しています。これには以下が含まれます：

収束境界: 初期サンプルと真の母集団との間の距離を抑え込むために、Fournier & Guillin (2015) を活用。
サンプル内シフト境界: 訓練ループ内のパフォーマティブな影響によって、サンプル分布がどの程度シフトするかについての境界を導出。
被覆数 (Covering Numbers): 動的な分布のサポートを扱うため、ラデマッハー複雑さではなく、被覆数エントロピー積分 (Kolmogorov & Tikhomirov, 1959) を使用。
ワッサースタイン空間における双対性: 自己否定的な（母集団）予測と自己成就的な（サンプル）予測を、それぞれ min-max リスク汎関数と min-min リスク汎関数として捉え、局所的に分布論的に頑健かつ好ましい学習のための経験過程理論の使用を可能にします。

3. 主要な貢献と結果

本論文は、異なるパフォーマティビティのシナリオに関する4つの具体的な研究課題 (RQ1–RQ4) に取り組みます。

RQ1: サンプル・パフォーマティビティ下での汎化

シナリオ: モデルは予測に反応するサンプル上で再学習されるが、母集団は反応しない（あるいはまだ観測されていない）。
結果 (Theorem 3.7): 著者らは、超過リスク $R(d_0, \hat{\theta}_T) - \inf R(d_0, \theta)$ の上界を証明します。
重要な洞察: 境界は、パフォーマティブ応答率 ( $m/n$ 、行動を変えるサンプル単位の割合) に依存します。 $m = o(n)$ であれば、 $n \to \infty$ において境界は消失します。しかし、サンプルが強く反応する場合、境界は増大します。これは、アウトカムを改善するためにサンプルを操作することは、そのサンプルから汎化可能な特性を学習する能力を低下させるというトレードオフを示しています。

RQ2: 完全なパフォーマティビティ下での汎化

シナリオ: モデルはサンプルで学習された後、予測に反応する母集団に展開される。
結果 (Theorem 3.10 & 3.13): パフォーマティブ超過リスク（シフトした母集団における誤差）と、汎化ギャップ（シフトした母集団におけるリスクとシフトしたサンプルにおけるリスクの差）についての境界が導出されます。
構造的洞察: 最悪の場合、サンプルは自己成就的 (self-fulfilling) な予測（モデルを欺くように肯定的な結果を生む）によって「経験的なエコーチェンバー」を作り出し、一方で母集団はそれらを自己否定 (self-negating) します（逆の動きをする）。これにより、訓練時のパフォーマンスとアウトオブサンプルでのパフォーマンスの間に根本的な乖離が生じます。
系 (Corollary 3.11): 実用的な洞察として、歪んだサンプル上で繰り返し再学習を行うよりも、観測されたサンプルのシフトから母集団のシフトを推定しながら、初期適合 ( $\hat{\theta}_0$ ) をアウトオブサンプルデータに適用する方が、最もタイトな汎化保証が得られることが示唆されています。

RQ3: 累積パフォーマティブ超過リスク

シナリオ: モデルはサンプルで学習された後、シフトする母集団に対して繰り返し再学習されながら展開される。
結果 (Theorem 3.16): 累積誤差に関する境界が提供されます。分析によれば、蓄積される誤差は、初期のサンプルから母集団へのシフトと、その後の母集団のダイナミクスによって駆動されます。

RQ4: 推論ギャップ

シナリオ: 経験的リスク最小化器（サンプルで訓練されたもの）と理論的リスク最小化器（母集団で訓練されたもの）の比較。
状況: 本論文は、これが漸近的なケース ( $n \to \infty$ ) については最近の研究 (Li et al., 2025b) によって部分的に回答されていることを指摘し、ステートフルなパフォーマティビティにおける有限サンプル分析を今後の課題として挙げています。

4. 実証的例示

著者らは、ドイツ連邦雇用庁の行政データ（1975年–2017年）を用いた求職者プロファイリングを用いて、これらの境界を実証しています。

設定: ロジスティック回帰モデルが長期失業リスクを予測します。高リスク者に職業訓練が割り当てられ、それが（効果的であれば）失業リスクを減少させることで、パフォーマティブな効果を生み出します。
知見: 境界は汎化ギャップをうまく定量化しています。職業訓練に割り当てられる求職者の割合 ( $\xi$ ) が増加するにつれ、境界におけるパフォーマティブ項が増大します。これは、**「変化と学習のトレードオフ (change-learn trade-off)」**を実証しています。つまり、モデルが（予測によって）母集団をより多く変えるほど、その結果得られるデータから学習することが困難になるのです。

5. 意義と主張

本論文は、パフォーマティビティ下における学習可能性 (learnability under performativity) の研究を開始するものと主張しています。その主な貢献は以下の通りです：

理論的基礎: 有限のサンプルと、サンプルおよび母集団の反応の区別を考慮した、パフォーマティブな予測に関する最初の汎化境界のセットを確立しました。
根本的なトレードオフ: 介入（予測を通じて世界を変えること）と推論（結果として得られるデータから学習すること）の間のトレードオフを定式化しました。モデルが環境に影響を与えれば与えるほど、その結果得られるデータから汎化することは困難になります。
エコーチェンバーのメカニズム: サンプルが自己成就的な予言を通じてモデルを「欺き」、一方で母集団がそれを「否定」することで、汎化ギャップを増大させるという特定のメカニズムを特定しました。
実用的な指針: パフォーマティビティに直面した場合、継続的な再学習を行うよりも、初期のモデル適合と（サンプルの反応から導出された）シフトの推定量を組み合わせる方が、よりタイトな保証を得られる可能性があるという、直感に反するが理論的に裏付けられた推奨事項を提示しています。

著者らは、自身の境界が特定の正則条件（強凸性、リプシッツ連続性）に依存しており、遷移写像 $Tr$ がブラックボックスとして扱われていることを認め、控えめなトーンを維持しています。彼らは、この研究を、雇用サービス、金融、刑事司法などのハイステークスな領域において、予測が結果を積極的に形作る現状における、予測システムの限界を理解するための基礎的な一歩として位置づけています。