技術的概要：未知のネットワーク干渉下における適応的ポリシー学習

問題定義

多くの実験設定において、単位の結果は、その単位自身の処置だけでなく、基盤となるネットワーク内の隣接単位に割り当てられた処置にも依存する。この現象は干渉（interference）またはスピルオーバーとして知られ、安定単位処置値仮説（SUTVA）に違反する。干渉下での静的実験に対する因果推論の文献は、堅牢な手法を開発してきた（例：Sussman and Airoldi, 2017; Aronow and Samii, 2017）が、これらのアプローチは通常、干渉ネットワークが既知であると仮定するか、粗いクラスターレベルのランダム化に依存している。

既存の適応的（逐次的）実験手法は、以下のような重大な限界に直面している：

1. 既知のネットワーク仮定：Gleich ら（2025）のようなスケーラブルな手法は、ネットワーク構造が完全に観測されていると仮定しているが、社会的または行動的なつながりが潜在的である多くの応用においては非現実的である。
2. スケーラビリティの問題：Agarwal ら（2024）のようにネットワーク構造の学習を試みる手法は、すべての可能な隣接構成に対するフーリエ解析に依存しており、パラメータ数が隣接サイズに対して指数関数的に増加する。これらの手法は、おおよそ $n \approx 12$ の単位を超えてスケーリングできない。
3. 粒度の喪失：他の適応的デザイン（例：Viviano and Rudder, 2024）は、事前に定義されたクラスター上で動作し、個体レベルの最適化を迂回し、干渉ネットワークそのものを回復できない。

本論文が扱う核心的な課題は、逐次的設定において未知の干渉ネットワークを学習し、個体レベルの処置割り当てを最適化することを同時に実行し、累積結果（例：収益、健康指標）を最大化することである。

手法

著者らは、ギブスサンプリャを使用して干渉ネットワークと報酬パラメータを同時に推論するトンプソンサンプリング（TS）を提案する。

1. モデル設定

• 設定：$T$ ラウンドにわたり $n$ 個の単位に対して二値処置 $Z_t \in \{0, 1\}^n$ を逐次的に割り当てる。予算制約 $\|Z_t\|_1 \le B$ に従う。
• 隣接干渉仮定（NIA）：単位 $i$ の結果は、その単位自身の処置と、未知の隣接行列 $A$ によって定義される隣接単位の処置のみに依存する。
• 報酬モデル：期待結果はパラメータベクトル $\theta$ に対して線形であり、$r(Z; A, \theta) = H(Z; A)\theta$ である。設計行列 $H$ はネットワーク $A$ に依存する。

2. ギブスによる同時事後サンプリング

尤度関数は隣接数に起因して $A$ に対して非線形であるため、閉形式の事後分布は利用できない。著者らは、事後分布 $\pi(\theta, A | \mathcal{D}_{t-1})$ から近似同時サンプルを抽出するためにエッジ単位のギブスサンプリャを採用する：

• パラメータ更新（$\theta | A$）：$A$ を固定すると、モデルは標準的な共役ガウス回帰に帰着する。$\theta$ の事後分布はガウス分布となる。
• エッジ更新（$A | \theta$）：$\theta$ を固定すると、サンプリャはすべてのエッジ $(i, j)$ に対して掃引を行う。エッジ $A_{ij}$ の条件付き分布は、ノード $i$ と $j$ の報酬ストリームにのみ依存する。更新規則は尤度比のロジット変換を通じて導出され、すべての $2^{\binom{n}{2}}$ 個のグラフ構成を列挙することなく効率的なサンプリングを可能にする。

3. アルゴリズム（Gibbs-TS）

各ラウンド $t$ において：

1. $K$ 回のギブス掃引を実行し、近似同時サンプル $(\theta^{(t)}, A^{(t)})$ を取得する。
2. サンプリングされた期待総報酬を最大化する処置ベクトル $Z_t$ を選択する：$Z_t = \arg\max_{Z: \|Z\|_1 \le B} \mathbf{1}^\top H(Z; A^{(t)}) \theta^{(t)}$。
3. 報酬を観測し、履歴 $\mathcal{D}_t$ を更新する。
4. 次のラウンドのギブス連鎖を、現在のラウンドからの最終サンプルでウォームスタートする。

4. 探索 - 固定（ETC）バリエーション

モジュラーな縮退が成り立たない一般的な NIA 報酬に対して、著者らは ETC 戦略を分析する：

• フェーズ 1：各ノードを $m$ ラウンド間孤立して処置し、観測されたスピルオーバーに基づいてエッジ確率を推定する。
• フェーズ 2：推定されたグラフ $\hat{A}$ を使用して、標準的なトンプソンサンプリングアルゴリズム（ネットワークが既知であると仮定）を実行する。

主要な貢献

1. 同時学習フレームワーク：本論文は、NIA 下でのネットワーク回復と適応的処置割り当ての同時問題を定式化する。ネットワークと報酬パラメータの同時事後分布からサンプリングするためにエッジ単位のギブス掃引を使用するトンプソンサンプリングアルゴリズムを導入する。
2. 下流の因果推論：推定されたネットワーク $\hat{A}$ は単なる副産物ではなく、科学的な成果物である。これは、実験後の直接効果、間接効果、および総処置効果の推定、ならびにフォローアップ実験の設計を支援する。
3. 理論的後悔 bound：
   • 加法的スピルオーバーモデル：総報酬が潜在的スコア係数（例：平均線形モデル）を持つ処置ベクトルに対して線形であるモデルにおいて、正確な事後サンプリングに対して $O(\sqrt{nT \cdot B \log(en/B)})$ 順序のベイズ後悔 bound を証明する。この bound は $\theta$ の環境次元ではなく、潜在的スコア次元 $n$ に依存する。
   • 一般的な NIA：一般的な報酬に対して、ETC バリエーションは $O(n^2 \log T)$ のグラフ発見コストを持つ後悔 bound を達成する。
   • 下限：$\Omega(n \log T)$ の情報理論的下限を確立し、いかなる一貫性アルゴリズムもネットワーク発見のために $n$ に比例するコストを支払わなければならないことを示す。
4. スケーラビリティ：本手法は数百ノードのネットワーク（平均線形モデル下では $n=1000$ まで）にスケーリング可能であり、$n \approx 12$ に制限されている既存の手法を大幅に上回る。

実証結果

• 後悔パフォーマンス：2 つの実世界ネットワーク（$n=63$ の借入金家計ネットワークと $n=121$ の学校友情ネットワーク）において、Gibbs-TS アルゴリズムは部分線形後悔を達成する。真のネットワークを知るオラクルと比較すると差はあるものの、干渉を無視するベースライン（線形後悔を被る）よりも後悔は大幅に低い。
• 最先端手法との比較：Agarwal ら（2024）が実行可能な小規模ネットワーク（$n=8$）での直接比較において、Gibbs-TS は後悔を 1 桁以上削減する（例：特定条件下での中央値後悔は、Agarwal らの 1571 に対して 141）。
• ネットワーク回復：アルゴリズムは高い精度で干渉ネットワークを回復する（合成設定では F1 スコア > 0.98、実世界設定では 0.74）。
• 下流推定：回復されたネットワーク $\hat{A}$ を使用して、直接効果、間接効果、および総処置効果の推定値は、真のネットワークを使用して得られた値と密接に追従し、小さな平均二乗誤差（RMSE）を示す。

意義と主張

本論文は、事前定義されたクラスター構造を必要とせず、逐次的設定において干渉ネットワークを学習し、個体レベルの処置割り当てを最適化することを同時に実行する最初の適応的実験デザインを提供すると主張する。

• 科学的価値：回復されたネットワークは直接的な科学的出力として機能し、以前は適応的設定ではアクセスできなかった因果分析（直接/間接効果）を可能にする。
• 実用的影響：本手法は、干渉下での理論的因果推論と、実用的な大規模適応的実験の間のギャップを埋める。これは、プラットフォームや機関が、基礎となる社会的または行動的ダイナミクスを同時にマッピングしながら、リアルタイムで介入（例：ワクチン接種の展開、マーケティング）を最適化することを可能にする。
• 理論的洞察：この研究は、加法的スピルオーバーモデル下では、問題の複雑さが潜在的スコアベクトルの次元に還元され、グラフトポロジーの複雑さに依存しない後悔 bound が可能であることを確立する。

著者らは、報酬関数の正しい指定への依存、一般的な NIA 設定における処置選択のための整数線形計画の計算ボトルネック、およびグラフ発見コストに対する $O(n^2)$ の上限と $\Omega(n)$ の下限の間のギャップを含む限界を認めている。しかし、彼らは、彼らのアプローチが未知のネットワーク干渉下でのスケーラブルな適応的実験において重要な前進を表していると主張している。