技術要約：共変量依存型到着下における適応的ピア・リファラル採用のための生成的フロンティア・プランニング（Generative Frontier Planning）

問題定式化

本論文は、感染症の影響を受ける隠れた集団を調査するために用いられる、Respondent-Driven Sampling (RDS) のようなピア・リファラル（仲間による紹介）採用システムにおける、適応的なマルチラウンドのリソース配分という課題に取り組んでいる。公衆衛生機関は、複数のラウンドにわたって分配すべきリファラル・リソース（例：バウチャー）の固定された総予算を保有している。

核心となる困難は、到着が共変量に依存しているという点にある。将来の加入者が均質な集団から独立同一分布（i.i.d.）に従って抽出されると仮定する先行研究とは異なり、本研究では以下の現実的なシナリオをモデル化している：

1. リファラル容量は確率的かつ不均一である： 個人のリファラル可能数（紹介できるピアの数）は、その個人の特定の共変量（デモグラフィックス、行動、地理）に依存し、検閲されたカウント分布に従う。
2. 次世代の共変量は条件付きである： 新たな加入者の特性は固定された分布から抽出されるのではなく、親となるリフェラー（紹介者）の共変量に基づいて条件付きで生成される（ホモフィリーや共通のコンテキストを反映している）。

目標は、現在の「フロンティア（最前線）」の活動中のリフェラーに対してリソースを配分し、有限のホライゾンにおける期待割引成功加入者数を最大化する方策を設計することである。これには、現在の配分決定が、将来のフロンティアの規模と共変量の構成の両方をどのように形成するかについて推論することが求められる。

手法：生成的フロンティア・プランニング (GFP)

著者らは、共変量依存型の生成的到着の下でのプランニングの計算不可能性を克服する、モデルベースの近似動的計画法である生成的フロンティア・プランニング (GFP) を提案している。

1. 学習されたダイナミクス

GFPは、履歴データからオフラインで推定された2つの学習済みコンポーネントを利用する：

• 検閲されたカウントモデル ($q_\psi$)： 個人の共変量 $x_i$ が与えられたときの、リファラル容量 $C_i$ を推定するニューラル・ポアソン回帰モデル。これは、観測されたリファラル数が割り当てられた予算によって制限されることを考慮している。
• 条件付き拡散モデル ($G_\theta$)： 親の共変量 $x$ が与えられたとき、新しい加入者の共変量 $x'$ を生成する条件付き拡散モデル。

2. 計算上のボトルネック

標準的なモデルベースのプランニング（例：Fitted Value Iteration）は、ここでは計算不可能である。その理由は以下の通りである：

• 次のフロンティアが、ランダムなサイズのランダムな集合となること。
• 異なる配分が異なる次世代の分布を誘発するため、候補となるアクション間でモンテカルロ・サンプルを共有できないこと。
• アクション空間（すべてのフロンティアメンバーに対する整数配分）が組合せ爆発的に大きいこと。

3. 構造化された価値サロゲート

これらの問題を解決するために、GFPはフロンティアを潜在的な共変量カバレッジ表現へとマッピングする、構造化された価値サロゲート $V_\phi(r, F)$ を導入する。

• 潜在表現： 各個人は、非負の潜在ベクトル $h_\phi(x) \in \mathbb{R}^d_+$ にマッピングされる。これは、$d$ 個の「共変量プロトタイプ」へのソフトな割り当てを表す。フロンティアは、集約されたカバレッジ・ベクトル $z = \sum_{x \in F} h_\phi(x)$ によって要約される。
• 価値関数： 価値は、このカバレッジに対する指数飽和関数としてモデル化される：$V_\phi(r, z) = \sum w_{\phi,j}(r)(1 - \exp(-z_j))$。この構造は、特定の共変量領域が飽和するにつれて生じる収穫逓減を捉えている。

4. 閉形式の決定論的バックアップ

主要な革新は、ベルマン・バックアップを決定論的かつ閉形式にするために、条件付きラプラス埋め込み (Conditional Laplace Embeddings) を使用することである。

• プランニング中に拡散モデル $G_\theta$ から次世代をサンプリングする代わりに、GFPは埋め込み $\alpha_{\theta,\phi,j}(x) = \mathbb{E}_{y \sim G_\theta(\cdot|x)}[\exp(-h_{\phi,j}(y))]$ を事前計算（アモルタイズ）する。
• これらの埋め込みと検閲カウントモデルを使用することで、期待将来価値をモンテカルロ・サンプリングなしで正確に計算できる。期待値は、配分 $k$ と事前計算された埋め込みにのみ依存する項の積へと分解される。

5. ラウンド内グリーディ配分

決定論的なサロゲートを用いることで、ラウンド内の最適化問題は、整数値の収穫逓減を伴う単調関数の最大化となる。

• GFPは、ラウンド内のリソース配分に限界的グリーディ・アルゴリズム (marginal greedy algorithm) を採用する。
• 理論的分析により、このグリーディなアプローチが、サロゲート目的関数に対して最適となる固定予算配分の $(1 - 1/e)$-近似を達成することが証明されている。

主な貢献

1. 問題の一般化： 著者らは、ピア・リファラル採用を、将来の到着がリフェラーの共変量に条件付きで生成される適応的配分問題として定式化した。これにより、従来の制約的な i.i.d. 集団の仮定を超えた。
2. 生成的フロンティア・プランニング (GFP)： 学習された検閲カウントおよび条件付き拡散モデルと、潜在的カバレッジ価値サロゲートを組み合わせた新しいプランナー。これは、モンテカルロ・サンプリングを、アモルタイズされた条件付きラプラス埋め込みを用いた決定論的バックアップに置き換える。
3. 理論的保証： 本論文は、誘導されたラウンド内目的関数が整数収穫逓減を満たすことを証明しており、インテリジェントなグリーディ配分に対して $(1 - 1/e)$-近似を保証している。
4. 実証的性能： 実世界の RDS データセット (ICPSR 22140) に校正されたシミュレーション環境における広範な実験により、GFPが、ランダム配分、強化学習ベースライン（Budget-DQN、Factorized RL）、および i.i.d. 集団レベルの動的計画法ベースラインのいずれに対しても、4つの割引係数において優れた性能を示すことが示された。

実験結果

評価は、総予算100、初期フロンティア10人を用いた、実世界の RDS ダイナミクスを模したシミュレーション環境で実施された。

• 性能： GFPは、すべての割引係数 ($\gamma \in \{0.9, 0.95, 0.99, 1.0\}$) において、一貫して最も高い最終累積加入者数および最終割引累積報酬を達成した。
• ベースラインとの比較：
  • vs. IID-Population DP： GFPは、最強のベースラインである IID-Population DP（共変量組成を無視する動的計画法）を大幅に上回った。$\gamma=1.0$ において、GFPは99.5人を採用したのに対し、ベースラインは91.3人であり、共変量組成を考慮することの価値を浮き彫りにした。
  • vs. RL： 強化学習ベースラインは、巨大な組合せアクション空間と構造的特性の活用不足により苦戦し、モデルベースのアプローチよりも大幅に低い性能となった。
• ダイナミクス： 一部のベースラインは初期ラウンドで素早くリクルートしたが、GFPの共変量認識戦略は、配分を効果的にペース配分することを可能にし、総リーチを最大化するために後半のラウンドで他を追い抜いた。

意義と主張

本論文は、GFPが、公衆衛生上の採用におけるこれまで計算不可能であったプランニング問題に対して、実行可能な解を提供することを主張している。リフェラーと加入者の間の依存関係を明示的にモデル化することで、この手法は、均質な集団を想定する戦略よりも、限られたリソースをより効果的に配分することを可能にする。

著者らは、自身のアプローチが控えめでデータ駆動型であることを強調している：

• 真のダイナミクスの完全な知識ではなく、学習されたサロゲートに依存している。
• 理論的保証は、サロゲートの目的関数に適用されるものであり、真の最適方策との差は、モデル推定誤差と近似誤差に分解される。
• 本研究は実データに校正されたシミュレーションで検証されているが、公衆衛生機関との提携による実際の採用データでの検証が、次の必要なステップであることを著者らは認めている。

最終的に、本論文は、生成的モデルを動的計画法の枠組みに組み込むことが、ピア・リファラル・システムのリーチを大幅に拡張できることを示しており、隠れた集団への介入のための実用的なツールを提供している。