技术摘要：未知网络干扰下的自适应策略学习

问题陈述

在许多实验场景中，单元的结果不仅取决于其自身的处理，还取决于其底层网络中邻居被分配的处理。这种现象被称为干扰或溢出，违反了稳定单元处理值假设（SUTVA）。虽然因果推断文献已针对干扰下的静态实验开发了稳健的方法（例如 Sussman 和 Airoldi，2017；Aronow 和 Samii，2017），但这些方法通常假设干扰网络是已知的，或者依赖于粗糙的集群级随机化。

现有的自适应（序贯）实验方法面临显著局限：

1. 已知网络假设：可扩展的方法（如 Gleich 等人，2025）假设网络结构是完全可观测的，这在许多社交或行为联系是潜在的应用场景中是不现实的。
2. 可扩展性问题：试图学习网络结构的方法（如 Agarwal 等人，2024）依赖于对所有可能邻居配置进行傅里叶分析，导致参数数量随邻居规模呈指数级增长。这些方法无法扩展到大约 $n \approx 12$ 个单元以上的规模。
3. 粒度丧失：其他自适应设计（例如 Viviano 和 Rudder，2024）在预定义的集群上运行，绕过了个体层面的优化，并且无法恢复干扰网络本身。

本文解决的核心挑战是在序贯设置中联合学习未知的干扰网络并优化个体层面的处理分配，以最大化累积结果（例如收入、健康指标）。

方法论

作者提出了一种汤普森采样（TS）框架，利用吉布斯采样器联合推断干扰网络和奖励参数。

1. 模型设置

• 设置：在 $T$ 轮中向 $n$ 个单元序贯分配二元处理 $Z_t \in \{0, 1\}^n$，受预算约束 $\|Z_t\|_1 \le B$ 限制。
• 邻域干扰假设（NIA）：单元 $i$ 的结果仅取决于其自身处理以及由未知邻接矩阵 $A$ 定义的邻居的处理。
• 奖励模型：期望结果是参数向量 $\theta$ 的线性函数，即 $r(Z; A, \theta) = H(Z; A)\theta$。设计矩阵 $H$ 依赖于网络 $A$。

2. 通过吉布斯采样进行联合后验采样

由于似然函数在 $A$ 上是非线性的（由于邻居计数），无法获得闭式后验。作者采用边级吉布斯采样器从后验 $\pi(\theta, A | \mathcal{D}_{t-1})$ 中抽取近似联合样本：

• 参数更新（$\theta | A$）：固定 $A$ 后，模型简化为标准的共轭高斯回归。$\theta$ 的后验分布为高斯分布。
• 边更新（$A | \theta$）：固定 $\theta$ 后，采样器遍历所有边 $(i, j)$。边 $A_{ij}$ 的完全条件分布仅依赖于节点 $i$ 和 $j$ 的奖励流。更新规则通过对似然比进行 logit 变换推导得出，允许在不枚举所有 $2^{\binom{n}{2}}$ 种图配置的情况下进行高效采样。

3. 算法（Gibbs-TS）

在每一轮 $t$：

1. 执行 $K$ 次吉布斯扫描，以获得近似联合样本 $(\theta^{(t)}, A^{(t)})$。
2. 选择最大化采样期望总奖励的处理向量 $Z_t$：$Z_t = \arg\max_{Z: \|Z\|_1 \le B} \mathbf{1}^\top H(Z; A^{(t)}) \theta^{(t)}$。
3. 观察奖励并更新历史 $\mathcal{D}_t$。
4. 使用当前轮次的最终样本预热下一轮的吉布斯链。

4. 探索 - 然后 - 承诺（ETC）变体

对于模块化坍缩不成立的一般 NIA 奖励，作者分析了一种 ETC 策略：

• 第一阶段：孤立地对待每个节点 $m$ 轮，基于观察到的溢出估计边概率。
• 第二阶段：使用估计的图 $\hat{A}$ 运行标准汤普森采样算法（假设网络已知）。

主要贡献

1. 联合学习框架：本文形式化了 NIA 下网络恢复与自适应处理分配的联合问题。它引入了一种汤普森采样算法，利用边级吉布斯扫描从网络和奖励参数的联合后验中进行采样。
2. 下游因果推断：估计的网络 $\hat{A}$ 不仅仅是副产品，而是一个科学交付成果。它支持实验后对直接、间接和总处理效应的估计，以及后续实验的设计。
3. 理论 regret 界限：
   • 加性溢出模型：对于总奖励在处理向量上线性且带有潜在得分系数的模型（例如均值线性模型），作者证明了针对精确后验采样的贝叶斯 regret 界限为 $O(\sqrt{nT \cdot B \log(en/B)})$。该界限取决于潜在得分维度 $n$，而非 $\theta$ 的 ambient 维度。
   • 一般 NIA：对于一般奖励，ETC 变体实现了 regret 界限，其图发现成本为 $O(n^2 \log T)$。
   • 下界：建立了 $\Omega(n \log T)$ 的信息论下界，证明任何一致算法都必须为网络发现支付与 $n$ 成线性关系的成本。
4. 可扩展性：该方法可扩展至包含数百个节点的网络（在均值线性模型下可达 $n=1000$），显著优于仅限于 $n \approx 12$ 的现有方法。

实证结果

• Regret 性能：在两个真实世界网络（一个 $n=63$ 的借贷家庭网络和一个 $n=121$ 的学校友谊网络）上，Gibbs-TS 算法实现了次线性 regret。虽然与知晓真实网络的“神谕”相比存在差距，但其 regret 显著低于忽略干扰的基线方法（后者遭受线性 regret）。
• 与最先进方法的比较：在 Agarwal 等人（2024）可行的较小网络（$n=8$）进行直接比较时，Gibbs-TS 实现了超过一个数量级的 regret 降低（例如，在特定条件下，Agarwal 等人的中位 regret 为 1571，而 Gibbs-TS 为 141）。
• 网络恢复：该算法以高精度成功恢复了干扰网络（在合成设置中 F1 分数 > 0.98，在真实世界设置中为 0.74）。
• 下游估计：利用恢复的网络 $\hat{A}$，本文证明直接、间接和总处理效应的估计值与使用真实网络获得的估计值紧密吻合，均方根误差（RMSE）很小。

意义与主张

本文声称提供了首个在序贯设置中联合学习干扰网络并优化个体层面处理分配的自适应实验设计，且无需预定义的集群结构。

• 科学价值：恢复的网络作为直接的科学产出，使得在自适应设置中此前无法获得的因果分析（直接/间接效应）成为可能。
• 实际影响：该方法弥合了干扰下的理论因果推断与实际大规模自适应实验之间的差距。它使平台和机构能够实时优化干预措施（例如疫苗推广、营销），同时绘制潜在的社交或行为动态。
• 理论洞察：该工作表明，在加性溢出模型下，问题的复杂性降低为潜在得分向量的维度，从而允许 regret 界限独立于图拓扑的复杂性。

作者承认了局限性，包括依赖于正确的奖励函数设定、一般 NIA 设置中处理选择的整数线性规划带来的计算瓶颈，以及图发现成本 $O(n^2)$ 上界与 $\Omega(n)$ 下界之间的差距。然而，他们断言，他们的方法代表了在未知网络干扰下进行可扩展自适应实验的重要进步。