📊 statistics

PFN-TS: Thompson Sampling for Contextual Bandits via Prior-Data Fitted Networks

本文提出了 PFN-TS，这是一种汤普森采样算法，它利用先验数据拟合网络，通过基于子采样中心极限定理将含噪预测分布转化为平均奖励样本，从而在单次前向传播中近似贝叶斯后验，进而在多种上下文多臂老虎机基准测试中实现了强大的实证性能和理论遗憾界。

原作者： Yan Shuo Tan, Kenyon Ng, Ruizhe Deng, Sumetha Loganathan, Qiong Zhang, Bibhas Chakraborty

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yan Shuo Tan, Kenyon Ng, Ruizhe Deng, Sumetha Loganathan, Qiong Zhang, Bibhas Chakraborty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一台拥有许多不同按钮（动作）的自动售货机的经理。每当有顾客走近时，他们都有特定的心情或情境（上下文），你需要猜测按哪个按钮能给他们最好的零食（奖励）。关键在于：你不知道哪个按钮对应哪种心情最佳，而且只有按下按钮后才会得知结果。你的目标是在长期内让尽可能多的顾客满意，同时尽量减少猜错的次数。这就是“上下文多臂老虎机”（Contextual Bandit）问题。

要解决这个问题，你需要一种策略来平衡探索（尝试新按钮以学习）和利用（使用已知有效的按钮）。一种流行的策略称为汤普森采样（Thompson Sampling）。它就像拥有一个水晶球，能为每个按钮给出一个“最佳猜测”，但有个转折：这个水晶球有点模糊。它会给出一个可能性范围。你选择在那个模糊猜测中看起来最好的按钮，这自然会鼓励你去尝试那些可能很棒但你尚不确定的按钮。

问题：水晶球太嘈杂了

多年来，人们一直使用简单的模型（如直线）来构建这些水晶球。但人类行为并非直线；它混乱、复杂且充满惊喜。更新的、更聪明的模型称为先验数据拟合网络（Prior-Data Fitted Networks, PFNs）（如 TabPFN），在这方面表现出色。它们就像“超级训练过的厨师”，品尝过数百万种食谱。当你向它们展示少量食材（数据）时，它们能瞬间知道这道菜的味道，而无需再次烹饪。

然而，这里有个棘手之处。这些超级厨师擅长预测最终味道（有噪声的奖励），但汤普森采样需要知道关于食谱本身（潜在的平均奖励）的不确定性。厨师们不会直接递给你食谱的不确定性；他们只给你最终的菜肴。试图通过让厨师烹饪这道菜一百万次来推断食谱的不确定性，对于实时自动售货机来说太慢了。

解决方案：PFN-TS（智能捷径）

本文的作者发明了PFN-TS，这是一种利用这些超级厨师解决自动售货机问题的新方法。

1. “子采样”捷径（几何网格）
与其让厨师为每一种食材组合都烹饪一次（这耗时太久），PFN-TS 使用了一个巧妙的数学技巧，称为子采样中心极限定理。

类比：假设你想了解河流水位的波动幅度。你可以一年中每秒测量一次（工作量太大！）。相反，PFN-TS 在特定的、间隔开的时间点测量水位：第 1 天、第 2 天、第 4 天、第 8 天、第 16 天，以此类推。
通过观察这些“几何”快照，算法可以非常准确地数学估算出河流的整体波动（不确定性），但只需极少量的工作量。这使得系统能够在不降低速度的情况下，获得汤普森采样所需的“模糊水晶球”。

2. “记忆”技巧（缓存）
本文还利用了新型“超级厨师”模型的一个特性，称为KV 缓存（KV-Caching）。

类比：如果你问厨师“如果我加盐会发生什么？”，然后又问“如果我加盐和胡椒会发生什么？”，普通厨师可能会忘记盐的部分而从头开始。但这特定的厨师会记住“盐”的部分，只计算“胡椒”的部分。
PFN-TS 利用这种记忆来重用之前的计算。当自动售货机检查多个按钮时，它不会从头重新计算所有内容；它只更新发生变化的部分。这使得系统极其快速。

3. “变形者”（自适应编码）
有时，机器上的按钮彼此截然不同（比如苏打水按钮与零食按钮）。有时，它们非常相似（比如“辣味”零食与“温和”零食）。

PFN-TS 内置了一个“变形者”。它同时尝试两种不同的数据组织方式。它使用评分系统（CRPS）来查看哪种方式效果更好。如果按钮相似，它将它们合并到一个模型中；如果它们不同，则保持分开。它在学习过程中自动选择最佳策略。

他们发现了什么？

作者使用以下数据测试了这种新系统（PFN-TS）与其他多种方法的对比：

合成数据：具有复杂非线性规则的模拟场景（如著名的“弗里德曼”函数）。
真实世界数据：来自 OpenML 库的八个不同数据集（如预测成人收入或蘑菇类型）。
真实的移动健康试验："Drink Less"应用程序，该应用试图找出最佳的推送通知策略以帮助人们减少饮酒。

结果：

非线性任务：PFN-TS 是明确的赢家。当规则复杂且混乱时，它优于所有其他方法。
线性任务：当规则简单（直线）时，它的表现与标准线性方法一样好。
移动健康：在"Drink Less"试验中，PFN-TS 实现了最高的估计价值，这意味着它将是帮助人们减少饮酒的最有效策略。

总结

PFN-TS 是一种新工具，它将一个强大的预训练 AI 模型（“超级厨师”）训练成在不确定情况下的完美决策者。它通过利用数学捷径快速估算不确定性，并利用记忆技巧实现快速运行。它自动适应问题是简单还是复杂，使其在合成测试和真实世界的移动健康应用中均成为顶级表现者。

技术摘要：PFN-TS

问题陈述

上下文多臂老虎机（Contextual Bandits）解决的是不确定性下的序贯决策问题，其中学习者观察上下文、选择动作并接收随机奖励。其目标是最小化随时间累积的遗憾。汤普森采样（Thompson Sampling, TS） 是一种标准策略，它维护奖励函数的贝叶斯后验分布，并从此后验中贪婪地采样动作。然而，TS 的有效性取决于底层奖励模型的质量。

在表格应用（如移动健康、推荐系统）中，线性奖励模型往往被错误设定，因为它们无法捕捉复杂的用户行为，如交互作用、阈值效应和异质性。虽然存在更丰富的替代方案（核方法、神经网络、树集成），但它们面临可扩展性问题、高计算开销或僵化的结构假设。此外，这些模型通常需要在在线设置中调整难以调优的超参数。

先验数据拟合网络（Prior-Data Fitted Networks, PFNs），如 TabPFN 和 TabICL，提供了一种有前景的替代方案。这些是基于 Transformer 的模型，旨在近似广泛数据生成过程先验下的贝叶斯后验预测分布（PPDs）。它们通过上下文学习（ICL）运行，无需参数更新，也无需超参数调整。然而，存在一个关键差距：PFNs 输出的是 PPDs（对噪声未来奖励的不确定性），而 TS 需要的是对潜在平均奖励函数的不确定性。直接从 PPD 采样并不等同于从均值函数的后验分布采样，这会导致次优的探索。

方法论：PFN-TS

作者提出了 PFN-TS，这是一种汤普森采样算法，通过将 PFN 后验预测分布转换为潜在平均奖励函数的样本，从而弥合上述差距。该方法论包含三个核心组件：

1. 子采样预测中心极限定理（SubCLT）

为了从 PFN 的预测序列中恢复潜在均值 $f_0(x)$ 的后验分布，作者利用了一个预测中心极限定理（CLT）。

理论基础： 在特定假设下（渐近方差、拟鞅条件和有界矩），预测均值序列的尾部收敛于以潜在均值为中心的高斯分布。
效率创新： 传统估计后验方差的方法需要计算数据集所有 $n$ 个前缀的预测均值，这对于在线老虎机而言计算成本过高（ $O(n)$ 次前向传播）。PFN-TS 引入了一种子采样估计量，仅使用 $O(\log n)$ 个几何间隔的前缀（ $t_0, t_1, \dots, t_J$ ）来计算方差。
方差估计： 方差使用块增量 $D_j = m_{t_j}(x) - m_{t_{j-1}}(x)$ 进行估计，并按调和权重（ $w_j$ ）加权。作者证明，该子采样估计量是一致的（ $\hat{V}_{s_n} \xrightarrow{p} V(x)$ ）并满足中心极限定理，从而允许为汤普森采样构建一个可处理的近似高斯分布 $N(m_{s_n}(x), \hat{V}_{s_n}(x)/s_n)$ 。

2. 缓存与计算优化

为了进一步降低每轮成本，PFN-TS 利用了 TabICL（所使用的特定 PFN）的架构特性：

KV-Cache 重用： TabICL 为固定训练集缓存了键值注意力矩阵。PFN-TS 在轮次间重用这些缓存表示。
刷新点： 该算法仅在 SubCLT 网格定义的几何“刷新点”（ $t_j$ ）执行新的前向传播。在刷新点之间，它使用源自最新缓存状态的快照高斯近似。这将每个臂每轮的前向传播复杂度从 $O(n)$ 降低到 $O(\log n)$ 。

3. 自适应编码策略

本文解决了如何在输入中表示臂（arm）身份的设计选择：

独立编码（Disjoint Encoding）： 为每个臂维护独立的模型。
联合编码（Joint Encoding）： 将臂身份作为独热向量附加到上下文中，允许臂之间共享信息。
自适应选择： 由于没有任何一种编码方式在所有情况下都占优，PFN-TS 在“双编码”阶段并行运行两者。它基于连续排序概率评分（Continuous Ranked Probability Score, CRPS） 选择激活的编码，CRPS 是一种严格 Proper 评分规则，用于衡量校准度。保留累积 CRPS 较低的编码，并在预定义的切换时间后丢弃挑战者编码。

主要贡献

算法桥梁： PFN-TS 是第一种成功将 PFNs（输出 PPDs）适配用于汤普森采样的方法，它通过子采样 CLT 推导出了潜在均值后验方差的一致估计量。
理论保证：
- 一致性： 在温和假设下证明了子采样方差估计量的一致性。
- 遗憾界： 推导了 PFN-TS 的贝叶斯遗憾界。该界分解为 PFN 先验下精确汤普森采样的遗憾，加上一个依赖于 PFN 近似质量和子采样过程的误差项。
效率： 证明了 $O(\log n)$ 次前向传播足以进行一致方差估计，使得基于 PFN 的老虎机在在线部署中成为可能。
实证性能：
- 合成基准： PFN-TS 在非线性合成任务（Friedman 变体）中取得了最佳平均排名，并在非线性任务上保持竞争力。
- OpenML 基准： 在八个分类转老虎机数据集中的六个上，优于基线方法（LinTS, NeuralTS, BFTS, XGBoostTS）。
- 现实世界应用： 在 Drink Less 移动健康试验的离线评估中，PFN-TS 在最终时间 horizon 达到了最高的估计策略价值（SNIPS），优于 BFTS 和其他基线。

意义与主张

本文主张，一旦实现了高效的不确定性提取和自适应编码，表格上下文学习就可以作为序贯决策的有效奖励模型。

模型灵活性： 与传统模型不同，PFN-TS 无需超参数调整，并能自动适应 PFN 广泛先验中固有的数据结构（稀疏性、平滑性、非线性）。
实际可行性： 通过将不确定性估计的计算瓶颈从数据集大小的线性级降低到对数级，该方法使得基础模型在在线老虎机场景中的部署变得切实可行。
鲁棒性： 该方法被证明在各种数据生成过程中具有鲁棒性，在非线性合成任务和现实世界移动健康数据上均表现良好。

作者对局限性保持谦逊，指出由于重复的模型评估，运行时仍然是一个约束，并且当臂的历史较短或信息量较弱时，有限样本校准可能较差。他们建议未来的工作集中在正则化方差估计以及针对特定 TabPFN/TabICL 先验的更精确的遗憾界上。