🤖 machine learning

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

本文提出了 BC-ICL，这是一种新型的上下文老虎机策略，它利用具有上下文学习能力的预训练表格基础模型和自助重采样技术，实现了样本高效且鲁棒的在线决策，并在稀疏和冷启动场景下优于既有的基准模型。

原作者： Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图在浩瀚、迷雾重重的星系中寻找最佳航线的飞船船长。每当你选择一条路径时，你都会得到一个微小的提示——也许是一道闪光，或者一阵静电——告诉你你是接近了宝藏，还是仅仅在驶向死胡同。这就是科学家们称之为“上下文多臂老虎机”（contextual bandits）的问题核心。这是计算机学习如何根据你的身份和以往喜好来做出个性化选择（例如向你推荐你可能会喜欢的电影或让你想跳舞的歌曲）背后的数学原理。棘手的部分在于“冷启动”：当计算机对你几乎一无所知时，它必须进行疯狂的猜测来学习。传统方法往往会陷入重复猜测错误路径的怪圈，或者因为担心出错而变得过于胆小，不敢尝试新事物。它们需要一种既勇敢又聪明的方法，能够在不撞毁飞船的前提下探索未知。

现在，为你的飞船迎来了一位新成员：“基础模型”（foundation model）。把这想象成一位超级聪明的、经过预训练的侦探，他已经读过数百万本推理小说，比任何人都擅长发现数据中的模式。通常情况下，这些侦探只是坐在那里给出答案。但如果我们能把这位侦探变成一名探险家呢？这正是 Devansh Gupta 及其团队的研究人员想要做的事情。他们提出了一个问题：我们能否通过搅动它所看到的线索，让这个已经“冻结”且无法即时学习新招式的预训练侦探，去玩一场“猜猜最佳动作”的游戏？

他们构建了一种名为 BC-ICL（基于引导条件的上下文学习动作选择）的方法。用通俗易懂的话来说，它是这样运作的：想象侦探正在查看飞船过去所有航行的历史记录。计算机并没有一次性查看整个历史，而是提取了一个“引导样本”（bootstrap sample）。这就像是给历史日志复印了一份，但带有一个转折：它随机挑选一些条目进行两次复制，并完全忽略另一些条目，从而创造出一个略有不同的、“如果……会怎样”版本的过去。这个被冻结的侦探随后观察这个略微扭曲的版本，并对最佳路径做出猜测。因为历史日志发生了细微的变化，侦探的猜测也会随之改变。通过重复这个过程——打乱线索、询问侦达、挑选最佳猜测——计算机创建了一种能够自然探索新路径的策略，而无需从头开始重新训练侦探。

为了让效果更好，团队还添加了一个特殊的“臂-上下文”（arm-context）功能。想象一下，你的飞船有很多种不同的引擎（动作）可以使用。通常情况下，计算机会将每个引擎视为一个独立的、孤立的机器。但这种新方法将引擎视为一个团队。它使用了一种“乘法”映射，让侦探能够看到当前的状况（上下文）是如何与每一个引擎同时发生相互作用的。这意味着，如果侦探学到了关于“速度”引擎在风暴中表现如何的知识，它可以立即将这一智慧应用到“转向”引擎上。这就像一位厨师，在了解了盐如何影响番茄之后，立即就能知道盐会对蘑菇产生什么影响，而不是必须对每种蔬菜都进行单独试味。

研究人员在各种具有挑战性的谜题上测试了这个想法，从预测蘑菇是否有毒到识别手写数字。结果发现 BC-ICL 是一个明星选手。在许多情况下，它犯错更少（这是一个被称为“遗憾值/regret”的指标），比那些依赖线性数学或从头训练复杂神经网络的传统方法表现得更好。例如，在名为“Mushroom”的数据集上，这种新方法比流行的神经网络方法减少了 85% 的错误。更令人印象深刻的是，它的效率极高；通过使用一种智能方式来挑选要查看的历史日志（例如只记住最近的航行或最相似的航行），尽管它进行了更复杂的思考，但运行速度几乎与旧方法一样快。

然而，论文也划定了一条清晰的界限。他们测试了如果侦探每次都只猜测“最佳”路径而不打乱历史记录（即“贪婪”策略）会发生什么。结果显示，这种贪婪策略经常失败，容易过早陷入错误的路径且无法恢复。同样，仅仅依靠侦探自身的确定性来引导选择，也无法超越这种新方法。论文指出，神奇之处不仅在于侦探的大脑，更在于在征求意见之前“搅动线索”的行为。研究人员基于他们在八个不同数据集上的模拟实验，对这些结果充满信心，但他们也指出，这种方法在很大程度上取决于侦探是否拥有正确类型的预训练。如果侦探过去的训练内容与当前的星系不匹配，该方法可能会遇到困难。尽管如此，对于合适类型的数据，这种“摇晃并猜测”的策略提供了一种强大且实用的方法，可以将一个静态的、预训练的模型转化为一个动态的、具有探索能力的决策者。

技术摘要：基于 Bootstrap 条件化的表格基础模型动作选择

问题陈述

上下文老虎机（Contextual Bandits）为样本高效的个性化提供了一个框架，但在实际部署中受到稀疏且有偏的交互数据、不可靠的不确定性估计以及严重的冷启动场景的阻碍。虽然全局策略方法在大型系统中是标准做法，以避免针对每个用户进行老虎机学习带来的数据低效问题，但如何在不牺牲奖励模型表达能力的情况下实现原则性的探索仍然是一个难题。

经典方法通常依赖于具有乐观主义或后验采样的线性奖励模型，这限制了其表示能力。相反，神经上下文老虎机方法可以建模复杂的奖励，但需要仅利用老虎机反馈从头开始训练特定任务的网络。它们的确定性估计（通常基于线性化或 Dropout）对超参数非常敏感，并且在低数据量情形下表现脆弱。同时，表格数据中的上下文学习（In-Context Learning, ICL）近期进展催生了强大的预测器（例如 TabPFN、TabICL），这些预测器通过单次前向传播即可适应新任务，有效地实现了贝叶斯推理的摊销。然而，这些预训练的 ICL 预测器是否可以直接用于上下文老虎机的动作选择，目前仍是一个开放性问题。

方法论：BC-ICL

作者提出了 BC-ICL（基于 Bootstrap 条件化的 ICL 动作选择），该方法将一个冻结的、预训练的表格 ICL 预测器转化为用于在线决策的随机化策略。

核心机制

BC-ICL 不在线更新模型参数，而是通过随机化固定骨干模型所看到的条件化历史记录来诱导探索。算法在每一轮 $t$ 的操作如下：

Bootstrap 重采样： 从观测到的交互历史 $D_t$ 中抽取一个 Bootstrap 重采样集 $\tilde{D}_t$ （通过有放回地抽取 $|D_t|$ 个观测值）。
条件化： 将冻结的 ICL 预测器 $M$ 条件化于该重采样数据集 $\tilde{D}_t$ 。
评分： 模型在给定当前上下文 $x_t$ 的情况下，为所有候选动作 $a \in \mathcal{A}$ 进行评分。
选择： 选择具有最高采样得分的动作： $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$ 。
更新： 将观测到的奖励附加到历史记录中，并重复上述过程。

臂-上下文条件化架构

为了解决孤立臂老虎机的失效模式并促进共享统计强度，作者引入了一种特定的特征映射 $\Phi_{mult}(x, a)$ ：
$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$
其中：

$x$ 是原始上下文。
$e_a$ 是固定的臂嵌入（arm embedding）。
$P$ 是共享的投影矩阵。
$\odot$ 表示逐元素乘法。

这种表示保留了原始上下文，编码了臂身份，并显式地通过共享的投影上下文建模了臂与上下文的交互。至关重要的是，条件化历史中的扰动会通过这一共同表示传播，从而影响多个臂的得分，进而实现共享探索。

核心贡献

算法提议： 引入了 BC-ICL，它将 Bootstrap 重采样与冻结的 ICL 预测器相结合，将一个监督学习模型转化为具备探索能力的决策规则，而无需在线重新训练。
架构创新： 设计了一种乘性臂-上下文特征映射，通过共同的投影上下文表示促进跨动作的共享探索。
实证验证： 通过综合评估证明，在严格的在线协议下，BC-ICL（以 TabPFN 或 TabICL 作为实例）优于线性、核函数化及神经上下文老虎机基准方法。

实验结果

作者在八个数据集（包括转换为上下文老虎机问题的 UCI 仓库数据集，如 Covertype、ISOLET、Letter 和 MNIST）上对 BC-ICL 进行了评估。

性能： BC-ICL 在大多数数据集上实现了最低的累积遗憾（cumulative regret），显著优于成熟的基准方法，如 Linear TS、LinUCB、Kernel UCB/TS、NeuralUCB、NeuralTS 和 BootstrapNN。
- 示例： 在 Mushroom 数据集上，BC-ICL-TabICL 的遗憾值为 37.7，而 NeuralTS 为 252.3（减少了 85%）。
- 示例： 在 ISOLET 上，BC-ICL 在整个学习过程中始终保持着比神经基准方法更低的遗憾值。
探索机制： 消融研究表明，仅靠 ICL 模型的内部预测不确定性（通过贪婪选择或从预测分布中采样）不足以实现有效的序列决策。研究显示，在具有挑战性的数据集上，Bootstrap 重采样机制相比于贪婪和采样基准，能降低 5–19% 的遗憾，证明了数据层面的 Bootstrap 对于有效探索是必要的。
特征编码： 乘性特征映射 ( $\Phi_{mult}$ ) 的表现显著优于简单的 One-hot 编码 ( $\Phi_{one-hot}$ )，在 ISOLET 上降低了 30–40% 的最终遗憾，证实了显式建模臂-上下文交互的重要性。
计算效率： 虽然使用完整的交互历史使得 BC-ICL 比神经基准方法（例如慢 7 倍）更慢，但作者展示了使用 KNN（最近邻）或 FIFO（滑动窗口）等上下文选择策略可以在保持与使用完整历史相当的遗憾性能的同时，显著降低运行时间。

意义与主张

论文声称 BC-ICL 通过利用预训练表格基础模型的归纳偏置，为上下文老虎机提供了一种实用且有效的方法。通过避免需要从头训练特定任务网络，该方法实现了极高的样本效率，特别是在冷启动和低数据量情形下。

作者指出，该方法假设可以访问到一个其归纳偏置与目标任务相匹配的预训练模型；如果存在显著的任务间偏差，性能可能会下降。此外，虽然 Bootstrap 程序引入了计算开销，但使用上下文选择策略（KNN/FIFO）使该方法具备了可扩展性。在理论上，作者建议在满足温和的稳定性假设下，BC-ICL 的遗憾可以分解为一个稳定性项和一个表示项，尽管将其形式化仍是未来的研究方向。

这项工作支持了以下直觉：乘性臂-上下文表示能够实现跨动作的有益统计共享，并且预训练的 ICL 模型在结合 Bootstrap 条件化时，可以作为稳健且具备探索能力的策略用于在线决策。