技术摘要：基于结构化合成先验的解耦 PFN

问题陈述

先验拟合网络（PFNs）通过在合成任务先验上进行元学习，为摊销贝叶斯预测提供了一种强大的机制。它们将上下文数据集和查询输入映射到后验预测分布，仅需单次前向传播，从而消除了针对每个任务进行优化的需求。然而，对于主动学习和贝叶斯优化（BO）等序列决策任务，标准 PFN 的输出存在一个关键局限：它提供的是关于含噪观测值的后验预测分布（$p(y^*|x^*, D)$）。

该分布混淆了两个截然不同的不确定性来源：

1. 认知不确定性（Epistemic uncertainty）： 关于潜在信号（即底层函数）的可减少的不确定性。
2. 偶然不确定性（Aleatoric uncertainty）： 由观测噪声引起的不可减少的不确定性。

在序列决策中，采集函数应优先致力于减少认知不确定性，以探索潜在信号。如果模型无法区分高噪声（偶然性）和高无知（认知性），基于总预测方差的采集规则可能会浪费预算，反复查询高噪声区域，而非潜在函数的未探索区域。

本文确立了用标准 PFN 解决此问题的理论障碍：命题 1证明，仅凭边际预测分布无法识别认知与偶然的分解。即使标准 PFN 完美地学习了边际预测分布 $p(y^*|x^*, D)$，仍存在一个连续的信号方差与噪声方差加性分解集合，它们产生完全相同的边际分布。因此，仅在含噪目标上训练的标准 PFN 没有目标层面的动力去学习唯一的分解。

方法论

为了克服这种不可识别性，作者利用了 PFN 的独特优势：合成数据生成过程处于研究者的控制之下。他们提出了一种解耦 PFN架构，该架构利用源自增强合成任务先验的特权监督进行训练。

1. 增强的合成任务先验

在预训练期间，修改合成生成器，为每个任务 $\tau$ 显式定义信号 - 噪声分解：

• 采样一个无噪潜在信号函数 $f_\tau(x)$。
• 采样一个观测噪声函数 $\sigma^2_\tau(x)$（支持同方差和异方差噪声）。
• 生成观测值 $y = f_\tau(x) + \epsilon$，其中 $\epsilon \sim \mathcal{N}(0, \sigma^2_\tau(x))$。

关键在于，生成器在训练期间提供特权辅助目标：每个查询的无噪信号 $f_\tau(x^*)$ 和噪声方差 $\sigma^2_\tau(x^*)$。在测试时，模型仅接收标准输入（上下文 $D$ 和查询 $x^*$），保持标准 PFN 接口。

2. 解耦分箱架构

该模型被调整为使用分箱输出策略分别预测信号和噪声分量：

• 潜在信号头（认知性）： 预测一个关于代表无噪信号 $f^*$ 的固定分箱的分类分布 $\pi^{(f)}_\theta$。该分布捕捉认知不确定性。
• 偶然性头： 在对数方差空间中预测观测噪声方差 $\hat{\sigma}^2_\theta(x^*, D)$。
• 诱导预测： 最终的观测级预测分布 $p(y)$ 通过将潜在信号分布与学习到的 Gaussian 噪声模型进行卷积获得。这确保了模型在观测级任务中保留标准 PFN 接口，同时暴露潜在信号以供决策使用。

3. 训练目标

训练目标结合了三个损失项：

1. 预测损失： 诱导观测分布上的标准分箱负对数似然（确保模型仍是 $y$ 的良好预测器）。
2. 认知损失： 潜在信号分箱上的交叉熵损失，由特权 $f_\tau(x^*)$ 监督。
3. 偶然损失： 对数方差空间中的平方误差，由特权 $\sigma^2_\tau(x^*)$ 监督。

作者证明（命题 2），在该目标下，辅助头能够恢复离散化信号的贝叶斯最优条件分布以及噪声方差的条件几何平均。

4. 采集策略

对于下游任务（BO、HPO、主动学习），作者使用源自潜在头的仅认知指标（例如，基于潜在均值和认知方差的期望改进）来定义采集函数，而不是标准基线使用的总预测方差。

主要贡献

1. 理论不可识别性： 本文正式证明，即使完美学习了边际分布，标准 PFN 的后验预测分布也无法唯一识别认知 - 偶然分解。
2. 解耦 PFN 架构： 一种新颖的方法，利用合成生成器的特权监督来训练针对潜在信号和噪声的独立头，使模型能够暴露与决策相关的认知信号。
3. 实证验证： 该方法在两个公共基础模型（TabICL 和 TabPFN v2.5）上实现，并在超参数优化（HPO）、合成贝叶斯优化和主动学习中进行评估。

结果

本文报告了三个主要设置的结果，将解耦模型与匹配的“微调”基线（具有相同的骨干网络和预训练，但缺乏解耦头和特权监督）以及标准外部基线（GP、TPE、随机搜索）进行比较。

• 超参数优化（HPO）： 解耦模型在此处显示出最清晰的增益。在涉及含噪和异方差评估（如 LightGBM、XGBoost、随机森林）的 8 个基准测试中，Dec-ICL（解耦 TabICL）模型取得了最佳平均排名（2.50），显著优于其微调对应版本（3.62）。作者将此归因于仅认知采集能够避免搜索空间中的高噪声区域。
• 合成贝叶斯优化： 在平滑、低维的合成基准（Branin、Hartmann、Ackley）上，解耦模型保持竞争力。Dec-PFN 取得了最佳平均排名（2.60），略优于其微调对应版本（2.80），并优于标准 GP 和 TPE 基线。增益小于 HPO 中的增益，这与平滑、低噪声函数使总不确定性与认知不确定性更紧密一致的事实相符。
• 主动学习： 在真实世界回归数据集上，使用认知方差进行采集的解耦模型在 10 个 RMSE 比较中有 7 个一致优于使用总方差的微调基线。

意义与主张

本文声称，所提出方法的主要价值在于序列决策，而非纯粹的回归精度。

• 缓解失败模式： 解耦方法缓解了“总方差探索”的失败模式，即标准模型因无法区分噪声与无知而陷入高噪声区域。
• 归纳偏置迁移： 该方法表明，通过在合成数据上利用特权监督学习到的信号 - 噪声分解，能有效迁移到真实世界任务中，充当有用的归纳偏置。
• 重构 PFN： 作者建议，不应仅将 PFN 视为后验预测的快速近似器，而应将其视为通过设计合成预训练目标来学习决策相关不确定性表示的载体。

作者对其范围保持谦逊，指出有效性取决于合成噪声假设向真实任务迁移的程度，且当前实现使用高斯矩匹配近似进行采集，这是一种实用的简化。增益在含噪、结构化设置（如 HPO）中最为显著，而在平滑、低噪声环境中则不那么关键。