🤖 machine learning

Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise

本文介绍了贝叶斯滤波 Transformer（BFT），这是一个原则性框架，它将 Transformer 组件重新诠释为卡尔曼滤波和克里金操作以显式建模不确定性，从而显著提升序列推荐中冷启动场景的性能，并增强大语言模型对噪声数据的鲁棒性。

原作者： Bo Long, Deepak Agarwal, Jelena Markovic-Voronov, Yi Wang, Liuqing Li

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Long, Deepak Agarwal, Jelena Markovic-Voronov, Yi Wang, Liuqing Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试拼凑一个拼图，但有些碎片模糊不清，有些已经破损，还有些是全新的且没有任何说明书。这正是现代人工智能（如聊天机器人和推荐引擎）背后的核心架构——Transformer所面临的问题。

目前，Transformer 对其看到的每一条信息都抱有同等的信心。无论是一条高度可靠的事实，还是一个随机且充满噪声的猜测，AI 都给予它们相同的权重。这就像一位厨师在品尝汤品时，无论食材是新鲜还是腐烂，都向所有食材添加同等分量的盐。

本文介绍了一种名为**BFT（贝叶斯滤波 Transformer）**的新系统。可以将 BFT 想象为给 AI 配备了一个针对每一条处理信息的“信心计”。AI 不再盲目信任一切，而是学会提问：“这条特定数据的可靠性如何？”

以下是 BFT 的工作原理，通过简单的类比来说明：

1. 问题：“统一信心”的陷阱

在旧系统中，如果 AI 看到一个点击了 1,000 件商品的用户，它会信任其历史记录；如果它看到一个只点击过一次的新用户，它也会以完全相同的信任度对待那一次点击。

结果： AI 会被“冷启动”问题（新用户/新物品）搞糊涂，并被“噪声”（坏数据）分散注意力。它还遭受“注意力下沉”的困扰，即由于无法区分重要和不重要的数据，它被困在关注早期无用信息上。

2. 解决方案：“信心计”（卡尔曼滤波）

作者利用导航领域的一个概念——卡尔曼滤波，重新构想 Transformer。想象一艘在雾中航行的船。

旧方式： 船假设其海图完美无缺，指南针也完美无缺，因此盲目地跟随海图航行。
BFT 方式： 船不断检查：“现在的雾浓吗？我的指南针稳吗？”
- 如果数据充满噪声（浓雾），船会更信任其先前的知识（海图），而忽略不稳定的指南针。
- 如果数据清晰（晴天），船会信任新的指南针读数并更新其位置。

在论文中，这种“检查”是通过数学上的精度（Precision，即“信心”的代名词）来实现的。

3. 三步工作原理

论文将 AI 的思维过程分解为三个步骤，类似于侦探破案的过程：

步骤 1：观察（侦探的慧眼）
AI 观察数据。在旧系统中，它只是简单地对所有数据进行平均。而在 BFT 中，它会计算一个精度分数。
- 类比： 如果一名证人已知不可靠（低精度），侦探会轻描淡写地对待其证词；如果证人是专家（高精度），其证词则会被高度重视。
- 神奇之处： AI 利用数学（称为克里金法和REML）自动计算该分数，无需额外的训练数据。它会观察数据的一致性。如果数据杂乱无章，信心分数就会下降。
步骤 2：更新（侦探的笔记）
AI 将其旧信念与新证据相结合。
- 类比： 如果新证据 shaky（低信心），侦探几乎不会修改他的笔记；如果证据确凿（高信心），他们会清晰地将其记录下来。
- 神奇之处： 这被称为卡尔曼增益。它像一个智能守门人，根据信息的可靠性，精确决定让多少新信息进入。
步骤 3：预测（侦探的未来猜测）
AI 尝试猜测接下来会发生什么。
- 类比： 如果侦探对当前局势不确定，他们对未来的预测会更加谨慎；如果他们非常确定，则会做出大胆的预测。
- 神奇之处： AI 会追踪在其穿过各层时添加了多少“过程噪声”（随机性），确保它不会错误地变得过度自信。

4. 为何重要（结果）

论文在两个主要领域测试了这种新的“信心计”：

推荐系统（“冷启动”英雄）：
在推荐电影或商品时，AI 通常因缺乏历史记录而难以应对新用户或稀有物品。
- 结果： BFT 在此表现卓越。在稀有物品和新用户（不确定性最高）的情况下，AI 的推荐准确率提升了高达 15%。它不再胡乱猜测，而是开始信任手中仅有的可靠线索。
大型语言模型（“噪声”过滤器）：
当 AI 在杂乱的数据（如带有拼写错误的问题或包含假新闻的搜索结果）上进行训练时，通常会感到困惑。
- 结果： BFT 使 AI 更加稳健。即使训练数据被破坏或充满干扰，AI 的表现也比标准模型保持得更好。它学会了忽略“噪声”并专注于信号。

5. 最棒的部分：它是“即插即用”的升级

作者强调，你无需从头重建整个 AI。

类比： 这就像将标准汽车发动机的燃油喷射器更换为智能喷射器，后者能根据路况调整燃油混合比。汽车的其他部分（车轮、底盘、变速箱）保持原样。
主张： 你只需将 AI 的一层替换为 BFT 版本，它即可立即生效，且几乎不增加额外的计算成本。

总结

论文声称，通过赋予 AI 一种方法，使其能够衡量所处理的每一条数据的不确定性和信心，我们可以修复其最大的弱点：处理新用户、忽略坏数据以及在长对话中避免混淆。它将 AI 从数据的“盲目追随者”转变为数据的“明智评判者”。

技术摘要：基于卡尔曼滤波、克里金法与过程噪声的精确追踪 Transformer

1. 问题陈述

标准的 Transformer 架构虽然是现代人工智能的基石，但其运行基于一个关键的隐含假设：每个 token 都具有同等的可靠性。在现实世界的应用中，这种均匀性是一种退化情况，未能考虑到普遍存在的不确定性。作者指出了由于缺乏原则性的不确定性处理而导致的三种具体失效模式：

冷启动场景： 在序列推荐中，稀有物品和新用户的历史记录稀疏，但标准 Transformer 却以与热门物品相同的置信度对待它们。
噪声监督： 在大语言模型（LLM）微调中，token-标签的损坏或领域语料库中信号质量的异质性，导致统一的梯度更新，将低信号 token 与高信号 token 同等对待。
注意力汇聚（Attention Sinks）： 无约束的 softmax 注意力可能将质量集中在无信息的早期 token（注意力汇聚）上，或者无法适应长上下文检索中的位置不确定性，因为该架构缺乏一个原生通道来声明某个位置“不可靠”。

当前的解决方案（例如去噪掩码、注意力校准、sigmoid 门控）通常是孤立的启发式方法。本文认为，这些现象共享一个共同的结构性原因：标准 Transformer 中精度（ $\lambda = 1$ ）的退化，其中不确定性既未被追踪也未被传播。

2. 方法论：贝叶斯滤波 Transformer (BFT)

作者提出了贝叶斯滤波 Transformer (BFT)，这是一个将 Transformer 层重新解释为三步贝叶斯滤波器（观测 $\to$ 更新 $\to$ 预测）的框架。该公式将精度（逆方差）恢复为一级公民，允许模型根据可靠性自适应地加权证据。

2.1 框架映射

BFT 将标准 Transformer 操作映射到卡尔曼滤波步骤：

观测（自注意力作为克里金法）：
- 标准注意力计算值的加权平均。BFT 将其视为克里金预测器（一种地统计估计器）。
- BFT 不使用原始注意力权重 $\alpha_{tj}$ ，而是通过结合相关性（查询 - 键相似度）与邻居的先验精度 $\bar{\lambda}_j$ ，计算精度加权的克里金权重 $\tilde{\alpha}_{tj}$ ：
  $\tilde{\alpha}_{tj} = \frac{\alpha_{tj} \bar{\lambda}_j}{\sum_{j'} \alpha_{tj'} \bar{\lambda}_{j'}}$
- 这有效地在注意力 logits 中添加了精度偏差。即使不可靠的邻居（低 $\bar{\lambda}$ ）是相关的，它们的权重也会被降低。
- 观测精度（ $\lambda^{obs}_t$ ）： 使用带有共轭贝叶斯先验（逆- $\chi^2$ ）的**受限最大似然（REML）**估计器，根据克里金估计的残差推导得出。这提供了一种无参数、内容感知的观测方差估计。
更新（残差连接作为卡尔曼更新）：
- 标准残差连接 $h' = h + e$ 是一个增益固定为 $K=1$ 的卡尔曼更新。
- BFT 引入了自适应的卡尔曼增益 $K_t$ ：
  $K_t = \frac{\lambda^{obs}_t}{\lambda_t + \lambda^{obs}_t}$
- 如果观测值噪声大（低 $\lambda^{obs}$ ），则 $K_t \to 0$ ，模型信任先验状态。如果先验不确定（低 $\lambda_t$ ），则 $K_t \to 1$ ，模型信任观测值。这消除了对学习门控机制的需求。
预测（前馈网络作为动力学模型）：
- 前馈网络（FFN）将状态向前演化。BFT 使用Delta 方法和 FFN 的对角雅可比矩阵 $J_{FFN}$ 通过 FFN 传播精度：
  $\tilde{\lambda}''_t = \frac{\lambda'_t}{(1 + J_{FFN,t})^2}$
- 过程噪声（ $Q$ ）： 为了防止精度单调累积（这将导致模型冻结），添加了一个可学习的过程噪声项 $Q$ ，以限制精度更新：
  $\lambda''_t = \left( \frac{(1 + J_{FFN,t})^2}{\lambda'_t} + Q \right)^{-1}$
- 这使得模型能够识别动力学不可预测的维度，并增加对新证据的开放性。

2.2 实现细节

无参数： 核心估计器（带有共轭先验的 REML）不需要学习噪声底限或校准超参数。
即插即用集成： BFT 替换单个 Transformer 层类。它增加了可忽略的开销（<0.1% 参数），并通过计算残差的“扩展平方”恒等式，匹配标准注意力的峰值内存使用量。
初始精度： 在第 0 层，初始精度 $\tau_i$ 按物品学习（或通过嵌入上的小型 MLP），以编码先验可靠性（例如推荐中的物品频率）。
扩展： 该框架支持不同的方差估计器（例如针对非标准化注意力如 HSTU 的三明治估计器）和多头扩展。

3. 主要贡献

统一框架： 本文将 Transformer 表述为贝叶斯滤波器，确定了均匀精度（ $\lambda=1$ ）是注意力汇聚、噪声反馈损坏和冷启动退化的根本原因。
高效算法： 一种即插即用算法（BFT），通过 REML 推导观测精度，并利用基于雅可比矩阵的 Delta 方法和过程噪声将其通过 FFN 传播，所有操作均保持标准内存复杂度。
实证验证：
- 序列推荐： 应用于三个不同的骨干网络（SASRec, BERT4Rec, HSTU）和六个数据集。BFT 带来了显著的提升，特别是在冷启动用户和稀有物品上（例如，在 Sports 数据集中，稀有物品的 HR@10 提升了 +14.5%）。
- LLM 微调： 应用于 TinyLlama-1.1B，在噪声监督（token-标签损坏）和噪声上下文（RAG 干扰项）下。BFT 提高了鲁棒性和性能，即使在干净数据上也优于标准 SFT，因为它将不确定的 token 路由到 FFN 动力学而非噪声注意力中。

4. 结果

推荐： 在稀疏的 Amazon 数据集（Sports, Instruments）上，BFT 始终优于基线。提升与信噪比严格相关：数据越稀疏（不确定性越高），提升越大。例如，在 Instruments 数据上使用 HSTU 时，BFT 实现了 +15.1% 的 HR@10 提升。
冷启动分析： 分层分析证实，BFT 的益处集中在稀有物品（Q0）和冷启动用户上。机制分析显示，对于稀有物品，模型学习到了较低的卡尔曼增益（ $K \approx 0.77$ ）和较高的先验精度，有效地将预测路由通过 FFN 动力学，而不是依赖噪声注意力上下文。
LLM 鲁棒性： 在噪声 SQuAD 微调中，BFT 的表现优于标准 SFT 和 Focal-loss 基线。值得注意的是，在干净数据（$np=0$）上，BFT 将 F1 分数提高了 +8.3%（相对于 SFT），这表明该机制不仅仅是一个噪声过滤器，而是一个结构化正则化器，通过适应 token 级别的可靠性来提高表示质量。
注意力汇聚： 对门控注意力模型（Qiu 等人，2025）的分析表明，学习到的 sigmoid 门在结构上对上下文长度是不变的，而 BFT 导出的卡尔曼增益自然地追踪信息几何（有效样本量），为门控为何有效提供了原则性的解释。

5. 意义与主张

本文主张，恢复精度是一项单一的原则性修改，能够解锁经典序列建模和现代 LLM 领域的大量潜力空间。

整体解决方案： 与针对特定失效模式的孤立补丁（例如针对冷启动的去噪掩码、针对汇聚的门控）不同，BFT 通过统一的贝叶斯公式同时解决了这些问题。
自适应路由： 核心机制不仅仅是“降低噪声权重”，而是自适应信息路由：模型学会对不确定的 token 信任 FFN 的学习动力学，对自信的 token 信任注意力机制。
可扩展性： 该方法计算高效，不需要额外的前向传播（不像 MC Dropout 或集成方法），并且增加的参数开销可忽略不计。
适度范围： 作者指出，验证主要集中在序列推荐规模，LLM 实验仅作为在 TinyLlama-1.1B 上的概念验证。他们承认，虽然 BFT 在低信噪比环境中帮助最大，但在先验已经确定的密集数据集上，提升较小。

总之，本文提出 Transformer 的局限性不在于其架构本身，而在于其未能建模自身输入和中间状态的不确定性。通过将 Transformer 视为贝叶斯滤波器，BFT 恢复了这一缺失的维度，从而在不确定环境中产生了更鲁棒、更准确的模型。