🤖 machine learning

BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval

BACH 引入了一种用于多兴趣双塔检索的贝叶斯对比头混合框架，该框架利用变分推理将用户兴趣建模为一种软混合，从而有效地缓解了路由塌陷问题，并提供了每用户兴趣权重，同时提升了在大规模基准测试中的检索性能。

原作者： Quoc Phong Nguyen, Paul Albert, Long Vuong, Vuong Le, Julien Monteil

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Quoc Phong Nguyen, Paul Albert, Long Vuong, Vuong Le, Julien Monteil

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一座拥有数百万本书籍的巨大且无尽的图书馆里。你有着非常独特的品味：你热爱 80 年代的科幻小说，但你也暗暗喜爱烘焙教程和古代历史。

传统的推荐系统就像一个试图将你所有的兴趣挤进单一人格里的图书管理员。他们试图在脑海中为你寻找一个单一的“你”。问题在于，如果你最喜欢科幻小说，图书管理员就会假设你只想要科幻小说。他们会将烘焙和历史书籍塞进后台的储藏室，因为这些书不符合那个单一的“科幻”标签。这就是论文中所说的“单向量”（single-vector）方法，它让你的许多兴趣都被搁置在了书架上。

随后，一些更聪明的图书管理员尝试了一个新窍门：多兴趣（Multi-Interest）。他们不再给你设定一种人格，而是在脑海中给了你 $k$ 个不同的“头脑”（或化身）。一个头脑是“科幻迷”，一个头脑是“烘焙师”，还有一个是“历史学家”。当你索要一本书时，图书管理员会检查所有 $k$ 个头脑，并挑选出匹配度最高的那一个。

但这里出现了论文发现的一个故障：
旧有的训练这些图书管理员的方式就像一场“胜者全拿”的游戏。当你选择了一本科幻书时，图书管理员只会给“科幻头脑”一个击掌。而“烘焙头脑”和“历史头脑”则被忽略了。随着时间的推移，科幻头脑变得异常强大，而其他头脑却变得懒惰、停止学习，并最终开始模仿科幻头脑。这被称为**“路由崩溃”（routing collapse）**。图书管理员虽然拥有 $k$ 个头脑，但它们表现得就像同一个人。此外，图书管理员完全不知道你对烘焙还是历史到底有多大的兴趣；他们只是在瞎猜。

解决方案：BACH（贝叶斯对比头脑混合模型）

作者们（来自亚马逊的一个团队）构建了一个名为 BACH 的新系统。把 BACH 想象成这样一位图书管理员：他不仅仅是选一个头脑来和你交流，而是为每一次请求都调制出一杯定制的兴趣鸡尾酒。

以下是 BACH 的工作原理，使用的是论文中的实际机制：

1. 软混合（不再是“胜者全拿”）
与其只让一个头脑来完成工作，BACH 会追问：“科幻头脑发挥了多少作用？烘焙头脑又发挥了多少作用？”

旧方式： “科幻头脑胜出！其他头脑得分为零。”
BACH 的方式： “科幻头脑获得 70% 的功劳，烘焙头脑获得 20%，历史头脑获得 10%。”
这就是所谓的软混合（soft mixture）。因为每当你与任何物品互动时，每个头脑都会得到一点点功劳（即“梯度”），所以没有任何一个头脑会变得懒惰或崩溃。它们都会持续学习并保持敏锐。

2. 个性化权重（“混合物”）
BACH 不仅仅是猜测你的兴趣，它还会计算一个特定的权重 ( $\pi_u$ )。

对于你，权重可能是：70% 科幻，20% 烘焙，10% 历史。
对于你的朋友，权重可能是：10% 科幻，80% 烘焙，10% 历史。
论文表明，这些权重是使用一种称为**变分推理（variational inference）**的方法学习到的。这就像图书管理员在不断调整每个用户的“旋钮”，以确定要给每个兴趣分配多少质量。这个权重在训练期间和实际进行推荐时都会被使用，从而保证了系统的一致性。

3. “全局代码本”选项
论文还发现了一个酷炫的技巧。你可以让“科幻”和“烘焙”这些头脑在所有人之间共享（作为全局话题列表），而只有权重会因人而异。

为什么这很酷： 图书管理员可以预先计算好“科幻书单”和“烘焙书单”，然后将其存储起来。当你走进来时，他们只需根据你的个人权重将这些预制的列表混合在一起。这非常快速，而且即使对于还没有阅读记录的新用户（即“冷启动”问题），效果也非常好。

论文实际上证明了什么（以及没证明什么）

作者不仅是在猜测；他们在三个巨大的真实世界数据集上进行了测试：MovieLens-20M（2000 万条电影评分）、Taobao（一个大型中国购物网站）和 Netflix。

结果： 在这三个数据集上，BACH 都击败了旧有的“胜者全拿”式多兴趣模型以及单人格模型。
- 在 MovieLens-20M 上，BACH 的最佳版本（使用 32 个头脑）达到了 AUPRC 0.069，超过了排名第二的模型（0.067）。
- 在 Taobao 上，相比于之前最好的方法，BACH 将顶部的结果提升了约 3% 到 5%。
- 在 Netflix 上，提升更为显著，在 32 个头脑的情况下，BACH 在 AUPRC 指标上领先竞争对手达 12.7%。
“路由”发现： 论文明确排除了那种只更新“获胜”头脑的旧训练方式（称为 "pos-multihead"）。他们发现，使用“仅限获胜者”规则进行训练，其表现实际上比由其最佳头脑进行评分的训练方式更差。事实上，论文表明，旧的“胜者全拿”训练方式会导致性能大幅下降（相比于“全候选者”评分法，性能下降高达 41%）。
“集中度”惊喜： 论文反对使用复杂的“先验”（预设规则）来保持系统稳定。他们发现，系统具有**自我正则化（self-regularizes）**的能力。“集中度”（即兴趣的尖锐或模糊程度）会自然地保持在一个健康的范围内（在他们的特定数学模型中约为 17 到 30），而不需要额外的规则来强制约束。

核心结论

该论文表明，通过将用户的兴趣视为一种灵活的、加权的混合体，而不是单一的选择或僵化的胜者，我们可以构建出更准确、更不易发生“崩溃”且运行更快的推荐系统。

他们通过 32 个头脑（兴趣）进行了测试，并发现效果最好，但也展示了该系统在 8、16、128 和 256 个头脑下的表现。该系统非常稳健，并且他们尝试的两种不同的数学版本（称为 p-BACH 和 v-BACH）表现几乎一致，这表明是“混合”这个理念起到了作用，而非具体的数学实现细节。

因此，如果你是一个拥有无数不同爱好的好奇青少年，BACH 就是那位终于不再试图把你强行塞进一个框子里，而是为你打造一个专属、完美书架的图书管理员。

技术摘要：BACH (基于对比头部的贝叶斯混合模型)

1. 问题陈述

双塔检索器是大规模推荐系统中候选生成的主流方案，它将用户和物品映射到一个共享的嵌入空间，并通过内积进行评分。然而，标准的单向量模型难以表示具有多样化、弱相关兴趣的用户，往往迫使所有兴趣坍缩为嵌入空间中的一个点。这导致检索出的列表过度代表了主导兴趣，而忽视了其他兴趣。

多兴趣模型试图解决这一问题，通过为每个用户生成 $k$ 个嵌入（即“头”/heads），并以这些头中最大的内积来为物品评分。然而，现有方法存在两个关键局限性：

路由坍缩 (Routing Collapse)： 通过“硬路由”（即只有与正样本得分最高的那个头才会接收梯度）进行训练会产生一种“胜者全得”的动态机制。初始得分略低的头会被选择得更少，从而接收到的更新也更少，并逐渐坍缩成主导头的副本，导致实际容量低于 $k$ 。
缺乏个性化用户兴趣权重： 现有方法对称地对待所有 $k$ 个头，无法提供关于每个头解释下一个物品可能性的逐用户估计。因此，在推理阶段，服务规则要么选择得分最高的头，要么在隐式均匀先验下取前 $k$ 个列表的并集，无法反映特定用户兴趣的异质性重要程度。

2. 方法论：BACH

作者提出了 BACH (Bayesian Admixture of Contrastive Heads)，将多兴趣双塔检索重新定义为通过变分推理拟合的逐用户 Softmax 混合模型。

生成模型

BACH 将 $k$ 个用户头视为有限混合模型的组件。对于用户 $u$ 和物品 $i$ ：

引入了一个潜在的组件指示变量 $z_n \in \{1, \dots, k\}$ ，以及一个逐用户的先验 $\pi_u$ （混合权重向量）。
在给定 $z_n = r$ 的条件下，物品是从由第 $r$ 个用户嵌入 $u^{(r)}$ 定义的采样 Softmax 分布中生成的。
观测数据的对数似然是关于潜在头的边缘分布： $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$ 。

变分推理与识别后验

由于“对数之和”项的存在，直接优化对数似然具有挑战性。BACH 采用变分推理来最大化证据下界 (ELBO)。

识别后验 (Recognition Posterior)： 由于模型自身的负相关后验在推理时是不可解的，BACH 引入了一个球面识别后验 $\gamma_n$ 来覆盖这些头。
核函数选择： 后验使用球面密度建模（默认为 Power-Spherical，另一种可选为 von Mises-Fisher）。该密度由头方向 $u^{(r)}$ 和集中参数 $\kappa_r$ 参数化。
责任度 (Responsibilities)： 变分分布（责任度） $\gamma_n^{(r)}$ 计算如下：
$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$
其中 $\sigma_r(n)$ 是基于头与正向物品之间对齐程度的球面密度值。

优化

模型联合优化以下各项以最大化 ELBO：

嵌入 ( $\theta, \phi$ )： 用户头和物品塔通过责任度加权的对比损失进行训练。与硬路由不同，梯度通过所有 $k$ 个头进行流动，其权重由责任度 $\gamma_n^{(r)}$ 决定，从而缓解了路由坍缩。
混合权重 ( $\pi_u$ )： 一个门控塔 $\pi_\xi(x_u)$ 生成逐用户的权重。这些权重作为 ELBO 中的先验，并在推理阶段用于对每头检索结果进行加权。
集中参数 ( $\psi$ )： 学习集中参数 $\kappa_r$ 以拟合对比后验的锐利度。至关重要的是，由于 $\kappa_r$ 仅通过 KL 散度项进入 ELBO，它们是自正则化的，不需要显式的先验或截断。

推理 (Serving)

在推理阶段，BACH 通过自归一化混合密度对物品进行排序：
$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$
这实现了高效的检索：

软排序 (Soft Ranking)： 物品按软混合而非硬最大值进行排序，允许坍缩或低质量的头贡献极小权重。
全局码本变体 (Global Codebook Variant)： BACH 支持一种“全局”模式，其中头在所有用户间共享（一个固定的主题码本），而 $\pi_u$ 保持个性化。这实现了可预计算检索，即离线计算每个头的候选列表，然后在推理时通过 $\pi_u$ 进行重加权，从而消除了逐用户的最近邻查询。

3. 核心贡献

变分公式化： 将多兴趣检索建模为通过变分推理拟合的逐用户 Softmax 混合模型，用软责任度取代了硬 arg-max 路由。
缓解路由坍缩： 通过根据软责任度将梯度分配到所有头，BACH 防止了硬路由中常见的“胜者全得”动态。
逐用户兴趣权重： 模型学习了显式的逐用户混合权重 ( $\pi_u$ )，这些权重量化了头的显著性，并在推理时被复用以对检索结果进行加权，解决了现有方法中缺乏兴趣异质性的问题。
自正则化集中参数： 集中参数 $\kappa_r$ 通过 ELBO 的 KL 项拟合数据，无需外部先验且能自然保持有界。
推理一致性评分： 论文证明了使用“推理一致性”目标（即对每个候选物品都按其最佳头进行评分，而非仅针对正样本）的效果优于传统的针对目标路由的训练。

4. 实验结果

作者在三个大规模基准数据集上评估了 BACH：MovieLens-20M、Taobao 和 Netflix。

性能表现： 在所有指标（Recall@K, NDCG@K, AUPRC）以及所有头数设置（ $k \in \{8, 16, 32\}$ ）下，BACH 的表现均优于所有基线模型（包括单向量模型、像 MIND/ComiRec 这样的硬路由多兴趣模型以及 max-routing 变体）。
排名顶端增益： 改进在排名顶端最为显著（AUPRC, R@10），表明其更好地对齐了用户意图。
路由消融实验： 研究发现，“全多头”（对每个候选物品按其最佳头评分）的表现显著优于“正样本多头”（目标路由），且随着 $k$ 的增加，差距进一步扩大。BACH 在此基础上进一步提升了性能。
核函数变体： Power-Spherical (p-BACH) 和 von Mises-Fisher (v-BACH) 变体的表现相当，其增益归功于变分混合结构而非特定的球面核函数。
全局码本： 全局码本变体（共享头，个性化权重）表现强劲（比流行度基线高出 2–5 倍），同时提供了可预计算、低延迟的推理能力和冷启动鲁棒性，尽管在准确性上较完全个性化的头略有折损。

5. 重要性与主张

论文声称，BACH 提供了一个原则性的概率框架，用于解决多兴趣检索中的结构性缺陷。通过将问题视为变分混合模型，它实现了：

鲁棒性： 无需复杂的正则化启发式方法即可消除头坍缩。
校准性： 生成经过校准的逐用户兴趣权重，从而提高推理的一致性。
灵活性： 提供了一系列部署选项，从完全个性化的头到可预计算的全局码本，允许在准确性和推理效率之间进行权衡。

作者强调，该方法在保持可处理的推理架构的同时，提高了在真实大规模数据集上的检索质量，是现有多兴趣基线模型的一次实用性进展。