🤖 machine learning

Scalable Pairwise Kernel Learning with Stochastic Vec Trick

本文介绍了 SPaiK，这是一种用于成对设置的可扩展核学习方法，它利用随机广义 vec 技巧 (sGVT) 显著降低了计算和内存成本，从而能够在大规模药物-靶点亲和力数据集上进行高效训练。

原作者： Napsu Karmitsa, Tapio Pahikkala, Antti Airola

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Napsu Karmitsa, Tapio Pahikkala, Antti Airola

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名媒人，试图预测哪些**药物（Drugs）能与哪些靶点（Targets，如人体内的蛋白质）**完美匹配。在机器学习的世界里，这被称为“成对学习”（Pairwise Learning）。

通常情况下，如果你有 1,000 种药物和 1,000 个靶点，你就必须检查 1,000,000 种可能的组合。如果你试图一次性计算所有配对的“兼容性评分”，计算机的“大脑”（内存）就会爆炸，而且计算过程会极其漫长。这就像是为了寻找一个好故事，而试图同时阅读一百万页百科全书中的每一页一样。

这篇论文介绍了一种名为 SPaiK（可扩展成对核学习，Scalable Pairwise Kernel learning）的新方法来解决这个问题。以下是该方法的运作方式，通过简单的概念进行拆解：

1. 旧有的问题：“全或无”的方法

传统方法试图一次观察整部百科全书。它们使用一种称为**广义向量技巧（Generalized Vec Trick, GVT）**的数学捷径来避免写下整本百万页的书。与其写下每一页，不如使用一个巧妙的公式直接跳到答案。

症结所在： 即便有了这个捷径，如果拥有数百万个配对，计算机在学习过程的每一个步骤中仍然需要进行大量的计算工作。这就像一位图书管理员，虽然可以跳过某些页面，但每当学生提问时，他仍必须走遍整个图书馆。

2. 新的解决方案：“随机”方法 (SPaiK)

作者发明了一个名为 sGVT（随机广义向量技巧，Stochastic Generalized Vec Trick）的新技巧。

类比： 与其让图书管理员为每个问题都走遍整个图书馆，SPaiK 说：“让我们现在只看一小叠随机的书（即一个‘批次’/batch）。”
运作方式： 计算机挑选一小组药物-靶点配对，从中学习，并更新它的“直觉”（模型）。然后，它再挑选另一组不同的、小规模的配对，再次学习。
神奇的成分： 为了确保计算机不会忘记之前那一叠书带来的教训，SPaK 保留了一份特殊的“小抄”（称为辅助矩阵 M）。这份小抄记录了目前为止所见过的药物与靶点之间的关系，因此计算机不必在每次挑选新批次时都从头开始重新学习。

3. 为什么这意义重大

论文声称，这种新方法允许科学家在以前无法处理的大型数据集上进行训练。

速度： 它快得多。通过观察较小的批次（例如一次处理 20% 的数据），计算机能在极短的时间内完成任务。
准确性： 令人生疑的是，仅仅观察数据的一小部分并不会让模型变得“愚笨”。论文表明，SPaiK 在预测匹配方面的表现与那些缓慢的旧方法一样出色。
“零样本”超能力： 论文强调了一个非常困难的特定挑战，称为零样本学习（Zero-Shot Learning）。这是指计算机必须预测一个全新的药物与一个全新的靶点之间的匹配情况，而它此前从未见过这两者。
- 大多数方法在这里都会遇到困难。
- 然而，SPaK 在这些“零样本”场景中表现得非常好，有时甚至超越了那些更慢的旧方法。这就像一位媒人，仅凭对人们如何建立联系的普遍模式的理解，就能成功地为素未谋面的两人牵线搭桥。

4. “甜点位”（最佳平衡点）

研究人员测试了不同大小的“批次”（即一次观察多少个配对）。

观察 100% 的数据： 非常准确，但很慢。
观察 1% 的数据： 非常快，但预测结果会变得有些草率。
获胜者： 一次观察约 20% 的数据（SPaK-20）是完美的平衡点。它的准确度几乎与缓慢的方法持平，但速度显著提升。

总结

可以将 SPaK 想象成一名正在为一场大型考试高效复习的学生。他不是试图在一次坐席中背诵整本教科书（这会导致大脑死机），而是通过学习一个个专注的小章节，并保留一份关于目前所学内容的运行摘要。这使他能够更快地掌握材料，同时又不会忘记重要的细节，即使那本教科书长达数百万页。

该论文并未声称：

它并未声称治愈了任何疾病，也未在真实患者身上测试过这些药物。
它并未声称这会立即改变医院的工作流程。
它严格专注于数学和计算方法，旨在让药物-靶点匹配的预测变得更快且更具可扩展性。

技术摘要：基于随机 Vec Trick 的可扩展成对核学习

1. 问题陈述

成对学习（Pairwise learning）涉及预测对象对（例如药物-靶点亲和力、推荐系统、链路预测）的结果。虽然神经网络和矩阵分解在这一领域占据主导地位，但它们在零样本学习场景（即成对中的两个对象在训练期间均未出现）和冷启动问题中往往表现不佳。核方法提供了一种强有力的替代方案，特别是在通过**克罗内克积核（Kronecker product kernels）**利用两个对象的侧向信息（特征）时。

然而，将核方法扩展到大规模数据集存在显著瓶颈。显式构建 $n$ 个训练对的成对核矩阵 $K$ 在计算上是不可行的，因为其规模为 $O(n^2)$ 。虽然广义 Vec Trick (GVT) 将矩阵-向量乘法的复杂度降低到了 $O(nm + nq) $（其中$ m $和$ q $分别是唯一药物和靶点的数量，通常$ m, q \ll n $），但训练时间仍然随总对数$ n$ 线性增加。现有的大规模核方法主要针对单实例核，未能充分利用成对核的结构特性来进一步降低内存和计算成本。

2. 方法论

本文介绍了 SPaiK（Scalable Pairwise Kernel learning），这是一种旨在将基于核的成对学习扩展到此前难以处理的数据集规模的新算法。该方法论基于两项核心创新：

A. 随机广义 Vec Trick (sGVT)

作者提出了 sGVT，它是 GVT 算法的一种随机扩展。

机制： sGVT 不在每次迭代中处理所有 $n$ 个训练对，而是处理成对的微批次（mini-batches, $n_B$ ）。
批次选择： 该方法采用了基于靶点（target-wise）的批次选择策略，即选择一个靶点索引子集，并将涉及这些靶点的所有药物-靶点对包含在批次中。初步实验表明，这种策略优于基于药物（drug-wise）的选择。
辅助矩阵： sGVT 的一个关键组成部分是维护一个辅助的双重药物矩阵（dual-drug matrix） $M \in \mathbb{R}^{m \times q}$ 。该矩阵存储来自先前批次的信息，模拟当前批次中的预测与当前批次之外的双变量之间的依赖关系。作者指出，如果没有 $M$ ，随机近似会丢失关键的交互信息，导致显著的精度下降。
复杂度： 矩阵-向量乘法的计算成本从 $O(nm + nq) $降低到 **$ O(n_B m + n_B q) $**，其中$ n_B$ 是用户指定的批次大小。

B. 随机不精确有限记忆捆绑法 (StoILMBM)

SPaiK 将 sGVT 与基于 InexactLMBM 解算器的 StoILMBM 优化器相结合。

优化目标： 该算法使用 ** $\epsilon$ -不敏感平方损失（ $\epsilon$ -insensitive squared loss）**和 $\ell_1$ 正则化来最小化正则化经验风险函数。
过程： StoILMBM 通过迭代选择基于靶点的批次，在保持其他变量固定的情况下求解批次特定双变量的子问题，并更新辅助矩阵。
鲁棒性： 使用非光滑优化（通过 InexactLMBM）结合 $\ell_1$ 正则化的动机在于其能够产生稀疏解并处理损失函数的非光滑性，这已被证明在冷启动和零样本设置中能提高性能。

C. 算法流程 (SPaiK)

初始化： 设置参数，包括批次大小百分比 ( $p_B$ ) 和正则化参数。
逐轮训练（Epoch-wise Training）： 在第一阶段，算法执行一个 epoch，确保每个靶点至少按随机顺序被包含一次。
随机迭代： 后续迭代使用单个随机批次。
验证： 使用验证指标（如 C-index）监控性能以触发早停。
输出： 返回测试数据上的预测结果和性能指标。

3. 核心贡献

引入 sGVT： 作为 GVT 的随机扩展，它实现了在 $O(n_B m + n_B q)$ 时间内高效进行克罗内克积核矩阵与向量的乘法，显著降低了内存和计算需求。
开发 SPaiK： 一种可扩展的成对核学习算法，将 sGVT 与 StoILMBM 优化器相结合。它使得在以前无法处理的数据集规模上进行训练成为可能。
保留交互信息： 辅助矩阵 $M$ 的设计确保了随机近似能够保留必要的依赖结构，从而维持了成对核的表达能力。
开源实现： 作者提供了 SPaiK、sGVT 和 StoILMBM 的完整实现。

4. 实验结果

作者在 七个真实的药物-靶点亲和力 (DTA) 数据集（Davis, Metz, KiBA, Merget, GPCR, Ion Channels, Enzymes）上评估了 SPaiK，涵盖了连续型和二元标签。

对比基准： 将 SPaiK 与 CGKronRLS（共轭梯度克罗内克 RLS）和 KronSVM（最先进的成对核方法）进行了比较。
性能指标： 使用 C-index（排序准确度）、IC-index（交互建模能力）和 CPU 时间进行评估。
主要发现：
- 准确度 vs. 效率： SPaiK 达到了与 CGKronRLS 和 KronSVM 相当的准确度。具体而言，SPaK20 变体（使用每批次 20% 的靶点）在保持与全量批次版本 (SPaK100) 几乎相同的预测准确度的同时，提供了显著的加速（通常是一个数量级）。
- 零样本学习 (ODOT)： 在最具挑战性的场景（零样本学习，即训练中既没有见过该药物也没有见过该靶点）下，SPaiK 通常优于 CGKronRLS，尤其是在连续型数据集上。这归功于 $\epsilon$ -不敏感损失和 $\ell_1$ 正则化的鲁棒性。
- 批次大小权衡： 将批次大小从 100% 降至 20% 会导致 C-index 极小的下降（连续型数据平均下降 0.003），但带来了运行时间的巨大缩减。更小的批次（1-5%）虽然运行更快，但会导致明显的准确度损失。
- 批次选择策略： **逐轮（epoch-wise）**批次选择（确保每个靶点在每个 epoch 中至少被看到一次）通常比完全随机选择产生更好的 IC-index 值，这表明它能更好地保留成对交互结构。
- 可扩展性： SPaiK 成功扩展到了全量批次方法在计算上变得难以承受的问题规模。

5. 重要性与主张

本文声称，SPaiK 使将核方法应用于此前无法触及的数据集规模成为可能。通过通过随机批次处理和 sGVT 将模型规模与数据集规模解耦，作者证明了核方法可以扩展到与现代深度学习系统相当的水平，同时保留其在零样本和冷启动场景中的优势。

作者强调：

随机方法即使在最困难的零样本设置下也不会削弱泛化能力。
IC-index 的结果证实了随机方法成功捕捉了非线性成对交互，验证了辅助矩阵 $M$ 有效地保留了交互信息。
SPaiK 提供了一个实用的、可扩展的替代方案，用于处理连续型和二元型的成对学习任务，其中约 20% 的批次比例在运行时间与准确度之间提供了最佳平衡。

这项工作表明，像 sGVT 这样的随机矩阵-向量乘法技术并不局限于此处使用的特定优化器，也可以集成到其他克罗内克积核方法（例如基于共轭梯度的（CG-based）方法）中，以增强其可扩展性。