🤖 machine learning

TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees

本文介绍了 TreeCCA，这是一种通过使用自定义的 Eckart-Young 损失函数，将梯度提升树集成模型端到端地训练为典型相关分析（CCA）编码器的新型方法，从而在保持标准树类库的即插即用可靠性与高效性的同时，实现了最先进的非线性相关性提取与可解释性。

原作者： James Chapman

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： James Chapman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解谜题的侦探，但你有两个不同的笔记本记录着线索。一个笔记本记录了嫌疑人的身高、体重和鞋码；另一个则记录了他们喜爱的食物、音乐流派和爱好。你的任务是找到这两份清单之间隐藏的联系。也许身材较高的嫌疑人往往喜欢爵士乐，或者喜欢辣味食物的人也更喜欢徒步旅行。这正是统计学侦探游戏——**典型相关分析（Canonical Correlation Analysis, CCA）**的核心。CCA 是科学家用来寻找两组不同数据之间最强联系的工具，帮助他们理解不同领域的部分——例如基因与疾病，或大脑活动与行为——是如何相互作用的。

长期以来，侦探们使用简单的直线尺来寻找这些联系。他们假设关系是像“身材高就等于爱听爵士乐”这样直截了当的。但现实世界是混乱且弯曲的；有时，这种联系是一种扭曲、复杂的曲线，而直线尺根本无法测量。为了解决这个问题，科学家开始使用“深度学习”，这就像雇佣了一支超级聪明、灵活的机器人团队来寻找这些曲线模式。这些机器人功能强大，但它们也像“黑盒”一样：难以调优，容易被少量数据迷惑，而且一旦它们找到了答案，通常很难解释其背后的逻辑。它们只是给出答案，却不展示解题过程。

正是在这里，一篇新论文提出了一个新鲜的想法。由 James Chapman 领导的作者们问道：“如果我们使用那些已经是表格数据之王的工具——梯度提升树（Gradient-Boosted Trees）——来解决这个谜题会怎样呢？”你可能知道这些树是 XGBoost 或 LightGBM 背后的引擎，这些工具在预测房价或贷款风险等比赛中几乎赢得了所有比赛。它们以可靠、易用且最重要的是具有透明性而闻名。你可以观察一棵树，并清楚地看到哪个线索最重要。这篇论文介绍了 TreeCCA，这是一种通过训练这些基于树的引擎来寻找两组数据之间复杂、曲线连接的方法，就像那些高级机器人一样，但它具备稳健的树结构所带来的可靠性和清晰度。

学习进行相关的树

该论文提出了 TreeCCA，这是第一个将梯度提升树集成模型训练为 CCA “编码器（encoder）”的方法。你可以把编码器想象成一个翻译官，它将原始数据（如一组数字）转化为一种特殊的代码（嵌入/embedding），从而突出最重要的关系。通常，这些翻译官是神经网络（即机器人）。TreeCCA 则用一片决策树森林取代了机器人。

让这一切成为可能的秘诀在于一种被称为 Eckart-Young (EY) 损失函数 的技术。在过去，为了这项工作去训练树就像试图教一只狗做微积分；数学逻辑并不匹配。然而，EY 损失提供了一套特殊的指令（梯度），告诉树如何精确地调整它们的树枝，从而更好地寻找相关性。这就像给树一张地图，上面写着：“如果你在这里进行分裂，你就会离真相更近一步。”由于这些指令非常清晰，它们可以直接插入到像 XGBoost 或 LightGBM 这样的标准树库中，而无需重写软件。

为什么树可能比机器人更好

作者将 TreeCCA 与目前的冠军进行了对比：Deep CCA（机器人方法）和 Linear CCA（直线尺方法）。结果非常出色，在某些情况下，树甚至赢得了比赛。

在旨在设置陷阱的合成测试中，TreeCCA 找到了比机器人更强的联系。例如，在一个名为“符号幂（Signed Power）”的测试中，TreeCCA 得分为 2.61，击败了 Deep CCA 的 2.43。在另一个名为“埃尔米特（Hermite）”的测试中，其中的联系如此复杂，以至于直线尺完全看不见（得分接近零），而 TreeCCA 找到了一个强大的信号，得分为 2.93，略微领先于 Deep CCA 的 2.89。

但真正的魔力发生在数据变得庞大或杂乱时。在一个使用大规模手写数字数据集（拥有 54,000 张图像的 Split MNIST）的测试中，机器人方法（Deep CCA）开始死记硬背训练数据而不是学习规则，导致其练习得分与测试得分之间出现了巨大的差距（比例为 1.95）。然而，TreeCCA 保持了冷静和一致，比例仅为 1.04。看起来，树天生就更擅长不过度思考，这使得它们在面对缺乏数百万个样本的现实世界数据时更加可靠。

“为什么”的超能力

TreeCCA 最令人兴奋的部分不仅在于它有效，还在于它能解释其运作方式。神经网络经常被批评为不透明；你很难轻易说出它使用了哪个特征来做出决策。相比之下，树是建立在“分裂”基础上的：“温度是否高于 70 度？是/否。”这种结构赋予了它们原生可解释性。

作者在 UCI HAR 数据集上展示了这一点，该数据集利用智能手机传感器（加速度计和陀螺仪）追踪人体运动。他们想看看模型能否发现运动的“量级”（手机旋转的剧烈程度）是识别活动的关键。TreeCCA 不仅得到了正确答案，它的“特征重要性”评分还清晰地显示了量级特征是最重要的，这完美符合关于旋转物理学的假设。而神经网络虽然给出了正确答案，却无法解释原因，将其理由隐藏在数百万个参数之中。TreeCCA 则将推理过程摆在了桌面上。

在噪声中寻找信号

论文还解决了一个其他方法会失败的特定问题：稀疏信号（sparse signals）。想象一下，你有 500 个线索，但其中只有 5 个真正有用，且它们之间的联系是非线性的（曲线的）。一种名为 PMD（一种流行的稀疏 CCA 工具）的方法依赖于线性数学，因此会被这种类型的信号彻底搞混，表现得和随机猜测没什么区别。然而，TreeCCA 将这个问题视为一场“二十个问题”的游戏。它会问：“我应该根据哪个特征进行分裂？”并自然地忽略了那 495 个无用的噪声特征。在一个拥有 50 个特征的测试中，TreeCCA 实现了完美的精确度（1.00），每次都能正确识别出那 5 个真实的线索，而 PMD 则一无所获。

总结

TreeCCA 不仅仅是一个新算法；它是一种视角的转变。它表明，对于许多涉及表格数据（行和列组成的数字）的问题，我们不需要动用那些复杂、难以调优的神经网络来寻找深层联系。相反，我们可以使用那些已经在该领域占据主导地位的、稳健、可靠且可解释的树。

作者发现，TreeCCA 在准确性上能匹配或超越 Deep CCA，在某些基准测试中运行速度快了 5 倍，并且能为其推理过程提供清晰的解释。虽然论文指出，关于树如何收敛的正式数学证明仍在研究中，但模拟和现实世界的测试结果非常有力。它为一种新型的“自监督学习”打开了大门，在这种学习中，树可以从数据中学习而无需标签，从而解决线性方法根本无法察觉的问题。在数据科学的世界里，TreeCCA 提醒我们：有时候最好的工具并不是最复杂的那个，而是那个明确知道该沿着哪根树枝向下寻找的工具。

技术摘要：TreeCCA

问题陈述

典型相关分析（Canonical Correlation Analysis, CCA）是一种基础技术，用于寻找两组匹配视图的投影，以最大化跨视图相关性。虽然 CCA 已成功应用于多组学领域（如揭示基因组学、转录组学与蛋白质组学之间的关联），但现有方法面临显著局限性：

线性限制： 经典 CCA 依赖于线性投影，无法捕捉非线性关系。
神经网络的局限性： 深度 CCA (DCCA) 利用神经编码器解决了非线性问题，但由于梯度提升树 (GBT) 在处理阈值结构、特征交互以及中等样本量方面具有卓越表现，其在表格数据上的性能往往逊于 DCCA。
稀疏盲区： 稀疏 CCA 方法（如 PMD）使用 L1 惩罚项进行特征选择，但在结构上无法识别线性跨视图协方差为零的信号。
可解释性： 神经编码器缺乏原生可解释性，难以理解哪些特征驱动了跨视图相关性。

目前尚无方法将梯度提升树作为 CCA 编码器进行使用，尽管 GBT 在表格机器学习基准测试中占据主导地位。

方法论：TreeCCA

作者提出了 TreeCCA，这是首个将梯度提升树集成模型端到端训练为 CCA 编码器的方法。其核心技术赋能器是 Eckart-Young (EY) 损失函数，它将 CCA 重新表述为一个关于嵌入矩阵 $Z_1$ 和 $Z_2$ 的无约束最小化问题，从而绕过了广义特征值问题。

核心技术组件

EY 损失与梯度：
EY 损失定义为：
$L_{EY}(Z_1, Z_2) = -2 \text{tr}(C) + \|V\|_F^2$
其中 $C$ 是对称化后的跨协方差， $V$ 是视图内协方差。至关重要的是，该公式提供了闭式逐样本梯度：
$\frac{\partial L_{EY}}{\partial Z_{1,i}} = \frac{4}{N-1} (-Z_{2c,i} + V Z_{1c,i})$
这些梯度仅取决于经验嵌入，而不依赖于编码器架构。这使得梯度可以直接通过自定义目标函数 API 提供给任何标准 GBT 库（如 XGBoost, LightGBM），而无需修改库本身。
训练流程：
- 双编码器设置： 训练两个提升器 $B_1$ 和 $B_2$ ，将视图 $X_1$ 和 $X_2$ 映射到嵌入 $Z_1$ 和 $Z_2$ 。
- 增量嵌入缓存： 为了避免在每一轮迭代中重新评估所有树所带来的 $O(R^2NK)$ 计算成本，该方法维护一个缓存的嵌入 $Z$ ，并通过仅评估新添加的树来增量更新它。这实现了 50–100 倍的加速。
- 单位海森矩阵 (Unit Hessians)： 该方法将所有样本的 Hessian 设置为 $h_i = 1$ 。使用真实的 EY Hessian 会导致叶权重计算中的分母被 L2 正则化项 $\lambda$ 主导，从而导致发散。单位海森矩阵确保叶节点值等于梯度的平均值，从而保证稳定性。
- 梯度归一化： 原始 EY 梯度随 $O(1/\sqrt{N})$ 缩放。该方法将梯度归一化为固定的目标标准差（ $\sigma_{target} = 0.1$ ），从而使训练速度与数据集大小解耦，并确保学习率的可解释性一致。
扩展：
- TreeMCCA： 通过对成对的 EY 目标求和，将方法推广到 $M > 2$ 个视图。
- TreeCCA-SSL： 一种用于自监督学习的孪生单编码器变体，其中共享的提升器在独立增强的视图上进行训练。

核心贡献

首个基于 GBT 的 CCA： 证明了 EY 损失能够使 GBT 作为 CCA 编码器进行训练，且无需修改库，同时利用了 EY 损失的全局优化景观（不存在伪局部极小值）。
高效训练： 引入了增量嵌入缓存和原则性的单位海森矩阵，实现了显著的加速和稳定性。
非线性特征恢复： 在线性跨视图协方差为零的场景下（在此场景下 PMD 完全失效），实现了对稀疏非线性信号的完美精度恢复。
原生可解释性： 与神经编码器不同，TreeCCA 提供增益重要性（gain importances），能够揭示哪些特定特征驱动了跨视图相关性，且无需额外成本。
可扩展性与泛化能力： 在大规模数据集（Split MNIST）上展示了优于 Deep CCA 的泛化能力，通过 GBT 固有的正则化机制避免了过拟合。

实验结果

论文在合成和现实世界基准测试中评估了 TreeCCA：

合成基准（Signed Power & Hermite）：
- TreeCCA 在总相关性捕获（TCC）方面优于 Deep CCA 和 Kernel CCA (KCCA)。
- 在 Hermite 基准（零线性协方差）上，TreeCCA 实现了 2.93 TCC，而 Deep CCA 为 2.89，线性 CCA 则接近于零。
- 训练时间显著低于 Deep CCA（约 50s 对比 300s），并避免了 KCCA 的 $O(N^2)$ 内存开销。
规模测试 (Split MNIST)：
- 在 $N=54,000$ 且 $K=50$ 的数据集上，Deep CCA 出现了过拟合（训练/验证 TCC 比率为 1.95×），而 TreeCCA 表现出有效的泛化能力（比率 = 1.04×）。
传感器融合 (UCI HAR)：
- TreeCCA 达到了与 Deep CCA 相当的准确率（0.466 对比 0.510 的探测准确率），且实际运行成本降低了 5 倍（17s 对比 80s）。
- 可解释性： XGBoost 增益重要性验证了一个物理动机假设：幅值特征（与角速度相关）是陀螺仪视图中相关性的主要驱动因素，这种结构性洞察是神经编码器无法直接提供的。
稀疏恢复：
- 在一个线性跨视图协方差为零的合成基准上，当 $p=50$ 时，TreeCCA 实现了 Precision@S = 1.00，而 PMD 仍处于随机基准水平。
多视图 (TreeMCCA)：
- 在五个现实世界多视图数据集（如 Caltech101-7, 3Sources）上进行了评估。TreeMCCA 在 TCC 和下游分类准确率方面始终能达到或超过线性 CCA，在跨视图信号高度非线性的情况下增益最为显著。
自监督学习 (TreeCCA-SSL)：
- 在一个任何仿射编码器都无法识别信号（由于符号交互）的合成基准上，TreeCCA-SSL 实现了 0.630 的准确率（比随机高出 3.8 倍），而 PCA 的表现仅为随机水平（0.159）。

意义与主张

论文声称 TreeCCA 提供了一种此前在单一方法中无法获得的独特属性组合：

非线性与稀疏信号恢复： 它在合成基准上达到或超过了 Deep CCA，且泛化能力更强，同时能恢复线性稀疏方法在结构上无法处理的信号。
可解释性： 它提供原生的特征诊断（增益重要性），允许从业者直接从模型中验证关于数据的假设（例如基于物理的信号结构）。
实际应用广泛性： 它以显著更低的计算成本，实现了与 Deep CCA 相当的性能，且无需进行架构搜索或除了标准 GBT 默认参数之外的超参数微调。

作者将 TreeCCA 定位为从业者开展多视图分析（特别是对于样本量适中、数据为表格形式且可解释性至关重要的多组学和临床应用领域）的自然起点。论文也承认了其局限性，包括在极高 $p/N$ 比率下稀疏恢复精度的下降，以及 GBT 交替更新过程缺乏正式收敛理论的问题。