📊 statistics

Beyond Additive Decompositions: Interpretability Through Separability

本文介绍了张量分离学习（Tensor Separation Learning, TSL），这是一种回归模型，它通过学习单变量函数的秩-1乘积之和，克服了传统加性解释方法的局限性，从而保留了强特征交互作用，并实现了忠实的、无信息损失的全可重构可视化。

原作者： Jinyang Liu, Munir Eberhardt Hiabu

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinyang Liu, Munir Eberhardt Hiabu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一台复杂机器的工作原理。大多数现代机器学习模型（如深度神经网络）就像是黑盒：你输入数据，得到预测结果，但其内部是一团乱麻般的电线和齿轮，没人能轻易读懂。

为了解决这个问题，科学家们经常使用“玻璃盒”模型。最常见的类型就像一本食谱书，最终结果只是将各种配料相加（例如：糖 + 面粉 + 鸡蛋 = 蛋糕）。这很容易理解，因为你可以清楚地看到多少糖或多少面粉做出了贡献。这被称为加性模型（Additive Model）。

然而，现实世界是混乱的。有时，食材不仅仅是简单的叠加；它们会发生相互作用。例如，只有当面粉和水混合在一起时，它们才能变成面团。如果你只是把它们分开列出，你就会错过这种“魔法”。传统的“加性”解释器在这里往往会失效，因为它们试图将这些复杂的相互作用强行塞进一个简单的“求和”公式中，从而掩盖了真相或产生了令人困惑的抵消效应。

**张量分离学习（Tensor Separation Learning, TSL）**是这篇论文中提出的一种新方法，它解决了这个问题。以下是它的工作原理，通过简单的类比来解释：

1. 问题所在：“抵消”陷阱

想象一下，你正在试图解释为什么一栋房子很贵。

旧方法（加性）： 你说，“地理位置增加了 10,000 美元，但糟糕的视野减去了 10,000 美元。” 净结果为零。你可能会得出结论：“地理位置并不重要！” 但这是错误的。地理位置确实很重要，只是在你的简单数学计算中，它被糟糕的视野抵消掉了。
TSL 的解决方案： TSL 不再盲目地进行加减法，而是观察因素之间的乘法关系。它意识到，价格不仅仅是 地理位置 + 视野，而是 地理位置 × 视野。

2. 核心思想：使用“正向模块”构建

TSL 使用一种特殊技巧来构建其模型：正向乘积（Positive Products）。
想象你正在雕刻一座雕塑。与其使用既可以增加高度（正）又可以减少高度（负）的模块，TSL 只使用正向模块。

它利用这些正向模块构建两个独立的塔。
然后，它计算这两座塔之间的差值。

为什么要这样做？

稳定性： 如果你只使用正向模块，你就确切知道每个模块在做什么。一个模块要么让塔变高，要么让塔变矮，它永远不会消失在“负值”的虚无之中。
清晰度： 因为模块始终是正向的，所以你可以观察单个模块（例如单个特征，如“纬度”）并看到它的真实形状，而不会迷失在其他数字的海洋中。

3. “骨架与倾斜”类比

论文引入了一种巧妙的方法来可视化这些正向模块，称之为骨架（Backbone）和倾斜（Tilt）。

骨架（幅度）： 可以将其想象为收音机的音量旋钮。它告诉你一个特征的强度有多大。如果骨架很高，说明该特征非常活跃；如果骨架很低，说明该特征很安静。这部分始终是正向的，因此不会产生混淆。
倾斜（方向）： 可以将其想象为音量旋钮的方向。音乐是在向前播放还是向后播放？“倾斜”告诉你是该特征在推动预测值向上还是向下。

通过将“音量”（骨架）与“方向”（倾斜）分离，TSL 确保即使最终结果看起来是平坦的（因为上升和下降抵消了），你仍然能看到“音量”实际上非常高。你不会仅仅因为方向反转就丢失了信号。

4. 如何学习：“阶段式”构建者

TSL 并不试图一次性盖好整栋房子。它像建筑承包商逐层添加楼层一样，循序渐进地构建。

第一阶段： 它观察数据，并构建出最佳的“正向乘积”结构，以解释主要趋势。
第二阶段： 它观察第一阶段剩下的部分（即第一阶段产生的误差），并构建一个新的结构来修复这些特定的错误。
重复： 它不断添加阶段，直到完成整栋房子。

至关重要的是，在添加完一个新阶段后，它会回到之前的所有阶段进行重新拟合（refit），以确保它们能够完美协作。这就像一个承包商在增加了一层楼之后，会回到底层去加固地基并调整墙壁，以确保整个建筑稳固。

5. 为什么它更擅长“观察”数据

论文声称，通过 TSL，你可以观察一个简单的 1D 图表（折线图）来了解单个特征（如“纬度”），并确切地知道模型学到了关于该特征的什么内容。

在其他方法中，由于复杂的相互作用相互抵消，图表可能会看起来是平坦的。
在 TSL 中，由于有了“正向模块”以及“骨架/倾斜”的分离，图表展示了关系的真实形状，即使最终的预测涉及复杂的相互作用。

总结

旧方法： 试图通过将简单的部分相加来解释复杂的相互作用。它们经常会互相抵消，从而掩盖真相。
TSL： 通过将正向部分相乘，然后减去两个不同的“塔”来构建模型。
结果： 你得到了一个既拥有复杂“黑盒”般的准确性，又具有透明度的模型。你可以通过查看“骨架”来了解特征的强度，通过查看“倾斜”来了解它的推力方向，而不会让数学变得混乱或丢失信号。

论文在真实世界的数据（如预测加州房价）上展示了这一点，并证明了 TSL 能够捕捉到其他“可解释”模型所忽略的模式（例如特定沿海地区非常昂贵），同时仍能与最强大的、不可解释的模型保持竞争水平。

技术摘要：超越加性分解：通过可分离性实现可解释性

问题陈述

可解释机器学习面临着预测准确性与结构透明度之间的根本张力。虽然“黑盒”模型（如深度神经网络、梯度提升集成模型）实现了最先进的性能，但它们缺乏可读的结构。相反，“玻璃盒”模型（如广义加性模型 GAMs）提供了透明度，但往往无法捕捉复杂的交互作用，或者依赖于设定错误的参数假设。

当前的解释方法，包括事后解释（如 SHAP、集成梯度）和玻璃盒模型，主要依赖于加性分解（additive decompositions）。作者认为，加性表示在存在强交互作用时会遭遇关键的失效模式：

信号抵消（Signal Cancellation）： 局部的 SHAP 解释可能会抵消主效应和交互效应，导致活跃特征的归因为零。
交互掩盖（Interaction Masking）： 部分依赖图（PDPs）通过对其他特征进行边缘化处理，实际上丢弃了高阶交互信息，仅恢复了主效应。
离支撑集外推（Off-Support Extrapolation）： 在相关特征空间中的边缘平均会导致低密度区域出现伪造模式。

论文指出，这些局限性源于加性投影无法在不损失信息的情况下，忠实地表示乘法或可分离的交互结构。

方法论：张量分离学习 (TSL)

作者提出了张量分离学习（Tensor Separation Learning, TLA），这是一种回归模型，旨在学习单变量每特征函数的秩-1 乘积之和。与标准的 separable 模型不同，TSL 强制执行特定的结构约束，以确保稳定性和可解释性。

模型公式化

TSL 估计器 $\hat{m}(x)$ 被定义为 $R$ 个阶段的累加，其中每个阶段 $\ell$ 是两个正可分离乘积之差：
$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$
关键约束包括：

正定性（Positivity）： 所有分量函数 $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ 都被约束为严格正值（ $>0$ ）。这确保了每个分量都能明确地放大或抑制其乘积，消除了无约束乘积中固有的符号歧义。
有序差值（Ordered Difference）： 每个阶段是两个正项之差，允许模型表示有符号的贡献，同时保持因子为正。

参数化：骨架与倾斜 (Backbone and Tilt)

为了增强可解释性，作者为每个阶段的特征对引入了骨架/倾斜重参数化：
$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$

骨架 ( $b$ )： 代表该阶段共享的幅度或“活动门控”。它决定了该阶段在何处处于活跃状态（接近零的值会关闭该阶段）。
倾斜 ( $d$ )： 代表正分支与负分支之间的有符号不平衡。它控制了贡献的方向性。
这种分解将效应的幅度与有符号方向分离开来，使得即使在净有符号贡献因抵消而接近于零时，也能进行忠实的可视化。

拟合程序

TSL 采用带有正交重拟合的阶段性贪婪程序（stagewise greedy procedure）：

阶段性拟合： 在每个阶段 $\ell$ ，模型使用受 CART（分类回归树）启发的网格张量细化方法来拟合当前的残差。它在自适应划分上学习分段常数单变量函数。
袋装法与聚合（Bagging and Aggregation）： 为了降低方差，模型在自助样本上并行拟合多个网格张量。通过一种基于相似性的聚合方案（锚定参考网格并过滤异常值）将这些张量组合成单个阶段预测器。
正交重拟合： 在拟合完一个新阶段后，所有阶段系数 $\{\lambda^{(k)}_\pm\}$ 通过最小二乘法针对目标 $y$ 进行联合优化。这种回填（backfitting）确保了系数在给定当前阶段集合时是最优的。

核心贡献

张量分离学习 (TSL)： 一种新型回归算法，用于估计作为正秩-1 可分离乘积之差之和的条件均值。
模型原生可解释性： 作者证明，对于 TSL，拟合的模型可以从其一阶部分依赖函数中精确重建（在常数因子范围内）。与事后方法不同，TSL 的可视化（一维部分依赖曲线）不是近似值，而是拟合分量的忠实表示。骨架/倾斜分解允许从业者区分幅度（活性）和方向（有符号不平衡）。
逼近理论： 论文利用正交贪婪逼近（OGA）框架，建立了 TSL 在具有有界混合 $p$ 阶偏导数（具体为 Sobolev 空间 $W^{(1,1)}_{mix}$ ）的函数上的 $O(1/\sqrt{r})$ 逼近率。

实验结果

作者在 OpenML CTR 23 回归套件（27 个数据集）上将 TSL 与最先进的基准模型进行了评估：

基准模型： 黑盒模型（XGBoost, LightGBM, Random Forest）和可解释模型（Explainable Boosting Machines (EBM)、SepALS——一种没有 TSL 约束的可分离模型）。
性能： TSL 取得了具有竞争力的预测性能。在可解释模型组中，TSL 在 27 个数据集中的 17 个上排名在前 3，并在 5 个数据集上表现最佳。
对比分析：
- 在具有强低秩可分离结构的数据集（如 socmob, California housing）上，TSL 优于 EBM 和树集成模型。
- 在 California housing 数据集上，TSL 捕捉到了局部、非单调的空间交互（例如沿海溢价），而 EBM 和 XGBoost 会平滑掉或无法在 1D 摘要中隔离这些交互。
- 合成案例研究： 在一个强二次效应被三阶交互掩盖（导致 1D 部分依赖为零）的合成示例中，TSL 通过其骨架曲线成功恢复了潜在幅度，而标准的 PDP 和 ICE 曲线在没有复杂聚合的情况下无法揭示该信号。
- 消融实验： 去除正定性约束和有序差值结构（TSL 1-product）会导致性能显著下降，证实了这些约束对于表示灵活性和稳定性的重要性。

意义与主张

论文声称 TSL 提供了一条通过“超越加性分解”来实现可解释性的独特路径。其主要意义在于：

忠实可视化： 通过强制执行可分离性和正定性，TSL 确保部分依赖图能够恢复拟合因子的精确形状，避免了加性投影中存在的信息丢失和掩盖问题。
处理交互作用： TSL 提供了一种机制，可以通过一维摘要（骨架和倾斜）来可视化和理解高阶交互，而无需求助于不透明的黑盒解释或高维图表。
竞争性的准确度： 它证明了具有可分离结构的玻璃盒模型可以在回归基准测试中与强大的树集成黑盒模型相抗衡，挑战了“高准确度必须牺牲可解释性”的观念。

作者对局限性保持谦逊，承认 TSL 的逼近率取决于混合光滑度假设，并且可分离表示存在不可识别性问题（需要所述的特定聚合/过滤程序）。他们指出，在纯加性问题上，现有的方法（如 EBM）可能仍然是更强的基准。