📊 statistics

Kernel Regression with Tensor Trains and Hadamard Overparameterization

本文介绍了 KReTTaH，这是一个无需训练数据的、可解释的多维数据插补框架，它将该问题重新表述为具有张量列（tensor-train）系数和哈达玛（Hadamard）过参数化的核回归，通过在黎曼流形上对这些组件进行联合优化，在无需高昂交叉验证成本的情况下，在处理高维 fMRI 和动态图应用方面达到了最先进的准确度。

原作者： Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Duc Thien Nguyen, Konstantinos Slavakis, Eleftherios Kofidis, Dimitris Pados

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图完成一个巨大的、多层结构的拼图，但有人撕掉了成千上万块碎片。你可以看到包装盒上的图案，手里还剩一些零散的碎片，但天空、海洋和树木的大片区域都缺失了。这正是科学家和工程师在处理“多维数据”（multi-way data）时每天面临的挣扎。无论是大脑放电的3D电影、城市交通流量图，还是体育比赛的视频，这些数据通常都是杂乱无章的。传感器损坏、连接中断或测量丢失，给我们留下了一个巨大的、不完整的拼图。

为了解决这个问题，科学家通常尝试通过寻找模式来猜测缺失的部分。他们假设数据具有某种隐藏的结构，就像一张低分辨率的草图，通过填充这张草图，可以揭示出高清晰度的图像。然而，现实世界的数据很少是简单的；它们充满了复杂的、扭曲的、非线性的关系，很难预测。传统方法在捕捉这些扭曲时往往会显得力不从心，要么陷入海量的计算中，要么需要庞大的额外训练数据。核心问题在于：我们如何能够准确、快速地填补复杂多维拼图中的空白，且不需要依赖一个巨大的其他拼图库来进行学习？

这时，一种名为 KReTTaH（结合张量列的核回归与哈达玛过度参数化）的新方法登场了，它由一个研究团队开发。可以将 KReTTaH 想象成一个超级聪明的、寻找模式的侦探，它不需要背诵一千个其他拼图来解决眼前的这一个。它不仅仅是在瞎猜，而是利用一种巧妙的数学技巧——“核回归”（kernel regression），来理解现有碎片之间隐藏的、非线性的联系。

以下是用通俗语言解释其工作原理：想象数据是一个巨大的、多维的粘土块。KReTTaH 并不会试图一次性雕刻整个粘土块，而是将问题分解成一连串较小的、易于处理的“火车车厢”（这就是“张量列”部分）。这些车厢相互连接，且它们的连接方式被约束在一种特定的、高效的形状内，从而避免数学计算变得过于沉重。

但真正的“魔法配方”在于：KReTTaH 还使用了名为“哈达玛过度参数化”（Hadamard overparameterization）的技术。想象你在草堆里寻找一根特定的针。你不仅是在寻找一根针，你还假装存在许多层针，但你加入了一条规则，强制要求除非绝对必要，否则大多数针都必须是“隐形”的（即为零）。这迫使模型具有“稀疏性”，意味着它只保留最重要的、有意义的模式，并丢弃噪声。这就像一位雕塑家，从一大块石头开始，但只剔除掉那些不属于雕像的部分，最终留下一个简洁、高效的形状。

研究人员在两个截然不同且极具挑战性的拼图上测试了这个新侦探。首先，他们尝试重建 4D 功能磁共振成像（fMRI）扫描的人脑图像。这些图像就像是随时间变化的三维大脑活动电影，但其中许多帧是缺失的。KReTTaH 成功地填补了缺失的大脑活动，其准确度超过了其他顶尖方法，且运行速度比许多竞争对手更快。其次，他们在现实网络（如马萨诸塞州和柏林的道路）中的交通流数据上进行了测试。他们尝试预测未受监测路段的缺失车速。同样，即使在数据非常稀疏的情况下，KReTTaH 在预测缺失流量方面的表现也优于其他方法。

KReTTaH 的特别之处在于它能自动确定自己的设置。通常，科学家必须花费数小时手动调节各种“旋钮”和“拨盘”（称为超参数）以获得最佳结果。然而，KReTTaH 使用一种特殊的数学景观（“黎曼流形”）自行向着最优解“滚下坡道”，无需人工帮助即可找到完美的设置。

论文表明，这种方法不仅是一个理论构想，而且在实践中行之有效。在利用真实大脑扫描数据和真实交通数据的模拟实验中，KReTTaH 始终能产生比现有最先进方法更准确的重建结果。它实现了高准确度与计算效率的兼得，证明了你可以在不需要大规模训练数据集或花费数天时间调试工具的情况下，填补复杂多维拼图中的空白。这表明，通过将智能几何学与一点点“过度思考”（过度参数化）相结合，随后再将其精简至精华，我们就能解决当今面临的最混乱的数据问题。

技术摘要：基于张量列（Tensor Trains）与哈达玛过参数化（Hadamard Overparameterization）的核回归（KReTTaH）

问题陈述

多维数据（自然地表示为张量）由于采集过程中的缺陷，经常包含缺失条目。传统的张量补全（TC）方法通常依赖于线性张量分解模型（如 CPD、Tucker、Tensor Train），虽然这些模型在捕捉低秩结构方面非常有效，但无法显式地建模许多应用领域中潜在的强非线性关系。此外，现有的基于核的张量方法往往存在局性，例如受限于严格的唯一性条件（CPD）、旋转歧义性（Tucker）、高计算复杂度（贝叶斯推理），或需要通过交叉验证进行昂贵的人工超参数调优。此外，许多最先进的方法依赖于需要外部训练数据的“黑盒”神经网络，缺乏可解释性。

方法论：KReTTaH 框架

本文引入了 KReTTaH（基于张量列与哈达玛过参数化的核回归），这是一个无需训练数据、具有可解释性且非参数化的多维数据插补框架。其核心方法论是将插补问题重新表述为再生核希尔伯特空间（RKHS）中的回归任务。

1. 数据建模与回归：
KReTTaH 并非直接对数据张量施加张量列（TT）结构，而是约束回归系数张量位于固定秩的 TT 流形上。数据张量 $Y$ 通过一个多核模型进行近似：
$Y \approx \sum_{\nu=1}^{N_K} \left( \bigodot_{p=1}^P U_{\nu,p} \right) \times_1 K_\nu \times_1 \left( \bigodot_{q=1}^Q V_{\nu,q} \right)$
其中：

$K_\nu$ 是由地标点（landmark points）导出的核矩阵。
$U_{\nu,p}$ 和 $V_{\nu,q}$ 是可学习的系数张量。
$\bigodot$ 表示哈达玛（逐元素）积。

2. 哈达玛过参数化（HP）：
为了在不依赖非光滑 $\ell_1$ 范数正则化的情况下促进稀疏性并增强表示效率，该框架采用了哈达玛过参数化。系数张量被表示为多个较小张量的哈达玛积（ $U_\nu = \bigodot U_{\nu,p}$ ）。当结合这些因子的光滑 Frobenius 范数正则化时，HP 有效地诱导了一种非凸拟范数（quasi-norm）正则化，从而产生更稀疏的解并减少参数存储。

3. 黎曼优化：
该框架在笛卡尔积黎曼流形上联合优化三组参数：

固定秩 TT 流形： 系数张量被约束在固定 TT 秩的流形上。
正定（PD）矩阵流形： 多个高斯核的协方差矩阵被视为正定矩阵流形上的可学习参数。这消除了以往需要通过交叉验证进行的人工核超参数调优（如带宽选择）的需求。
优化算法： 该逆问题使用带有线搜索的黎曼梯度下降（R-GD）方法求解。该方法沿着平滑轨迹同时更新所有因子，避免了在交替最小化方案中常见的对初始化敏感和过度分解（overfactoring）问题。

4. 导航器数据与地标点：
为了处理稀疏观测数据，该方法利用“导航器数据”（一组观测到的条目），通过局部线性嵌入（LLE）将其简化为低维表示。这些表示进一步压缩为“地标点”，用以定义 RKHS 特征空间。

主要贡献

本文概述了三个主要贡献：

C1： 引入了 KReTTaH，这是一个全新的框架，它在一个统一的黎曼优化设置中集成了非线性/非参数化建模（通过 RKHS）、降维（通过 TT 分解）以及稀疏编码（通过哈达玛过参数化）。
C2： 通过采用显式的回归系数黎曼流形构建，将先前的二维数据工作推广到了多维设置，这与底层流形未指定的隐式流形学习方法形成了对比。
C3： 扩展到处理具有可学习协方差矩阵（约束在 PD 流形上）的多高斯核。这种集成实现了自动化的超参数选择，规避了以往工作中所需的计算昂贵的人工调优。

实验结果

作者在两个具有挑战性的应用场景中评估了 KReTTaH：

1. 4D 功能性磁共振成像（fMRI）重建：

数据集： COBRE（静息态）和 BOLD5000（事件相关）。
基准模型： RTTC（固定秩流形）、VKBTR（贝叶斯 TRD）和 NCP（基于核的 CPD）。
结果： 在所有采样率（0.1 到 0.5）下，KReTTaH 始终取得了最低的归一化均方根误差（NRMSE）。在运行时间方面，它仅次于 NCP，显著优于内存密集型的 VKBTR 和较慢的 RTTC。

2. 动态图流插补：

数据集： 来自东马萨诸塞州（EMA）和柏林-弗里德里希斯海恩（BF）网络的交通流数据。
基准模型： PS、S-VAR、HodgeNet（基于神经网络）、RTTC、STTC、NCP 和 VKBTR。
结果： KReTTaH 在大多数场景下均取得了最低的 NRMSE，优于基于张量和基于神经网络的方法。值得注意的是，它在保持卓越准确性的同时实现了高稀疏性（通过特定的 HP 设置将参数存储减少了 >40%）。使用多个核（ $N_K > 1$ ）进一步提升了性能，并允许选择更小的秩。

重要性与主张

本文声称 KReTTaH 通过以无需训练数据的方式运行，通过 RKHS 回归而非依赖黑盒神经网络，提供了一种具有可解释性的解决方案，从而具有显著优势。通过利用固定秩 TT 流形和 PD 矩阵丰富的几何结构，该方法实现了：

自动化超参数选择： 联合学习核协方差消除了交叉验证的负担。
效率与稀疏性： 哈达玛过参数化在不使用非光滑优化的情况下促进了稀疏性和降维。
鲁棒性： 黎曼梯度下降方法与块坐标下降法相比，降低了对初始化和过拟合的敏感性。

作者总结道，KReTTaH 代表了张量补全领域的重要进步，成功平衡了多维数据插补中的建模精度、计算效率和可解释性。未来的研究方向包括自动秩选择以及向流式数据在线学习的扩展。