✨ 要点🔬 技术摘要
想象一下，你正试图教会一台计算机去预测未来，无论是猜测歌曲中的下一个音符、预报天气，还是控制机械臂。为此，计算机需要理解不同的输入（如风速或摇杆移动）是如何转化为输出的（如云层的形成或轮子的旋转）。棘手之处在于，现实世界很少是一条直线；它充满了曲线、环路和突然的跳跃。这就是“非线性系统”的世界。
几十年来，科学家们一直试图构建能够处理这些曲线的模型。有些模型就像一座巨大而杂乱的图书馆，虽然能记住一切，但找一本书却要花很长时间（它们很准确但很慢）；另一些则像小巧、快速的闪卡，读起来很快，但可能会忽略大局（它们很快但不怎么聪明）。机器学习面临的重大挑战是找到一种兼具两者优点的方法：既能让模型足够聪明以理解复杂的曲线，又能足够小巧且快速，以便在普通的笔记本电脑上运行而不会导致电脑过热。这正是被称为“张量网络”（tensor networks）的巧妙构思发挥作用的地方。你可以将张量网络想象成一种将一张巨大且笨重、难以处理的地图折叠成一只精巧紧凑的折纸鹤的方法，而这只折纸鹤依然保留了所有重要的方向信息。
在这篇论文中，作者 Albert Saiapin 和 Kim Batselier 介绍了一种名为 tnkm （张量网络核机器）的新型开源软件工具。他们开发这个工具是为了让任何人都能更容易地使用一种强大的编程语言 JAX 来构建和训练这些“折纸”模型。在此之前，构建这些模型就像是在没有说明书或合适工具的情况下组装一件复杂的家具；虽然可行，但令人沮丧且仅限于专家。作者为这些模型创造了一把“瑞士军刀”，允许用户将不同类型的“特征映射”（即计算机观察数据的方式）与不同的“张量网络”（即计算机存储规则的方式）以及“优化方法”（即计算机学习的方式）进行组合与搭配。
论文并不仅仅声称该工具有效；他们对其进行了测试。他们利用几个著名的“基准”问题（这些是用于测试计算机学习能力的标准化数学谜题）对这些模型进行了训练。在一项涉及飞机机翼噪声的测试中，他们发现其方法学习模式的效果与那些沉重、缓慢的方法一样好，但完成任务仅用了约 1 秒钟，而不是几分钟。在其他涉及流体箱和电机的测试中，这个新工具达到了复杂黑盒模型的准确度，但所消耗的计算能力仅为后者的极小部分。作者展示了通过使用这些紧凑、折叠的数学结构，你可以在不需要超级计算机的情况下获得高精度的预测。他们还比较了两种教学模型的方法：一种是逐步解决数学问题的法（称为交替最小二乘法），另一种是更通用的试错法（基于梯度的优化）。他们发现，对于这类特定问题，逐步解决的方法通常更快且更稳定，尽管试错法在处理不同类型的任务时提供了更多的灵活性。
最终，这篇论文表明，该框架使得构建用于机器人技术和过程控制等领域的强大且高效的模型成为可能，而不会陷入计算复杂性的泥潭。这是向着使先进机器学习变得易于获取、可复现且能够实际解决涉及复杂非线性数据的现实世界问题迈出的一步。
技术摘要：张量网络核机器：一个用于机器学习与非线性系统辨识的 JAX 框架
问题陈述
开发能够在高表达能力与计算效率之间取得平衡的非线性模型，仍然是机器学习和非线性系统辨识领域的一项重大挑战。传统方法（如核方法、高斯过程和深度神经网络）通常面临可扩展性问题，即随着参数数量或训练样本数量的增加，模型复杂度或计算成本会呈爆炸式增长。具体而言，通过高维空间中的显式特征映射来表示非线性映射，通常会导致参数数量呈指数级增长，使得直接优化在高维问题中变得不可行。
方法论
本文引入了张量网络核机器 (Tensor Network Kernel Machines, TNKM) ，该框架通过结合显式非线性特征表示与紧凑的低秩张量网络参数化，解决了可扩展性问题。其核心数学公式将非线性函数 f ( x ) f(x) f ( x ) f ( x ) = ϕ ( x ) ⊤ w f(x) = \phi(x)^\top w f ( x ) = ϕ ( x ) ⊤ w ϕ ( x ) \phi(x) ϕ ( x ) w w w w w w
张量积特征映射： 特征映射 ϕ ( x ) \phi(x) ϕ ( x ) 低秩张量分解： TNKM 不存储完整的参数向量 w w w 典型成分分解 (Canonical Polyadic, CP) 和张量列 (Tensor-Train, TT) 格式。这使得参数复杂度从相对于输入维度的指数级降低到了线性（或近线性）级别。
作者开发了 tnkm ，一个基于 JAX 构建的开源 Python 库，用于实现该框架。该库采用模块化架构，将三个主要组件分离：
特征映射： 支持多项式、傅里叶和 Volterra（基于记忆）特征。张量网络参数化： 通过专门的模型类（如 CPKM、TTKM）实现 CP 和 TT 分解。优化算法： 提供两种互补的策略：
交替最小二乘法 (Alternating Least Squares, ALS)： 利用多线性结构，在最小二乘问题上实现快速、确定性的收敛。基于梯度的优化： 利用 JAX 的自动微分功能和 Optax 库（例如 Adam、SGD），以提供对任意可微损失函数的灵活性。
主要贡献
本文概述了四个主要贡献：
统一的 JAX 框架： 一个依赖项极少的开源库 (tnkm)，它将不同的特征映射、张量网络骨干（CP 和 TT）以及优化策略统一在单一接口之下。可扩展的训练实现： 集成了结构感知的 ALS 优化算法以及通用的梯度下降方法，使其能够应用于回归及更广泛的学习任务。模块化软件架构： 这种设计允许系统地更换组件（特征映射、模型类、优化器），并提供了用于数据预处理、模拟和针对非线性系统辨识评估的实用工具。全面的实验评估： 对非线性回归和系统辨识任务进行了严格的基准测试，证明了该框架具有竞争力的精度和高效的训练时间。
实验结果
作者从两个方面对 tnkm 进行了评估：
1. 优化方法比较（机翼自噪声数据集）：
ALS vs. Adam： ALS 快速收敛至验证集均方误差 (MSE) 为 0.102，非常接近核岭回归 (KRR) 基准值 (0.15)，仅耗时 1.16 秒。相比之下，Adam 需要显著更多的时间（小批量训练需 3.25 秒）和更多的迭代轮数，且达到了更高的误差 (0.145)。结论： 对于最小二乘类的 TNKM 问题，ALS 具有更高的效率；而基于梯度的算法则为非最小二乘目标提供了必要的灵活性。
2. 非线性系统辨识基准测试： 耦合电驱动 (Coupled Electric Drives) 、串联水箱 (Cascaded Tanks) 和 Silverbox 。
耦合电驱动： TNKM 实现了与表现最好的方法（GPNARX 和 dynoNet）相当的 RMSE，但训练时间 < 0.1 秒 ，而竞争对手需要数秒到数分钟。串联水箱： TNKM 在黑盒方法中提供了具有竞争力的精度（RMSE 0.347），在训练速度上显著优于 SUBNET 和 PNARX（< 0.1 秒 vs. 1-60 分钟）。Silverbox： TNKM 达到了与领先黑盒方法（GPNARX、SUBNET）相当的性能，训练时间为 1–60 秒。虽然它未能达到物理信息方法 (NL-LFR) 的精度，但展示了有效的长时预测稳定性。
意义与主张
本文声称 tnkm 促进了张量网络相关学习方法的可重复开发与应用 。通过将特征映射、张量参数化和优化算法解耦，该库支持在不改变底层工作流的情况下，对 TNKM 配置进行系统性的探索。
作者将 TNKM 定位为经典核方法与深度神经网络之间的中间路径。与核方法类似，TNKM 使用显式特征表示，提供了更大的控制力和引入先验知识的能力；但它通过紧凑的张量网络取代了完整的参数向量，从而确保了可扩展性。与神经网络不同，它并不直接从数据中学习特征，作者承认这是一种局限性，需要进行人工特征选择。
这项工作的意义在于提供了一个实用的、可扩展的软件基础，弥合了理论张量网络方法与现实世界非线性系统辨识之间的鸿沟，证明了这些模型可以在保持高预测精度的同时，维持较低的计算成本。
每周获取最佳 electrical engineering 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。