🤖 machine learning

Expressivity of congruence-based architectures for DNNs on positive-definite matrices

本文证明了在针对对称正定矩阵的类合同层（congruence-like layers）中施加半正交性约束会通过导致谱多样性丢失并将架构坍缩为单隐藏层，从而严重限制神经网络的表达能力，同时还评估了各种黎曼分类器与由此产生的特征映射之间的兼容性。

原作者： Antonin Oswald, Estelle Massart

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Antonin Oswald, Estelle Massart

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机识别一种非常特殊的类型的数据：对称正定（SPD）矩阵。在现实世界中，这些矩阵就像是“关系图谱”，展示了不同信号（如脑电波或雷达回波）之间是如何相互关联的。它们虽然复杂，但却蕴含着理解数据相关性的关键。

为了解决这个问题，研究人员使用了一种特殊的深度神经网络（DNN），称为 SPDNet。你可以把这个网络想象成一个专门处理这些“关系图谱”的多层工厂。

工厂车间：机器是如何运作的

这个工厂有两个主要类型的工人（层），他们负责将数据向下传递：

“一致性”工人（BiMap）： 这些工人通过一个过滤器对输入的图谱进行挤压。在数学上，他们通过在图谱的两侧乘以一个权重矩阵（ $W$ ）来进行操作。这会改变数据的形状，使其可能变得更小，或者通过重塑形状来突出重要的特征。
“ReLU”工人（ReEig）： 这些工人观察图谱并应用一个简单的规则：“如果一个数字是负数，将其变为零；如果是正数，则保留它。”这是人工智能中一种标准的“激活”函数，有助于网络学习非线性模式。

目标是将这些工人堆叠起来（使网络变得“深”），从而创建一个高度复杂的特征提取器，最后再将数据发送给最终的“法官”（分类器），由它来判断数据属于哪一类。

重大发现：“身份危机”

论文研究了当我们强制要求“一致性”工人遵循一个严格规则时，会发生什么：他们必须是正交的（或半正交的）。用通俗的话说，这个规则迫使工人只能旋转或收缩数据，而不能以改变其基本“体积”或“形状”的方式进行拉伸或扭曲。

作者发现了一个令人惊讶的缺陷：增加工厂的楼层并不会让它变得更聪明。

类比： 想象你有一块粘土（数据）。你有一台机器可以旋转这块粘土（正交权重），然后有一台机器可以切掉任何低于一定高度的粘土（ReLU 激活）。
问题所在： 如果你旋转粘土，然后切割，再旋转，再切割……事实证明，这样做 100 次在数学上等同于只做一次。
结果： 无论你堆叠多少层，如果权重被约束为正交，整个深度网络都会坍缩为一个单层网络。这种深度只是一个幻象；它并没有增加识别复杂模式的新能力。

论文使用了一个被称为**庞加莱分离定理（Poincaré's Separation Theorem）**的数学原理来解释这一点。把它想象成一个筛子：如果你有一个装满各种大小混合在一起的弹珠（数据的谱/特征值）的桶，然后你通过一个只允许特定尺寸范围内的弹珠通过的筛子，那么反复通过同一个筛子并不会改变混合物的组成。数据的“多样性”会陷入循环，导致网络失去学习更深层特征的能力。

最终的法官：选择合适的度量标准

当数据从工厂出来后，需要由它来进行评判。论文还研究了我们如何测量这些数据点之间的距离，从而做出决策。

问题： 某些测量两个“关系图谱”之间距离的方法，对于这些变换是不变的（invariant）。
类比： 想象你试图通过测量两个人的影子距离来区分他们。如果工厂只是旋转了这些人（正交变换），他们的影子也会随之旋转，但两者之间的距离保持不变。如果你的测量尺（分类器）被设计成忽略旋转，那么它永远不会注意到工厂试图创造出的差异。
发现： 论文表明，许多流行的距离度量（如仿射不变距离或 Stein 距离）是如此鲁棒，以至于它们会忽略正交层所做的改变。这意味着，即使经过了网络的处理，分类器也可能无法分离不同的数据组，因为它们之间的“距离”实际上并未发生变化。

总结

简单来说，这篇论文警告说，如果使用严格的正交规则，SPDNet（一种处理相关性数据的流行 AI 架构）可能存在过度设计的问题。

深度被浪费了： 如果你强迫网络使用正交权重，那么堆叠多个层是徒劳的；它的表现完全等同于一个单层网络。
“筛子”效应： 网络失去了使数据多样化的能力，因为数学约束阻止了“谱”（核心数值）以有效的方式发生变化。
法官是盲目的： 如果你使用某些标准的距离测量方法，分类器将无法看到网络试图创造出的差异，从而使整个过程变得无效。

作者建议，要使这些网络真正强大，我们需要重新思考权重的约束方式或衡量最终结果的方式，而不是仅仅在上面堆叠更多的层。

技术摘要：基于合同变换（Congruence-based）的深度神经网络在正定矩阵上的表达能力

问题定义
对称正定（SPD）矩阵在科学与工程应用中无处不在，它们编码了二阶信息，如信号相关性和协方差。虽然 SPD 矩阵自然构成黎曼流形，使得可以使用黎曼机器学习技术，但针对此类数据设计的深度神经网络（DNN）的表达能力（Expressivity）目前仍缺乏深入理解。具体而言，本文研究了 SPDNet 架构，该架构依赖于“类合同变换”层（BiMap 层），其中输入矩阵 $X$ 的变换方式为 $X \mapsto WXW^\top$ 。SPDNet 中的一个关键约束是要求权重矩阵 $W$ 满足半正交性（即 $WW^\top = I_p$ ），以确保优化过程的稳定性。核心问题在于：这种约束结合特定的激活函数（如 ReEig），是否会限制深度架构的表示能力（表达能力），从而使其在本质上等同于浅层网络。

研究方法
作者分析了一类由以下信号传播方程定义的通用架构：
$X_\ell = g(W_\ell X_{\ell-1} W_\ell^\top)$
其中 $g$ 是作用于特征值的矩阵激活函数（例如 ReEig），而 $W_\ell$ 是权重矩阵。该研究主要分为两个理论阶段进行：

正交权重 ( $W \in O(n)$ )： 作者证明，如果所有权重矩阵都是方阵且为正交矩阵，则网络的深度不会增加表达能力。他们利用了矩阵函数在正交合同变换下具有不变性的性质。
半正交权重 ( $W \in St(n, p)$ )： 作者将分析扩展到了矩形半正交矩阵。他们利用了庞卡莱分离定理（Poincaré's Separation Theorem），该定理规定了 $W^\top A W$ 的特征值被 $A$ 的特征值所限制。这种谱包含（Spectral containment）性质意味着特征值的范围无法扩张到超出输入初始谱之外。

论文进一步研究了这些特征提取器与最终分类器之间的相互作用。通过测试这些特征提取器在合同变换下的不变性属性，评估了合同变换式特征提取与各种黎曼距离（仿射不变距离、对数欧几里得距离、Stein 距离、Bures-Wasserstein 距离以及欧几里得距离）的兼容性。

核心贡献与结果

深度架构的坍缩： 论文表明，对于某些激活函数，对权重矩阵施加（半）正交性约束会导致深度网络坍缩为单隐藏层等价网络，无论网络深度如何。
- 正交情况： 如果 $W$ 是正交矩阵，则网络等价于一个复合了 $L$ 次激活函数的单层网络。如果标量激活函数 $\sigma$ 是幂等的（例如 ReLU、hard tanh），则复合函数 $g^{(L)}$ 会简化为 $g$ ，这意味着深度网络严格等价于一个单隐藏层网络。
- 半正交情况： 如果 $W$ 是半正交矩阵，且激活函数 $\sigma$ 在包含输入谱的区间内表现为恒等映射（或将谱映射至该区间内），则网络同样会坍缩为单次合同变换。这是庞卡莱分离定理的直接结果，该定理阻止了在特定设定下实现深度层次化特征学习所需的谱多样性扩张。
谱多样性的丧失： 表达能力的缺失归因于“谱多样性的丧失”。半正交合同变换限制了输出的特征值必须落在输入的特征值区间内。因此，对于依赖于谱扩张或谱修改的激活函数，深度并不能提供额外的判别能力。
分类器不兼容性： 研究显示，几种著名的 SPD 矩阵距离（仿射不变距离、Stein 距离和欧几里得距离）在与正交或可逆矩阵的合同变换下具有不变性。
- 如果分类器依赖于这些不变距离（例如，最小黎曼距离均值法），且特征提取器使用正交权重的合同变换层，则数据点之间的距离在整个网络过程中保持不变。
- 这意味着，如果特征提取仅依赖于这些不变变换，那么这类分类器无法实现不同类别间的数据分离，因为数据的相对几何结构被保留而非被转化以增强可分性。

意义与主张
论文指出，SPDNet 的标准设计选择——特别是 BiMap 层上的半正交性约束——从根本上限制了该架构的表达能力。作者认为，这种约束导致了一种退化现象，即深度网络无法比浅层网络提供更多优势，这一现象是由庞卡莱分离定理驱动的谱约束所导致的。

此外，这项工作强调了基于合同变换的特征提取与基于不变度量的分类器之间的严重失配。如果特征提取器由于正交约束而保留了数据的谱结构和几何结构，那么基于不变距离的分类器将无法从特征提取过程中获益。论文结论指出，未来的 SPD DNN 设计必须重新审视这些约束，探索新的激活函数或放宽正交性要求，以恢复深度架构的表达能力。

工厂车间：机器是如何运作的

重大发现：“身份危机”

最终的法官：选择合适的度量标准

总结

技术摘要：基于合同变换（Congruence-based）的深度神经网络在正定矩阵上的表达能力

类似论文