🤖 machine learning

Equivariant Neural Networks for General Linear Symmetries on Lie Algebras

本文引入了还原李型神经元（Reductive Lie Neurons, ReLNs），这是一种精确的 GL(n)-等变架构，它解决了还原李代数的稳定性问题，从而能够在多种科学领域中针对矩阵值和李代数特征实现高效且轻量参数的学习，在准确性和计算效率方面均优于现有基准。

原作者： Chankyo Kim, Sicheng Zhao, Minghan Zhu, Tzu-Yuan Lin, Maani Ghaffari

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chankyo Kim, Sicheng Zhao, Minghan Zhu, Tzu-Yuan Lin, Maani Ghaffari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人理解世界。这个世界充满了形状、运动和不确定性。如果你旋转一个立方体，它仍然是同一个立方体。如果一架无人机的速度加快，它的“不确定性”会以一种非常特定的、数学化的方式发生变化。

目前的多数 AI 模型就像是在针对特定考试条件进行死记硬背的学生。如果旋转测试图像，它们就会陷入混乱。为了解决这个问题，科学家们构建了“等变神经网络”（Equivariant Neural Networks）——这些模型从底层开始就理解旋转和对称性。

然而，这里有一个问题。大多数这类聪明的模型在处理简单的旋转（比如旋转一个玩具）时表现出色，但当面对复杂数据时却会显得力不从心。当面对代表不确定性、惯性或 3D 形状的矩阵（数字网格）时，它们会崩溃。此外，它们在处理“非紧致”（non-compact）对称性时也表现挣扎，这种对称性就像是空间的拉伸或挤压，而不仅仅是旋转。

这篇论文介绍了一种名为**还原李代数神经元（Reductive Lie Neurons, ReLNs）**的新型解决方案。以下是它的工作原理，我们使用简单的类比来解释：

1. 问题所在：“断掉的尺子”

想象你有一把尺子用来测量物体。对于简单的旋转，这把尺子工作得非常完美。但对于复杂的矩阵数据（例如无人机的不确定性图），标准的尺子（在数学上称为“Killing 型”）是损坏或“退化”的。它无法准确测量某些东西，导致 AI 变得不稳定或变得平庸（线性）。

作者说：“让我们修好这把尺子。”他们发明了一种新的、非退化的双线性型。你可以把它想象成一条定制的、超精确的卷尺，它既能测量简单的旋转，也能测量复杂的矩阵拉伸。它允许 AI 在不失效的情况下，测量数据点之间的关系。

2. 解决方案：“通用适配器”

在此论文发表之前，如果你有一架无人机，你需要一个 AI 来理解它的速度（一个向量），而需要另一个完全不同的 AI 来理解它的不确定性（一个矩阵）。你必须将它们笨拙地粘合在一起，这往往会丢失重要的几何信息。

ReLNs 起到了“通用适配器”的作用。

类比： 想象你有一个螺丝刀（速度）和一个扳手（不确定性）。通常，你需要两种不同的工具来使用它们。ReLN 就像是一个“瑞士军刀”，可以将螺丝刀和扳手放在同一个槽位中，将它们视为同一个家族的一部分。
工作原理： 它将速度（一个向量）和不确定性（一个矩阵）都转化为一种单一的、共享的语言（李代数）。一旦它们说同一种语言，AI 就可以自然地处理它们，同时遵循它们在无人机转向或加速时的变换规律。

3. 测试场景

作者不仅构建了它，还将其投入到几种现实场景中进行了严苛的测试：

形状分类器（柏拉图多面体）： 他们测试了 AI 是否能在相机剧烈旋转的情况下识别 3D 形状（如骰子）。ReLNs 几乎 100% 正确地识别了它们，而标准模型则表现得一塌糊涂。
无人机飞行员： 他们模拟了一架进行激进飞行的无人机。AI 需要根据带有噪声的速度数据和变化的“不确定性图”来推测无人机的位置。
- 结果： ReLNs 表现最佳。它利用不确定性数据来修正路径，而其他模型在加入不确定性数据后会变得混乱。
3D 画家（高斯泼溅/Gaussian Splatting）： 这是一种使用模糊的、各向异性的“云团”（高斯分布）来渲染 3D 场景的新方法。这些云团具有中心和形状（不确定性）。ReLNs 比以往的方法能更好地理解这些 3D 云团，尤其是在物体发生旋转时。
双摆问题： 这是一个经典的物理问题，涉及一个摆动的机械臂。ReLNs 学习物理规则的效果与当前最先进的模型一样好，但使用的计算量显著减少（每步计算量减少了约 11 倍）。

4. 核心优势：效率与稳定性

论文声称 ReLNs 不仅准确，而且高效。

隐喻： 想象两辆车行驶相同的距离。一辆是沉重、耗油的卡车（之前的模型），需要复杂的计算才能保持在道路上；另一辆是灵巧的电动跑车（ReLNs）。它能达到相同（甚至更好）的里程，但消耗的能量却只有一小部分。
因为 ReLNs 使用“闭式解”（closed-form）数学方法（一种直接公式），而不是针对每个群尝试解决复杂的谜题，所以它们更快、更轻量。

总结

简而言之，这篇论文提出了 ReLNs，这是一种新型的 AI 大脑，它可以像理解简单点一样，原生地理解复杂的、基于矩阵的数据（如不确定性和 3D 形状）。它修复了困扰以往模型的数学“断掉的尺子”问题，使其能够以更高的精度和更少的计算量，处理更多样化的对称性（旋转、拉伸和挤压）。它是几何深度学习的一个“万能”骨干网络。

技术摘要：针对李代数上一般线性对称性的等变神经网络

1. 问题陈述

许多科学和几何问题表现出一般线性对称性，然而目前的等变神经网络架构主要针对紧群（如 $SO(3)$, $E(n)$ ）或简单的向量特征进行设计。这种局限性限制了它们在处理矩阵值数据（如协方差、惯性张量或形状张量）方面的应用，这些数据在非紧致的一般线性群 $GL(n)$ 下进行变换。

$GL(n) $等变学习的一个核心挑战在于其非紧致性。与紧群不同，$ GL(n)$ 缺乏规范的正定 Ad-不变内积。具体而言，李代数 $\mathfrak{gl}(n)$ 上的 Killing 型是退化的，因为 $\mathfrak{gl}(n)$ 是还原的（reductive）而非半单的（它包含一个非平凡的中心）。这种退化性阻碍了稳定不变标量（对于门控和归一化至关重要）的构建，并增加了设计稳定的非线性等变操作的难度。此外，现实世界的几何输入通常是异构的，结合了向量（通过左作用变换）和矩阵（通过合同变换，例如 $\Sigma \mapsto A\Sigma A^\top$ ）。天真地拼接这些特征会丢弃张量结构，而谱参数化在微分过程中可能表现脆弱。

2. 方法论：还原李神经元 (ReLNs)

作者引入了还原李神经元 (Reductive Lie Neurons, ReLNs)，这是一种旨在对 $\mathfrak{gl}(n)$ 上的伴随作用（adjoint action）实现精确 $GL(n)$ 等变的通用架构。

核心创新：非退化 Ad-不变双线性型

为了解决还原代数上 Killing 型的退化问题，作者提出了一种改进的、非退化的 Ad-不变双线性型 $\tilde{B}$ 。对于还原李代数 $\mathfrak{g} = \mathfrak{z}(\mathfrak{g}) \oplus [\mathfrak{g}, \mathfrak{g}]$ （中心加上半单理想）， $\tilde{B}$ 通过结合半单部分上的 Killing 型与中心上的任意 Ad-不变内积来构建。
对于 $\mathfrak{gl}(n)$ 的特定情况，该形式具有如下闭式解：
$\tilde{B}(X, Y) = 2n \text{Tr}(XY) - \text{Tr}(X)\text{Tr}(Y)$
该形式是对称的、Ad-不变且非退化的，从而能够实现原则性的非线性交互和不变特征构建。

架构组件

ReLNs 直接作用于 $n \times n$ 矩阵表示，通过李代数提升（例如，将速度向量映射到 $\mathfrak{so}(3) \subset \mathfrak{gl}(3)$ ，将协方差映射到对称矩阵）将向量和矩阵统一到共享的特征空间中。该架构包括：

ReLN-Linear：在通道维度上作用的线性映射，该映射与几何维度上的群作用交换。
ReLN-ReLU：一种使用 $\tilde{B}$ 计算不变标量门控，并沿等变方向应用的等变非线性函数。
ReLN-Bracket：利用李括号（矩阵对易子）在通道之间创建非线性交互的层，从而保持 Ad-等变性。
Max-Killing Pooling 与不变层：用于特征聚合和生成使用 $\tilde{B}$ 的群不变输出的机制。

异构输入的统一表示

ReLNs 采用“统一提升”策略。异构输入（如速度向量（左作用）和协方差矩阵（合同作用））被嵌入到统一的 $\mathfrak{gl}(n)$ 特征空间中。在正交框架下，合同作用与伴随作用之间存在同构关系（具体而言，两者都遵循相同的伴随作用 $Ad_g(X) = gXg^{-1}$ ）。这使得单一骨干网络能够处理耦合的几何数据，而无需单独的专门架构。

3. 主要贡献

ReLNs 架构：一种新型、通用的架构，实现了精确的 $GL(n)$ 伴随等变性，通过构建非退化的 Ad-不变双线性型，解决了标准 Killing 型在还原代数上的退化问题。
统一提升：一种将异构几何输入（向量和合同变换矩阵）嵌入到共享 $\mathfrak{gl}(n)$ 特征空间的方法，从而实现单一的伴随等变骨干网络。
经验验证：在包括代数基准测试、不确定性感知状态估计和 3D 高斯泼溅（3D Gaussian Splatting）在内的多种不同场景下展示了实际效用和效率。

4. 实验结果

作者在五个任务上评估了 ReLNs：

代数基准测试 ( $\mathfrak{sl}(3)$ 和 $\mathfrak{sp}(4)$ )：
- 柏拉图多面体分类：在旋转相机视角下，ReLNs 达到了接近完美的准确率 (99.78%)，与 Lie Neurons 持平，并在非等变 MLP 失效（36.54%）的情况下展现了鲁棒性。
- 不变函数回归：在 $\mathfrak{sp}(4)$ 上，ReLNs 实现了近乎为零的不变性误差和极低的测试 MSE，与专门的 Lie Neurons 相当，但采用了统一的构建方式。
无人机状态估计：
- 在从噪声速度和协方差数据重建 3D 轨迹的任务中，ReLNs 显著优于非等变 ResNet 和其他等变基准模型（Vector Neurons, TFN, SE(3)-Transformer）。
- 最优配置（使用 $(v, \log C)$ ）实现的绝对轨迹误差 (ATE) 为 13.92m，相比之下，带有协方差输入的 Vector Neurons 为 191.78m。
- 消融研究证实，建模完整的还原结构（中心 + 半单理想）优于仅使用半单部分。
3D 高斯泼溅 (3DGS)：
- 集成到 Gaussian-MAE 框架中后，ReLNs 在随机旋转下的 ModelNet10 分类准确率保持在 95.15%，而基准模型降至 18.28%。
- ReLNs 在预训练期间收敛更快，并在旋转、缩放和密度属性方面实现了更低的重建误差。
EMLP 双摆基准测试：
- ReLNs 在多种对称群（ $O(2)$ , $SO(2)$, $D_6$ ）下匹配或改进了 EMLP 的展开误差。
- 效率：由于使用了闭式矩阵运算而非特定群的基构造，ReLNs 比 EMLP 减少了约 11.18 $\times$ 的每步 FLOPs，并将推理延迟降低了 27.81 $\times$ 。
洛伦兹等变顶标记 (Lorentz-Equiant Top Tagging)：
- ReLNs 在喷注标记任务中匹配了参数匹配的 LorentzNet 基准性能，证明了其通过特定嵌入应用于非紧致洛伦兹群的能力。

5. 重要性与主张

论文声称 ReLNs 提供了一个实用的、可复用的骨干网络，用于学习广泛的线性对称性。通过解决还原代数上与 Killing 型相关的稳定性问题，ReLNs 能够实现对矩阵值数据（如不确定性和惯性）进行原则性的处理，而这在以前难以进行对称一致性的处理。

作者强调，ReLNs 提高了准确度-效率权衡，在始终匹配或超越强力基准的同时，使用了显著更少的参数和计算量。该框架被视为处理具有一般线性对称性的异构几何属性（例如机器人学中的速度和协方差，或 3D 高斯泼溅中的均值和协方差）的解决方案。这项工作表明，在还原李代数上实现精确等变性是构建结构化 3D 场景模型和物理系统模型的有效且高效的方法。