An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

技术摘要：用于识别矩阵若尔当结构（Jordan Structure）的编码器-Transformer 架构

问题定义
本文研究了在有限精度约束下，确定与矩阵 $A \in \mathbb{C}^{d \times d}$（或 $\mathbb{R}^{d \times d}$）最接近的缺陷矩阵（defective matrix）的最大若尔当块（Jordan block）大小的问题。在数值线性代数中，舍入误差通常会使缺陷矩阵（具有非平凡若尔当块的矩阵）变为可对角化的，从而掩盖其真实的结构属性。作者将该问题形式化为：寻找最大的整数 $m$，使得存在一个若尔当矩阵 $J$（具有单个零特征值且最大块大小为 $m$）和一个可逆矩阵 $S$，满足以下条件：

1. $\kappa(S) \leq \kappa_{\max}$（相似变换条件数的界，设定为 $200d$）。
2. $\|S^{-1}AS - J\| \leq \epsilon_{\max}$（扰动强度的界）。

该问题的目标是寻找在特定噪声水平和条件约束下的“可达”若尔丹块大小，而非在无约束意义下的最近缺陷矩阵。该问题的研究动机在于理解动力系统（$x' = Ax$）中的结构稳定性，其中大型若尔当块即使在特征值暗示稳定的情况下也会诱发瞬态增长，以及通过视觉或标准数值方法识别这些结构的难度。

方法论
作者提出了一种利用编码器-Transformer 架构的机器学习框架，用于预测最大可达若尔当块大小 $m$。

• 数据表示： 模型并非处理单个矩阵，而是接收矩阵幂序列 $(A, A^2, \dots, A^d)$ 作为输入。这利用了幂零矩阵（零特征值）的性质，即连续幂次 $A^k$ 的秩唯一决定了若尔当块的大小。输入矩阵为实值矩阵，通过 $A = S(J + \epsilon E)S^{-1}$ 生成，其中 $J$ 是具有零特征值的若尔当矩阵，$S$ 是具有有界条件数的随机相似矩阵，$E$ 是归一化的 Ginibre 噪声矩阵。
• 架构：
  • 编码器（Encoders）： 对于每个维度 $d$，一个专门的多层感知机（MLP）编码器处理输入的矩阵 $A^k$。这些编码器将 $d \times d$ 矩阵映射到共享的 $d_{latent}=32$ 维潜空间。编码器充当特征提取器和隐式去噪器。
  • Transformer： 序列化的潜嵌入由一个与维度无关的 Transformer（2 层，4 个注意力头）进行处理。该组件学习矩阵幂次的全局结构关系，侧重于序列的“消失”行为，而非局部的元素间相关性。
  • 分类器（Classifier）： 一个特定维度的 MLP 头对 Transformer 输出进行平均池化，并将最大块大小 $m \in \{1, \dots, d\}$ 进行分类。
• 训练策略：
  • 软目标（Soft Targets）： 为了处理数值不确定性，训练目标不是 one-hot 编码，而是软分布。对于微小扰动（$\epsilon \leq \epsilon_0$），目标为真实类别。对于较大的 $\epsilon$，目标遵循以真实类别为中心的离散高斯类核，其方差随 $\epsilon$ 对数级缩放。这使得模型能够学习该问题固有的不确定性。
  • 两阶段训练： 第一阶段在维度 $d \in \{4, 6, 9, 12, 15, 28\}$ 上同时训练编码器、分类器和 Transformer。第二阶段冻结 Transformer，并为未见的维度（如 $d=33, 35$）训练新的编码器和分类器，以测试泛化能力。
  • 损失函数： 使用预测分布与软目标分布之间的 Kullback-Leibler (KL) 散度来优化模型。

关键结果

• 准确率： 该模型在合成生成的数据上实现了高分类准确率。对于微小扰动，准确率趋近于 1.0。即使在显著扰动（$\epsilon$ 高达 $0.1$）和变化的谱半径下，“松弛准确率”（预测在真实大小$\pm 1$ 范围内）在大多数情况下仍保持在 0.9 以上。
• 泛化能力： 模型展示了对初始训练阶段未见过的矩阵维度（$d=33, 35$）的强大泛化能力。此外，对于与训练集具有不同 Segre 特征（不同的若尔当块配置）的矩阵，它也表现良好。
• 基准对比： 所提出的架构显著优于基于奇异值分解（SVD）计算矩阵幂次秩的经典数值基准。随着扰动强度的增加，基准方法的表现迅速下降，而神经网络则能保持鲁棒性，有效地减轻了重度噪声的影响。
• 内部分析： 对模型的检查表明，编码器成功地将矩阵幂次的量级映射到潜空间（反映了理论上的零度/nullity）。Transformer 的注意力机制高度关注对应于第一个消失（或接近消失）的矩阵幂次的 token，这与若尔当块的理论秩差公式相一致。

意义与主张
论文声称，这项工作通过利用深度学习，为解决一个长期的数值线性代数问题引入了新颖的方法。其主要意义在于该架构能够：

1. 捕捉结构属性： 模型学习的是关于幂零性和若尔当结构的维度无关代数规则，而非记忆特定的矩阵模式。
2. 处理数值噪声： 通过使用软目标和采用编码器-解码器结构进行训练，模型对于通常会击败纯数值算法的舍入误差和扰动具有更强的鲁棒性。
3. 克服缺乏空间结构的限制： 不同于依赖空间局部性的视觉 Transformer (ViT)，该架构通过调整 Transformer 来处理代数序列，成功识别了缺乏局部相关性的矩阵中的全局结构属性。

作者也谦虚地指出了局限性：目前的实现仅限于具有单个特征值簇的实值矩阵（理论上通过 Riesz 投影处理，但训练使用了单特征值簇），并且尚未扩展到矩阵丛（matrix pencils）。然而，结果表明，学习到的模型可以泛化到未见过的矩阵类，为检测矩阵缺陷性提供了一种优于纯数值方法的有前景的替代方案。