An Encoder-Transformer Architecture for Recognition of the Jordan Structure of a Matrix

技術要約：行列のジョルダン構造の認識のためのエンコーダ・トランスフォーマー・アーキテクチャ

問題の定式化
本論文は、有限精度の制約下において、行列 $A \in \mathbb{C}^{d \times d}$（または $\mathbb{R}^{d \times d}$）に極めて近い「欠損状態（defective）」にある行列の、最大のジョルダンブロックのサイズを決定するという課題に取り組んでいる。数値線形代数において、丸め誤差は欠損行列（非自明なジョルダンブロックを持つ行列）を対角化可能にしてしまい、その真の構造的特性を隠蔽してしまうことがよくある。著者らは、この問題を、以下の条件を満たすジョルダン行列 $J$（単一の固有値0と、サイズ $m$ の最大ブロックを持つ）および可逆行列 $S$ が存在するような最大の整数 $m$ を見つけることとして定式化した：

1. $\kappa(S) \leq \kappa_{\max}$ （相似変換の条件数の上限、$200d$ に設定）。
2. $\|S^{-1}AS - J\| \leq \epsilon_{\max}$ （摂動の大きさの境界）。

この定式化は、非制約的な意味での「最も近い欠損行列」を探すのではなく、特定のノイズレベルと条件付けの制約の下での「到達可能な」ジョルダンブロックのサイズを求めるものである。この問題は、力学系（$x' = Ax$）における構造的安定性を理解する必要性（大きなジョルダンブロックは、固有値が安定性を示していても過渡的な成長を引き起こし得る）や、視覚的または標準的な数値的手法によってこれらの構造を認識することの困難さに端を発している。

手法
著者らは、最大の到達可能なジョルダンブロックのサイズ $m$ を予測するために、エンコーダ・トランスフォーマー・アーキテクチャを利用した機械学習フレームワークを提案している。

• データ表現: 単一の行列を処理するのではなく、モデルは行列の累乗のシーケンス $(A, A^2, \dots, A^d)$ を入力として受け取る。これは、冪零行列（固有値0）において、連続する累乗 $A^k$ のランクがジョルダンブロックのサイズを一意に決定するという性質を利用している。入力行列は、実数値であり、$A = S(J + \epsilon E)S^{-1}$ として生成される（ここで $J$ は固有値0を持つジョルダン行列、$S$ は有界な条件数を持つランダムな相似行列、$E$ は正規化されたギンブル・ノイズ行列である）。
• アーキテクチャ:
  • エンコーダ: 各次元 $d$ に対して、専用の多層パーセプトロン（MLP）エンコーダが入力行列 $A^k$ を処理する。これらのエンコーダは、$d \times d$ 行列を共有された潜在空間（次元 $d_{latent}=32$）へと写像する。エンコーダは特徴抽出器および暗黙的なデノイザー（ノイズ除去器）として機能する。
  • トランスフォーマー: 潜在的な埋め込みのシーケンスは、次元に依存しないトランスフォーマー（2レイヤー、4アテンションヘッド）によって処理される。このコンポーネントは、行列の要素ごとの局所的な相関ではなく、シーケンスの「消失（vanishing）」挙動に焦点を当て、行列累乗のグローバルな構造的関係を学習する。
  • 分類器: 次元の特定のMLPヘッドが、トランスフォーマーの出力に対して平均プーリングを行い、最大ブロックサイズ $m \in \{1, \dots, d\}$ を分類する。
• 学習戦略:
  • ソフトターゲット: 数値的な不確実性を扱うため、学習ターゲットはワンホット・エンコーディングではなく、ソフトな分布とする。摂動が無視できる程度（$\epsilon \leq \epsilon_0$）の場合、ターゲットは真のクラスとなる。より大きな $\epsilon$ の場合、ターゲットは真のクラスを中心とした離散ガウス型カーネルに従い、その分散は $\epsilon$ に対して対数的にスケールする。これにより、モデルは問題に内在する不確実性を学習することができる。
  • 2フェーズ学習: フェーズ1では、次元 $d \in \{4, 6, 9, 12, 15, 28\}$ において、エンコーダ、分類器、およびトランスフォーマーを同時に学習させる。フェーズ2では、トランスフォーマーを凍結し、未知の次元（例：$d=33, 35$）に対して新しいエンコーダと分類器を学習させ、汎化性能をテストする。
  • 損失関数: モデルは、予測分布とソフトターゲット分布の間のカルバック・ライブラー（KL）ダイバージェンスを用いて最適化される。

主な結果

• 精度: モデルは、合成的に生成されたデータに対して高い分類精度を達成している。摂動が小さい場合、精度は1.0に近づく。かなりの摂動（$\epsilon$ が最大 $0.1$まで）や変動するスペクトル半径の下でも、「緩和された精度（真のサイズから$\pm 1$ 以内の予測）」はほとんどのケースで0.9を上回る。
• 汎化: モデルは、トランスフォーマーの初期学習フェーズには含まれていない行列次元（$d=33, 35$）に対して強力な汎化能力を示す。また、学習セットとは異なるセグレ特性（異なるジョルダンブロック構成）を持つ行列に対しても良好に機能する。
• ベースラインとの比較: 提案されたアーキテクチャは、特異値分解（SVD）による行列累乗のランク計算に基づく古典的な数値的ベースラインを大幅に上回る。ベースラインは摂動の大きさが大きくなると急速に失敗するが、ニューラルネットワークは頑健性を維持し、重いノイズを効果的に軽減する。
• 内部分析: モデルの検証により、エンコーダが成功裏に行列累乗の大きさを潜在空間に写像していること（理論的な零度の反映）が明らかになった。トランスフォーマーのアテンション・メカニズムは、行列の最初の消失（または近傍消失）のトークンに強く注目しており、これはジョルダンブロックのランク差の公式と一致している。

意義と主張
本論文は、ディープラーニングを活用することで、長年の数値線形代数の問題に対する新しいアプローチを導入したと主張している。主な意義は、以下の点におけるアーキテクチャの能力にある：

1. 構造的特性の捕捉: モデルは、特定の行列パターンを記憶するのではなく、冪零性とジョルダン構造に関する次元に依存しない代数的規則を学習する。
2. 数値ノイズへの対処: ソフトターゲットを用い、エンコーダ・デコーダ構造を利用することで、古典的な数値アルゴリズムを打ち負かす原因となる丸め誤差や摂動に対して、モデルはより頑健である。
3. 空間構造の欠如の克服: 空間的な局所性に依存するVision Transformer（ViT）とは異なり、本アーキテクチャは行列の代数的シーケンスを処理するようにトランスフォーマーを適応させ、局所的な相関を欠く行列におけるグローバルな構造的特性を正常に識別する。

著者らは、現在の実装には制限があることも謙虚に述べている。具体的には、実数値行列かつ単一の固有値クラスターに限定されており（理論上はリエス射影によって扱われるが、学習には単一クラスターを使用した）、まだ行列ペナ（matrix pencils）には拡張されていない。しかし、結果は、学習されたモデルが学習時に見られなかったクラスの行列に汎化できることを示唆しており、行列の欠損検出のための純粋な数値的手法に代わる有望な選択肢を提示している。