技術的概要：等方性ノイズ不変な固有値分解のための離散ダブルブラケット流

1. 問題定義

本論文は、ストリーミング観測下における対称作用素に対するフル基底・行列フリーの固有値分解の問題を取り扱っている。観測モデルは以下のように与えられる：
$$C_k = C_{\text{sig}} + \sigma_k^2 I + E_k$$
ここで：

• $C_{\text{sig}} \in \mathbb{R}^{n \times n}$ は、異なる固有値を持つ信号共分散である。
• $\sigma_k^2 I$ は、**時間変化する、有界でない可能性もある等方性背景（ノイズフロア）**を表す。
• $E_k$ は異方性摂動である。
• アクセスは行列 - 積（MVP） $v \mapsto C_k v$ に制限されており、完全な行列 $C_k$ は明示的に保存または形成されない。

核心的な課題： $\sigma_k^2 \gg \|C_{\text{sig}}\|_2$ となる高ノイズ環境において、標準的なアルゴリズム（部分空間反復法、Oja の規則、QR 再帰付きユークリッド勾配降下法など）は深刻な劣化をきたす。それらの安定性、ステップサイズ、収縮率はノイズフロア $\sigma_k^2$ に依存して結合してしまう。例えば、部分空間反復法における収縮比は $\sigma_k^2 \to \infty$ として 1 に近づき、QR-Oja における実効ステップサイズはゼロに崩壊する。これにより、反復回数が $\Omega(\sigma_k^2 / \Delta)$ としてスケーリングせざるを得なくなり、高ノイズ環境では実用的ではなくなる。

2. 手法

著者らは、ノイズを明示的に推定または減算することなく、等方性シフトに対する代数的不変性を達成する離散ダブルブラケット流を提案する。

2.1 リー括弧による代数的不変性

中心的な洞察は、等方性成分 $\sigma_k^2 I$ が行列代数の中心に位置し、したがってリー括弧（交換子）演算の下で消滅するという点である。著者らは、リー代数 $\mathfrak{so}(n)$ 上で定義された状態依存生成子 $\Omega(M)$ を構築する：
$$\Omega(M) = [A(M), D(M)] = A(M)D(M) - D(M)A(M)$$
ここで：

• $A(M) = M^\top C_k M$
• $D(M) = \text{diag}(A(M))$

任意のスカラー $\alpha$ と行列 $X$ に対して $[\alpha I, X] \equiv 0$ であるため、生成子は以下の性質を満たす：
$$\Omega(M; C_{\text{sig}} + \sigma_k^2 I + E_k) = \Omega(M; C_{\text{sig}} + E_k)$$
これにより、観測に等方性ノイズが含まれるかどうかに関わらず、更新方向が点ごとに同一であることが保証される。ノイズはフィルタリングされるのではなく、生成子の定義によって構造的に消去される。

2.2 ケイリー写像による離散更新

アルゴリズムは、高価な SVD や QR 分解なしに直交性を維持するために、回転行列 $M_k \in SO(n)$ をケイリー写像を用いて更新する：
$$M_{k+1} = M_k \cdot \text{Cay}(\eta_k \Omega_k)$$
ここで $\text{Cay}(X) = (I - \frac{1}{2}X)^{-1}(I + \frac{1}{2}X)$ である。
行列フリーの設定では、逆行列 $(I - \frac{\eta}{2}\Omega)^{-1}$ は、通常 $K=3$ または $4$次までの切断された**ネウマン級数**によって近似され、反復ごとに$O(n)$ の MVP のみが必要となる。

2.3 上位$k$個の追跡への拡張

この枠組みは、上位$k$個の固有ベクトルを追跡するためのシュティフェル多様体 $\text{St}(k, n)$ に拡張される。厳密に順序付けられた対角重み行列 $N$ を用いた重み付きブロケット目的関数 $J(M) = \text{tr}(M^\top C M N)$ を導入することで、同じ $\sigma^2$ 不変性を維持しつつ、順序付けられた固有フレームを分離する。

3. 主要な貢献と理論的結果

3.1 代数的不変性と安定性

• 点的不変性： 離散軌道 $\{M_k\}$ とリャプノフ値は、観測 $\{C_{\text{sig}} + \sigma_k^2 I + E_k\}$ と $\{C_{\text{sig}} + E_k\}$ に対して同一である。
• 安定性閾値： 最大安定ステップサイズ $\eta_{\max} = 1/L_C$ は、$\sigma_k^2$ ではなく、専ら跡除去信号エネルギー $\|C_e\|_2$（ここで $C_e = \text{tf}(C_{\text{sig}})$）に依存する。具体的には、$L_C = (4\sqrt{n} + 8)\|C_e\|_2^2$ である。

3.2 入力 - 状態安定性（ISS）

著者らは、アルゴリズムが跡除去摂動 $E_e$ に関して入力 - 状態安定（ISS）であることを確立した。

• ノイズボール： 定常状態の誤差 bound（ノイズボール半径）は、$\|E_e\|$、$\|C_e\|$、およびスペクトルギャップ $\delta$ によってのみ支配される。これは等方性ノイズレベル $\{\sigma_k^2\}$ に依存しない。
• サンプル複雑性： 確率的ノイズ下では、収束率は $O(1/k)$ であり、精度 $\epsilon$ に到達するためのサンプル複雑性は $O(\|C_e\|_2^2 \sigma_u^2 / (\delta^2 \epsilon))$ である。ここで $\sigma_u^2$ は異方性ノイズのモーメントにのみ依存する。

3.3 大域収束

• 厳密鞍点幾何学： $SO(n)$ 上の目的関数には、偽の局所最小値が存在しない。すべての非最適臨界点は厳密鞍点である。
• ハール測度によるほぼ確実な収束： 正確な（ノイズのない）ケイリー反復において、ランダム初期化（ハール測度）は、確率 1 で大域的最小値集合に収束する。
• 有限時間到達： 有界な跡除去摂動の下では、摂動軌道は、ほぼすべての初期化から有限時間でスペクトル分離領域（局所 ISS 解析が成立する領域）に到達する。

3.4 計算量

• **フル基底（$SO(n)$）：** ステップあたり$O(n)$ の MVP と $O(n^3)$ の密行列演算。
• 上位$k$個（$\text{St}(k, n)$）： ステップあたり $O(k)$ の MVP と $O(nk^2 + k^3)$ の演算。これにより、小さな $k$ に対して $n \sim 10^4$ へのスケーラビリティが可能となる。

4. 実験結果

本論文は、広範な実証ベンチマークではなく、数値診断を通じて理論的予測を検証している：

1. 反復複雑性対ノイズ： 提案されたケイリー法は、等方性ノイズの 4 桁の範囲（$\sigma^2 \in [0, 1000]$）にわたって一定の反復回数（約 1600 回）を必要とする。対照的に、「Raw Oja」は $\sigma^2 \ge 10$ で完全に失敗し、跡除去ベースライン（TF-Oja）は大きなオーバーヘッドを伴う。
2. 代数的正しさ： 交換子の実装は、機械精度（$\sim 10^{-15}$）で代数的恒等式（例えば、ギブンス脱出プロファイル、入力境界）を満たす。
3. 大域収束： $SO(15)$ 上の 100 回のハールランダム初期化から、アルゴリズムは 100% の試行で大域的最小値に収束した。
4. シュティフェル不変性： $\sigma^2 = 10^4$ における $\text{St}(5, 50)$ 上の軌道は、$\sigma^2 = 0$ の場合と区別がつかない（差 $< 2.3 \times 10^{-12}$）。

5. 意義と主張

本論文は、ストリーミング固有値分解における根本的な限界、すなわちアルゴリズム的安定性とノイズフロアとの結合を解決すると主張している。リー括弧恒等式 $[\alpha I, \cdot] \equiv 0$ を利用することで、この方法は等方性ノイズを「代数的に不可視」とする。

• 構造的対推定： 跡推定やノイズ除去アプローチとは異なり、この方法は nuisance パラメータを推定または減算しようとはしない。代わりに、ノイズが存在し得ないようなダイナミクスを構築する。
• ロバスト性： このアプローチは、等方性背景が有界でない場合やインパルス性の場合であっても、保証された収束保証を提供する。
• 範囲： 著者らは明示的にその範囲を等方性シフトに限定している。構造化された（非等方性の）摂動は、現在の枠組みの範囲外である。フル基底変種は $O(n^3)$ のままであり、$n \lesssim 10^3$ に制限されるが、シュティフェル拡張は低ランク追跡に対してスケーラビリティを提供する。

この研究は、ノイズモデルが統計的推定ではなく幾何学的構造を通じて処理される、堅牢なスペクトル推定のための新たなパラダイムを確立する。