技術要約：加速された対称非負行列因子分解による低ランク依存性の分解

問題定義

対称非負行列因子分解（SymNMF）は、対称かつ成分非負な依存行列 $S \in \mathbb{R}^{n \times n}_+$ を、低ランク因子 $H \in \mathbb{R}^{n \times k}_+$（ここで $k \ll n$）へと分解することを目指すものである（$S \approx HH^\top$）。この分解は、構成員が共通の依存パターンを共有する潜在的なグループ構造を明らかにし、ソフト・クラスタリングと学習された埋め込みの両方の役割を果たす。

本論文は、SymNMFにおけるスケーラビリティのギャップに対処している。この手法は確立されているものの、大規模なポートフォリオ（数千から数百万の銘柄）への実用的な展開は、以下の理由により阻まれてきた：

1. メモリ制約： 標準的な目的関数形式は、明示的な $n \times n$ の中間行列を必要とするため、先行研究では中規模なサイズ（$n \lesssim 10^4$）に限定されていた。
2. 体系的な比較の欠如： 大規模なスケールにおいて、制御された真の入力値を用いて、ソルバー・ファミリーを包括的に評価した研究は存在しない。
3. 最適化の課題： 中規模なスケールで効果的な手法は、制約処理（投影 vs 再パラメータ化）と適応型オプティマイザのメモリとの相互作用により、大規模な $n$ で必要とされる長い実行時間において失敗することがある。

本研究は、金融リスクファクターを代表する2つの特定の入力タイプに焦点を当てている：

• 絶対ピアソン相関行列： 全分布にわたる依存性を捉える。
• テイル・ペアワイズ依存行列 (TPDM)： 極値理論に基づき、極端な事象が発生した際の条件付き依存性を捉える。これらの行列は、単一の共通因子によって支配される「平坦」で条件数の悪いスペクトルを示すことが多い。

手法

1. メモリ効率の高い再定式化

$n \approx 10^6$ へのスケーリングを可能にするため、著者らはトレース恒等式を用いて目的関数を再定式化した。標準的なフロベニウスノルム $\|S - HH^\top\|_F^2$ は次のように展開される：
$$\|S\|_F^2 - 2 \text{tr}(H^\top SH) + \|H^\top H\|_F^2$$
これにより、$n \times n$ の残差行列 $S - HH^\top$ を形成する必要がなくなる。すべての計算中間値は $n \times k$ または $k \times k$ の行列に削減される。この代数的な変更により、単一GPUでの最大許容 $n$ が（FP32において、約60,000から約130,000へと）ほぼ倍増し、マルチノード分散による $n = 10^6$ への対応が可能となった。

2. ソルバー・ファミリーと構成

本研究では、3つのパラダイムにわたる7つのアルゴリズム・ファミリー（30以上の構成）を評価している：

• 勾配投影法： 投影勾配降下法 (PGD)、加速近接勾配法 (APG/FISTA)。
• 適応型一次手法： AdaGrad、RMSprop、Adam、NAdam、Adan、および本研究で導入された3つの新しい拡張手法：
  • Piecewise AdaGrad: 目的関数の停滞時にアキュムレータ（蓄積器）をリセットし、飽和を防ぐ。
  • Row-Stochastic SVRG: 行のサブサンプリングと、一様なアキュムレータ成長を維持するための周期的なフルグラディエント・スナップショットを組み合わせる。
  • Block-SVRG AdaptGrow: 密なブロック・サンプリングと適応的なバッチ成長（小規模から開始し、停滞時にフルバッチへ成長）を用い、行ごとのアキュムレータの不均一性を修正するための SVRG ハイブリッド・スナップショットを使用する。
• 分割/ミラー降下法： 多重更新法 (MU)、ADMM、ブロック座標降下法 (HLS, ANLS)、およびディープ・アンフォールディング (SymNMF-Net)。

3. 制約処理

$H \ge 0$ を強制するための2つの戦略を比較している：

• 投影空間 (Projected Space)： 更新後に $H$ を直接クランプする。
• ソフトプラス再パラメータ化 (LogSpace)： $H = \text{softplus}(\Theta)$ となる、制約のない $\Theta$ を最適化する。
  著者らは、Softplus が小規模なスケールでは短メモリのオプティマイザ（例：RMSprop）や二次手法に役立つ一方で、連鎖律による勾配の非定常性のために、実行時間が長くなると長メモリのアキュムレータ（例：AdaGrad, Adam）を損なうことを発見した。その結果、大規模実験では投影空間が利用されている。

4. 収束判定基準

厳格な3部構成の停止ルールが一律に適用されている：

1. ロス・ゲート： 正規化された二乗誤差 $E_t < 0.1$。
2. KKT条件： 行正規化された投影勾配ノルム $\|\nabla_{\text{proj}} f(H)\|_F / (nk) < \tau_g$。
3. 停滞： 相対的な目的関数の改善が閾値を下回った場合。
   これにより、解が単に低損失であるだけでなく、定常点であることを保証し、平坦な谷における偽の収束を回避している。

主な結果

フェーズ 1: アルゴリズム選択 ($n \le 10^4$)

単一の NVIDIA GB200 GPU 上で、11 の手法が安定して収束した。しかし、厳格な効率閾値（$n=10^4$ において4秒未満での収束）を満たしたのは以下の6つのみであった：

• ADMM
• RMSprop
• Block-SVRG AdaptGrow
• AdaGrad
• Row-Stochastic SVRG
• Piecewise AdaGrad

多重更新法、標準的な PGD、およびディープ・アンフォールディングは、収束に失敗するか、著しく低速であった。二次手法 (L-BFGS, Newton) は、曲率近似の不備またはメモリの問題により、TPDM スペクトルにおいて失敗した。

フェーズ 2: 大規模な実現可能性 ($n = 10^5, 10^6$)

選定された6つの手法を、マルチノードGPUクラスター（最大64 GPU）でテストした。

• AdaGrad ファミリーの優位性： 5つの AdaGrad 系手法（AdaGrad, Piecewise, Row-Stoch SVRG, Block-SVRG AdaptGrow, RMSprop）が $n=10^6$ で正常に収束した。ADMM は速度の問題からこのスケールでは除外された。
• スペクトル依存性： 「最速」のソルバーは行列のスペクトルに依存する：
  • 相関行列（支配的な低ランク・スペクトル）： フルバッチの AdaGrad が最速である。問題には明確な信号・ノイズ間のギャップがあり、フルバッチのステップが効率的な短い実行で済む。
  • TPDM（平坦で条件の悪いスペクトル）： Block-SVRG AdaptGrow が最速である。スペクトルはゼロに近いギャップを持つ共通因子によって支配されており、長い実行時間を必要とする。適応的なブロック・サンプリング戦略による 1 イテレーションあたりのコストの低さが、イテレーション数の必要性を上回る。
• パフォーマンス： $n=10^6$ において、Block-SVRG AdaptGrow は TPDM を約4分（409 イテレーション）で解いた一方、AdaGrad は相関行列を約2分（72 イテレーション）で解いた。

クラスタリング・ベースライン

$S$ の行に適用された 球面 K-means をハードラベルの代替案としてベンチマークしている。

• 効率性： 角度的なクラスタ構造が存在する場合、K-means は大幅に高速（少ないイテレーション数）である。
• 退化： 行列が単一の共通因子へと崩壊する場合（有効ランク $r_{\text{eff}} \to 1$）、K-means は失敗する（シルエット係数 $\approx 0$）。これは大規模な TPDM でよく見られる状況であり、このような場合には SymNMF によるソフトな因子分解が依然として必要となる。

意義と主張

本論文は、理論的な SymNMF と、金融リスク推定における大規模な実用化との間の溝を埋めるものである。主な貢献は以下の通りである：

1. スケーラビリティ： トレース恒等式による再定式化とマルチGPU 分散により、高密度な SymNMF が $n=10^6$ まで実行可能であることを示し、$O(n^2)$ のメモリボトルネックを取り除いた。
2. ソルバーの推奨： 入力タイプとスケールに基づいたソルバー選択のデータ駆動型のガイドを提供した。短時間の実行には 対角 AdaGrad を、長く条件の悪い実行には Block-SVRG AdaptGrow をデフォルトとして特定した。
3. アルゴリズムの革新： 特定のエンジニアリング拡張（Piecewise AdaGrad, Block-SVRG AdaptGrow）を導入・検証し、AdaGrad の無限メモリ（定常的な目的関数には良好）と、長時間の実行における飽和との間の緊張関係を解決した。
4. 制約処理： 投影と Softplus のスケール依存のトレードオフを特性化し、大規模な長メモリ適応型手法に対しては Softplus を避けるよう助言した。

著者らは、これらの知見は SymNMF の最適化ランドスケープ自体の特性であり、使用された特定の金融入力に限らず、同様のスペクトル特性を持つあらゆる問題に適用可能であることを強調している。