技術的サマリー：ランクは容量ではない：潜在グラフモデルのためのスペクトル占有

問題定義

グラフ表現学習において、潜在空間の次元はモデルの挙動を支配する重要な設計選択である。しかし、この次元は伝統的に脆弱なハイパーパラメータとして扱われてきた。つまり、学習前に固定され、保持されたデータ（held-out data）の性能を通じてチューニングされる。このアプローチは、以下の2つの根本的な問題に悩まされている：

1. 識別可能性：学習された潜在因子は、回転と大域的な再スケーリングまでしか識別可能ではない。したがって、名义上のランク（宣言された次元）は、実際にモデルの挙動を支配する量と一致することは稀である。
2. 制御の欠如：既存の選択手順（例：プロファイル尤度エルボー、ベイズ選択、交差検証）は、通常、適合の前後のいずれかで単一の次元を選択する。それらは、「表現容量」——適合済みモデルによって実際に使用される潜在モードの数——を、モデル内部で測定可能、制御可能、または監査可能な量として露呈させることに失敗している。

過剰パラメータ化領域において、作用する量は宣言されたランクではなく、表現質量が潜在モード間でどのように分布しているかである。

手法：SPECTRA

著者らは、**スペクトルプレフィックス抽出と容量目標指向表現分析（SPECTRA）**を提案する。これは、分析単位として名义上のランクに代わり、学習された半正定値（PSD）カーネルのスペクトルを採用するフレームワークである。

中核コンポーネント

1. トレース正規化カーネル：
   ランク $r$ を次元として固定する代わりに、SPECTRA はランク制限付き因子 $L \in \mathbb{R}^{N \times r}$ を通じて潜在親和性カーネル $K \in \mathbb{R}^{N \times N}$ をパラメータ化する。重要なのは、カーネルがトレース正規化されている点である：
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   この正規化は、総スペクトル質量を $N$ に固定し、固有値分布の違いが、全体的な大きさの違いではなく、表現が固定されたスペクトル予算を潜在モード間でどのように割り当てているかを反映するようにする。これにより、異なる適合やランク制限間でもスペクトルを比較可能にする。

2. スペクトル占有と実効次元：
   正規化された固有値 $\lambda_i(K)$ は、スペクトルモード上の確率分布 $p_i(K) = \lambda_i(K)/N$ を定義し、これをスペクトル占有分布と呼ぶ。著者らは、この分布のシャノンエントロピーの指数を実効スペクトル次元 ($d_{\text{spec}}$) として定義する：
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   硬いランクとは異なり、$d_{\text{spec}}$ は実現された容量の滑らかな連続的な尺度である。すべての質量が1つのモードにある場合、これは1に等しく、質量が $s$ 個のモードに均等に広がっている場合、$s$ に等しくなる。

3. 容量制御目的関数：
   学習中に実現された次元を制御するために、SPECTRA はエントロピー正則化された目的関数を導入する：
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   ここで、$\ell$ はリンク予測損失、$R$ は二次正則化、$\eta$ はスカラーのエントロピー重みである。

   • $\eta > 0$ は拡散したスペクトル（高い $d_{\text{spec}}$）を促進する。
   • $\eta < 0$ は集中したスペクトル（低い $d_{\text{spec}}$）を促進する。
   • $\eta = 0$ はスペクトルエントロピーバイアスなしの標準的な最尤適合に対応する。

4. ターゲティングと較正：
   著者らは、局所的な正則性条件（単純な活性スペクトルと非退化なヘッセ行列）の下で、実現された次元 $d_{\text{spec}}(\eta)$ が局所的に $C^1$ であり、$\eta$ に関して単調非減少であることを確立した。これにより、指定された許容誤差内で所望の実効次元 $d^*_{\text{spec}}$ を目標とする $\eta^*$ を見つけるために二分法を使用できる。

5. スペクトルプレフィックス：
   単一の適合済みカーネルは、整列した低次元表現の入れ子構造ファミリーを生成する。カーネルをその上位 $k$ 個の固有モード（$K_k$）に切り詰めることで、（Eckart–Young–Mirsky 定理により）最適なランク-$k$ PSD 近似が得られる。これらのスペクトルプレフィックスは、再学習なしに、同じ適合済みモデルの整列した低容量ビューを提供する。

主要な貢献

1. 実現容量としてのスペクトル占有：本論文は、名义上のランクに代わり、学習された PSD カーネルのトレース正規化スペクトルを採用し、シャノン実効ランク（$d_{\text{spec}}$）を実現された潜在次元の滑らかな尺度として使用する。
2. 学習時の容量制御：スカラー $\eta$ が実現されたスペクトル次元を形成するエントロピー正則化された目的関数を導入し、二分法を通じて特定の $d^*_{\text{spec}}$ 値を目標とすることを可能にする。
3. 理論的保証：著者らは、単純スペクトル条件下での活性スペクトルモードの識別可能性を検証し、実現次元プロファイルの局所的な $C^1$ 挙動と単調性を確立した。また、スペクトルプレフィックスが最適な低ランク PSD 要約であることを証明した。
4. 経験的容量フロンティア：コラボレーション、社会、生物、インフラの8つのベンチマークネットワークにわたる実験により、予測性能（AUC）は名义上のランクではなく、達成された $d_{\text{spec}}$ によって整列していることが明らかになった。これは、性能がランク制限未満でピークに達する「飽和」データセットと、ランク制限の増加に伴って性能が向上する「ランク容量束縛」データセットを区別する。
5. 単一適合プレフィックスファミリー：適合済みカーネルは、整列したスペクトルプレフィックスの入れ子構造ファミリーを提供し、再学習なしに同じ表現の低容量ビューを提供する。
6. スペクトル制御された過剰パラメータ化：ペア実験において、$\eta$ 目標指向の過剰パラメータ化適合（$r > d_{\text{spec}}$）は、実効容量が一致している場合でも、ランク制限のみのベースラインと比較して、テスト対数尤度を改善し、訓練 - テストのギャップを減少させる。

実験結果

• データセット：本手法は、引用ネットワーク（ca-GrQc, ca-HepTh）、社会ネットワーク（socfb-American75, socfb-Amherst41）、生物ネットワーク（bio-grid-human, bio-grid-worm）、およびインフラネットワーク（inf-power, inf-openflights）を含む8つの無向グラフで評価された。
• ベースライン：SPECTRA は、ユークリッド埋め込み（Node2Vec, Role2Vec）、行列分解（NetMF, GRAREP）、混合メンバーシップモデル（MNMF）、および潜在距離単体モデル（HM-LDM）と比較された。
• 性能：
  • パラメータ数を一致させた場合、SPECTRA（$\eta=0$）は、さまざまな次元において7/8のデータセットでトップまたは2番目に良いAUCを達成した。
  • 容量目標指向 SPECTRA は、実質的に小さい実現次元においても競争力があった。例えば、ベースラインの中央値の実効ランクを目標とすることは、著しく低い $d_{\text{spec}}$ で同様の性能をもたらすことが多かった。
  • フロンティア分析：達成された $d_{\text{spec}}$ に対して AUC をプロットすると、異なるランク制限（$r=64, 128, 256$）からの曲線は共通のフロンティアに収束した。これは、性能が名义上のランクではなく、実現されたスペクトル容量によって整理されていることを確認する。
  • 過剰パラメータ化：より大きなランク制限 $r$ を使用して特定の $d^*_{\text{spec}}$ を目標とすることは、$d^*_{\text{spec}}$ に等しいランク制限で学習した場合と比較して、よりよく較正されたモデル（低い汎化ギャップと高いテスト対数尤度）をもたらした。

意義と主張

本論文は、容量は学習プロセスのハイパーパラメータではなく、適合済みモデルの性質として扱われるべきであると主張する。名义上のランクからスペクトル占有へと焦点を移すことで、SPECTRA は予測精度と実現次元の間のトレードオフを可視化可能かつ制御可能にする。

著者らは、このアプローチが以下の点を提供すると主張している：

• 過剰パラメータ化領域における容量に対する原理的な取っ手。
• 再学習なしにモデルの整列した低容量ビュー（スペクトルプレフィックス）の抽出。
• 潜在構造が少数のモードによって完全に捉えられる（飽和した）データセットと、モデルがランク制限によって制約されているデータセットの区別。
• 異なるネットワークの構造的複雑さを比較するための連続座標（$d_{\text{spec}}$）。これは、社会、生物、インフラなどの異なる文脈間でネットワークの複雑さがどのように変化するかを研究することに適用可能性がある。

この研究は、その限界について控えめに述べており、現在はユークリッド潜在空間内で動作することに言及している。これらの概念を非ユークリッド幾何学（例：単体値または双曲的埋め込み）に拡張し、ネットワーク間比較のための共通の前処理プロトコルを開発することは、将来の課題として残されている。