技術概要：ロバストな内在次元推定のための局所ヘッシアンスペクトルフィルタリング

問題定義

局所内在次元（LID）の推定は、高次元データ多様体の幾何学的複雑性を理解する上で不可欠であり、異常検出から生成モデルにおける記憶の分析まで、幅広い応用分野を有する。多様体仮説は、データが高次元の環境空間内の低次元構造に集中すると仮定しているが、高次元（例：$D > 1000$）における LID の正確な推定は依然として重大な課題である。

従来の$k$ 近傍法（$k$NN）に基づく手法は次元の呪いに悩まされており、距離の集中が近傍情報を希薄化させ、精度の著しい低下を招く。より最近では、近傍探索を回避するためにスコア関数（対数密度の勾配）を活用する拡散モデルベースのアプローチ（例：LIDL、FLIPD）が登場している。しかし、これらの既存の拡散ベース手法は、画像データに典型的な高次元かつ高余次元の設定では機能しない。これらはすべての次元にわたって値（スコアノルムや発散など）を無差別に合計する。高余次元では、巨大な法線部分空間が巨大な曲率信号を生成し、接線信号を圧倒するため、信号対雑音比が悪化し、推定誤差が顕著になる。

手法：局所ヘッシアンスペクトル次元（LHSD）

著者らは、対数密度のヘッシアンに対するスペクトルフィルタリングを用いて接線方向（信号）と法線方向（雑音）を明示的に分離することで、ロバストに LID を推定する手法「局所ヘッシアンスペクトル次元（LHSD）」を提案する。

理論的基盤

多様体仮説の下、$\mathbb{R}^D$ 内の$d$次元多様体に近い点$x$において、スケール$\sigma(t)$のガウスノイズによって誘起される摂動分布$p_t(x)$は、分極したヘッシアンスペクトルを示す：

1. 接線方向: 接空間$T_x\mathcal{M}$に対応する。固有値$\lambda_i$は小さく、$O(1)$としてスケーリングする。
2. 法線方向: 法線束に対応する。固有値$\lambda_j$は大きく、$O(1/\sigma(t)^2)$としてスケーリングする。

この分離はスペクトルギャップを生み出す。内在次元$d$は、ヘッシアンの零空間に近接する固有値の重複度に対応する。

アルゴリズム的アプローチ

LHSD は、ヘッシアン固有値に適用される滑らかなスペクトルフィルタ$f(\lambda)$を通じて接線方向を数えることで LID を推定する：
$$\text{LID}(x) \approx \sum_{i=1}^D f(\lambda_i) = \text{tr}(f(H(x)))$$
ここで、$H(x) = -\nabla_x s_\theta(x, t)$は、スコアモデル$s_\theta$から導出された負の対数密度のヘッシアンである。

主要コンポーネント:

• スペクトルフィルタリング: 著者らは Hill 型フィルタを採用する：
  $$f(\lambda; \sigma(t)) = \frac{1}{1 + (|\lambda|/\kappa(t))^p}$$
  このフィルタは、接線固有値（小さな$\lambda$）を$\approx 1$に、法線固有値（大きな$\lambda$）を$\approx 0$にマッピングする。カットオフ$\kappa(t) = c/\sigma(t)^2$は、法線方向に内在する曲率のスケーリングを正規化するために時間とともに変化する。
• スケーラブルな計算（SLQ）: 完全な$D \times D$ヘッシアンの構築は計算的に実行不可能（$O(D^3)$）である。LHSD は、明示的な行列構築なしにトレース$\text{tr}(f(H))$を推定するために**確率的ランチョス二乗法（SLQ）**を利用する。自動微分によるヘッシアン・ベクトル積（HVP）の計算と、三重対角行列を生成するランチョスアルゴリズムの使用により、この手法は線形計算量$O(D)$を達成する。
• 検証可能なパラメータ選択: ノイズスケール$t$の「安全領域」を特定するための診断指標「遷移質量」$M(t)$が導入される。これにより、フィルタカットオフ$\kappa(t)$が接線クラスターと法線クラスター間のスペクトルギャップ内に位置することを保証し、パラメータの正しさを視覚的に検証可能にする。

主要な貢献

1. ロバストな LID 推定器: LHSD は、ヘッシアンスペクトルフィルタリングを通じて接線次元を選択的に数え、法線固有値の影響を抑制する。これにより、従来の手法が失敗する高次元かつ高余次元の領域においてロバスト性が保証される。
2. 検証可能なハイパーパラメータ選択: この手法は、パラメータ（$c, p, t$）の選択を検証するための診断指標（遷移質量）と、固有値分布にフィルタプロファイルを重ね合わせる視覚的メカニズムを提供し、従来の推定器の「ブラックボックス」性を克服する。
3. スケーラブルなアルゴリズム: スペクトルフィルタリングと SLQ を統合することで、LHSD は明示的なヘッシアン構築を回避し、$O(D)$の線形複雑性を達成する。これにより、3,000 を超える次元であっても高速な推論が可能となる。
4. 広範な実証的検証: この手法は、合成多様体、実世界の画像データセット、および拡散モデルの記憶に関する特定のベンチマークにおいて検証されている。

実験結果

本論文は、LHSD を、$k$NN ベースの手法（ESS、LPCA）および拡散ベースの手法（LIDL、FLIPD、Normal Bundle）と比較評価し、様々な設定で検証した：

• 高次元多様体: 環境次元が$D=3072$まで、かつ内在次元が変化する実験において、LHSD は一貫して最小の平均絶対誤差（MAE）を達成した。例えば、$F10+80+200 \subset \mathbb{R}^{3072}$データセットにおいて、FLIPD は 1240.89 の MAE を示したが、LHSD は 5.19 を達成した。
• IDR ベンチマーク: Fashion-MNIST 空間（$D=784$）への 3 次元多様体の埋め込みを含む内在次元回復（IDR）ベンチマークにおいて、既存の拡散手法は劇的な性能低下を招いた。LHSD は、最小のランチョスランク（$m=2$）であっても、誤差の増加が最小限に抑えられ、安定した挙動を維持した。
• 計算効率: LHSD は FLIPD と比較して 250 倍以上の高速化を示した。FLIPD が$D$回のバックプロパゲーション（二次複雑性）を必要とするのに対し、LHSD は少数の HVP のみ（線形複雑性）で済む。
• 記憶検出: CIFAR-10 で訓練された DDPM における記憶されたサンプルを検出する実験において、LHSD は、視覚的複雑性が類似した非記憶サンプルから、異常に低い LID を示す記憶されたサンプルを成功裡に区別した。この手法は 99.87% の AUROC を達成し、生成モデルにおける過学習の特定における有用性を示した。

意義と主張

本論文は、LHSD が、高余次元における信号と雑音の分離 inability という既存の拡散ベース手法の特定の失敗モードに対処することで、LID 推定における根本的な進歩を代表すると主張する。

• ロバスト性: 主な意義は、画像データに共通するシナリオである、環境次元が内在次元を大幅に上回る領域においても精度を維持する手法の能力にある。
• 解釈可能性: 従来の手法とは異なり、LHSD は実務者が基盤となる多様体構造が正しく捉えられているかを視覚的に診断・検証するメカニズムを提供し、従来のアプローチには欠けていた解釈可能性のレベルを実現する。
• スケーラビリティ: 次元に対する線形スケーリングにより、SVD や完全なヘッシアン構築に伴う prohibitive なコストなしに、高次元データ（例：$D > 3000$）を効率的に処理できる唯一の提案手法となっている。

著者らは一つの限界を認めている：この手法は訓練されたスコアモデルの品質に依存する。彼らは訓練の忠実度を評価しているが、複雑な実世界データにおけるスコアモデルのスペクトル整合性に対する厳密な診断基準を確立することは、依然として未解決の問題である。