Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection

技術要約：連続正規化流における局所診断による分布外（OOD）検出

問題提起
本論文は、ターゲットとなる観測値がデータの部分空間内に存在するような、高次元データ空間における分布外（OOD）検出の課題に取り組んでいる。主要な障害は「尤度パラドックス（likelihood paradox）」である。これは、深層生成モデル（DGM）、特に連続正規化流（CNF）において、OODサンプルに対して、イン分布（ID）データよりも高い尤度を誤って割り当ててしまう現象である。この現象は、DGMの帰納バイアスに起因しており、モデルが高レベルの意味論的な一貫性よりも、低レベルの構造的詳細（背景の統計量やピクセルの相関など）を優先してしまうことに由来する。既存の手法は尤度比や入力の複雑性を用いてこれを緩和しようと試みているが、これらは多くの場合、DGMを静的な確率推定器として扱っており、モデルの学習および推論の軌跡に埋め込まれた豊かな動的な情報を無視している。

手法
著者らは、関連する成分（ターゲット部分空間）の密度を分離・推定し、残りの成分をコンテキストとして利用するように設計された**ラグランジュ部分流（Lagrangian Sub-Flow: LSF）**フレームワークを提案している。この手法は流体力学に基づいており、以下の3つの核心的な技術要素で構成される：

1. ラグランジュ部分流フレームワーク:

   • 著者らは、周囲のフロー空間 $\mathbb{R}^D$ を、ターゲット部分空間 $S$ と補完的なコンテキスト空間 $C$ に分解する。
   • 彼らは、**「次元間密度漏出（inter-dimensional density-leakage）」**と呼ばれる重大な問題を特定した。これは、コンテキスト空間 $C$ の進化によって、確率質量がターゲット部分空間 $S$ 内へ流入または流出することで、局所的な質量保存則が破綻し、固有の局所的な運動学的信号が隠蔽されてしまう現象である。
   • これを解決するために、**「運動学的シーリング（kinematic sealing）」**メカニズムを導入する。これは、元の速度場 $v(x, t)$ を部分空間 $S$ に投影し、コンテキスト空間 $C$ における速度成分を無効化（$v_C = 0$ とする）することである。これにより、「硬い管（stiff tube）」が形成され、グローバルな動的システムを再定義することなく、サブフローの自律性が回復され、有効な局所連続式が可能となる。

2. サブフロー・ハッチンソン・トレース推定器:

   • シーリングされたサブパスに沿った密度の進化を定量化するために、著者らはサブフローのための即時変数変換公式を導出している。
   • 彼らは、サブフローのヤコビアンのトレースを効率的に推定するための確率的ツールを提案している。運動学的投影を利用することで、サブフローのヤコビアンのトレースは、特定のプロービングベクトルに投影されたフルフローのヤコビアンのトレースと等価であることが示される。これにより、少数のヤコビアン・ベクトル積（JVP）を用いた効率的な推定が可能となり、高次元のニューラルベクトル場に対するスケーラビリティを実現している。

3. 診断指標:
   論文では、OODサンプル（具体的には音声の誤発音）を検出するための、サブフローの動力学に基づくいくつかの指標を定義している：

   • 尤度ベース: サブ表現の対数尤度（$LL$）、潜在空間における事前分布への適合度（$PRIOR$）、および半径方向距離補正（$RAD$）。
   • 幾何学的／ヒューリスティック: IDサンプルに期待される直線的な最適輸送（OT）パスからの偏差を測定する指標。これには、DISP（変位とパス長の比）および COS（OTパスと白色化パスの間の積分余弦類似度）が含まれる。

主な貢献

• LSFフレームワーク: TransformerベースのCNFにおけるグローバルな結合の問題を特定し、グローバルなコンテキストを保持しながら局所的な特性を検査するためのラグランジュ部分流フレームワークを提案した。
• 確率的ツール: 局所的な診断信号をグローバルな進化から分離するための効率的なツール、特にサブフロー・ハッチンソン・トレース推定器を開発した。
• 音声への適用: CNFベースの音声生成モデル（F5-TTS）を用いたゼロショット・フォネームレベルの誤発音検出において、これらのツールを実証した。
• 幾何学的分析: 学習されたベクトル場の幾何学的特性を可視化・議論し、幾何学的な不一致が密度変動よりも敏感なOOD検出の指標であることを示した。

結果
著者らは、ゼロショット・フォネームレベルの誤発音検出に関する CMU Kids データセットを用いて手法を評価した。

• 尤度 vs 幾何学: 尤度ベースの指標（GOP-LL, GOP-PRIOR）は、幾何学的手法（GOP-DISP, GOP-COS）と比較して性能が劣っていた。この結果は、誤った発音のサンプルが正しいサンプルよりも高い尤度を示すことがあるという「尤度パラドックス」を裏付けている。
• 相対的 vs 絶対的: 相対的な尺度（背景モデルやコンテキストと比較するもの）は、一般的に絶対的な尺度よりも優れた性能を示した。
• パフォーマンス: 相対的指標である GOP-COS は AUC 0.738 を達成し、従来のGMMベースの手法（0.723）を上回ったが、GOP-CTC-SF（0.915）のような最先端の識別的モデルには及ばなかった。
• 合成データによる検証: 合成データを用いた実験により、シーリングメカニズムが補完次元からの密度汚染を効果的に防ぎ、ターゲット多様体上で滑らかかつ完全な密度推定を実現することが示された。

意義と主張
本論文は、CNFの真の診断能力は、ホリスティックな尤度スコアにあるのではなく、高次元多様体内の局所的で微細な軌跡にあると主張している。グローバルなフローをコンテキスト特化型のサブフローに分解することで、グローバルな平均化によって隠されてしまう構造的不整合を捉えることができる。

著者らは、幾何学的な不一致（期待されるフローの軌跡からの偏差）が、CNFベースのモデルにおける単純な密度変動よりも、OOD検出においてより敏感な指標として機能すると結論づけている。本手法は、この特定のタスクにおいて従来の識別的モデルに匹敵する性能を達成しているものの、SOTAの識別的アプローチには及ばない。本研究は、部分空間OOD検出にCNFを用いる最初の試みであり、コンピュータビジョンやセンサーシステムなどの他の領域への汎用性を検証することが今後の課題であることを示唆している。