🤖 machine learning

A Probabilistic Circuit-Induced Pseudo-Metric for Out-of-Distribution Detection

本論文は、確率回路の内部的な階層構造を利用して階層的尤度ベクトルとそれに対応する擬似距離を定義することで、保持された分布内データ（held-out in-distribution data）を必要とせずに、教師なしでの検出およびシフトの局在化を可能にする、新しい分布外検出フレームワークを導入するものである。

原著者： Bhumika K, Vidhya S, Narayanan C Krishnan

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bhumika K, Vidhya S, Narayanan C Krishnan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に限定された会員制クラブのセキュリティガードになったと想像してください。あなたの仕事は、誰を入場させ、誰を拒否するかを決めることです。通常、あなたには常連客がどのような見た目かという、頭の中にあるリストがあります。身長、お気に入りの帽子、歩き方などです。もし誰かがネオンカラーのピエロのスーツを着て入ってきたら、あなたは即座にその人が場違いであることを理解します。しかし、もしその人が、シャツが少し違うだけで、常連客と「ほぼ」同じように見えたらどうでしょう？あるいは、クラブがあまりにも巨大で、常連客一人ひとりの細かなディテールまで記憶しておくことができなかったらどうでしょう？これは、人工知能の世界における「分布外（Out-of-Distribution: OOD）検知」という課題です。これは、比較対象となる二つ目のリストを必要とせずに、「おい、これは変だぞ。自分が学習したものとは一致しない」とコンピュータに言わせる方法を教える作業なのです。

この論文がどのようにその問題に取り組んでいるかを理解するために、彼らが使用しているツールである「確率回路（Probabilistic Circuit）」を見てみましょう。これを、乱雑なニューラルネットワークとしてではなく、確率の巨大で整理された「家系図」と考えてください。一番下には、単純な事実（例：「この画素は黒いか？」）があります。上に向かって進むにつれ、これらの事実はより大きな概念（例：「これは円形か？」）へと組み合わされていきます。家系図の頂点は、最終的なスコアを出します。「この写真は猫である確率はどのくらいか？」というスコアです。従来の手法の問題点は、セキュリティガード（あるいはAIモデル）が、木の頂点にある最終的なスコアだけを見てしまうことです。彼らは、木の中間層にある興味深い詳細を無視してしまうのです。この論文は、頂点だけを見るのではなく、木全体を見ることによって、「ピエロのスーツ」をもっとうまく見つけられると主張しています。

インド工科大学パラッカドの研究者たちは、**階層的尤度ベクトル（Hierarchical Likelihood Vector: HLV）**と呼ばれる新しい手法を紹介しています。単にAIに「これは猫ですか？」と尋ねる（これは一つの数値しか与えません）のではなく、彼らはAIに対して、その家系図の異なるレベルで一連の質問を投げかけます。「これは円ですか？」「これは黒い画素ですか？」「これは特定の種類の曲線ですか？」彼らはこれらの答えをすべて集めて、一つのリスト、すなわちベクトルにします。このリストがHLVです。これは、単なる「常連客のように見える」というスタンプを与えるのではなく、靴から帽子に至るまで、あらゆるディテールのチェックリストをセキュリティガードに渡すようなものです。

このチェックリストを使用して、彼らは**階層的尤度距離（Hierarchical Likelihood Distance: HLD）**と呼ばれる新しい距離の測定法を作り上げました。想像してみてください、あなたには「完璧な常連客」のチェックリストと、「新しい客」のチェックリストがあります。HLDは、これら二つのリストがどれくらい離れているかを測定します。もし新しい客のリストが完璧な常連客のリストと大きく異なっていれば、距離は大きくなり、AIは警報を鳴らすべきだと判断します。この論文の巧妙な点は、後で比較するために大量の常連客の写真を保存しておく必要なく、AIの脳内から直接、数学的に「完璧な常連客」のチェックリストを算出する方法を見出したことです。これにより、システムははるかに効率的になり、追加のデータが手元にない実世界の場面でも即戦力として利用可能になります。

彼らが表形式データ（顧客情報のようなスプレッドシート）や手書き数字の画像（MNIST）でこのアイデアをテストしたところ、結果は有望でした。シミュレーションにおいて、HLV手法は、頂点のみを見る従来の手法よりも「ピエロ」を見つけることに優れていました。例えば、表形式のデータセットにおいて、100個のアイテムのバッチでテストした際、新しい手法は異常なデータを約93%の確率で検知しましたが、従来の手法はしばしば50%以下に留まっていました。さらに重要なことに、新しい手法はより安定していました。データが多少乱れたり、AIのモデルが完璧でなかったりしても、簡単には混乱しませんでした。

また、この論文は、この手法が「探偵」のように機能できることも示しています。HLVは木のすべてのノードを追跡しているため、研究者はチェックリストのどの特定の質問が異なっていたのかを特定することができました。もしAIが数字の「6」を「0」と見間違えて混乱していた場合、この手法は画像のどの部分（中央のループ部分など）が問題を引き起こしているのかを正確に指摘できるのです。この「ローカライゼーション（局在化）」は、AIが単に「何かおかしい」と思っているだけでなく、「なぜ」おかしいと考えているのかを理解する助けとなります。

しかし、著者たちは、これがすべてを永遠に解決する魔法の杖ではないことにも注意を促しています。彼らの手法は、AIモデルが滑らかで構造化された特定のタイプの「確率回路」であることに依存しています。もしモデルが乱雑であったり、構造化されていなかったりする場合、数学的な処理が綺麗に機能しません。また、この手法はモデルに適合しないデータを検知することには優れていますが、もしモデル自体が現実の不完全な表現（例えば、猫のぼやけた写真など）である場合、システムは本物の猫を「異常」と判定してしまう可能性があります。著者たちは、高解像度の画像（28x28ピクセル）において、モデルがすべての微細なディテールを完璧に捉えるのに苦労するため、誤検知率が上昇することを発見しました。

要約すると、この論文は、AIの脳内での最終的な結論だけでなく、その中の「会話全体」に耳を傾けることで、データのより優れたセキュリティシステムを構築できることを示唆しています。それは、単なる「はい／いいえ」の決定を、豊かで多層的な調査へと変え、他の手法が見逃してしまうようなデータの微妙な変化を、追加の比較用リストを必要とせずに捉えることを可能にします。これは、AIが自らの限界をより認識し、予期せぬ事態を察知する能力を高めるための、一歩となるものです。

技術要約：確率回路に起因する擬似距離を用いた分布外（OOD）検出

問題提起

分布外（OOD）検出の目的は、デプロイメント時に遭遇するデータが、学習済みモデルによって表現されている分布と一致しているかどうかを判断することである。教師なし学習の設定では、生成モデルはイン分布（ID）を明示的にモデル化するため、自然な選択肢となる。しかし、既存のアプローチには以下のような重大な限界がある：

尤度のパラドックス（The Likelihood Paradox）： 深層生成モデル（VAEや正規化フローなど）によるスカラー値の尤度は、OODサンプルに対してIDデータよりも高いスコアを割り当ててしまうことがある。
情報の損失： 現在の確率回路（PC）ベースの手法は、多くの場合、回路全体の階層構造をルートにおける単一のスカラー尤度に集約してしまい、内部ノードにエンコードされた豊かな確率情報を破棄してしまう。
データ依存性： 分布比較手法（最大平均偏差など）やキャリブレーション技術の多くは、保持されたID参照サンプルやキャリブレーションセットを必要とするが、学習済みモデルがIDの唯一の表現である厳格なデプロイメント環境では、これらは利用できない。

中心となる問いは、「学習済みPCにエンコードされた階層的な確率情報を用いることで、保持されたIDデータに依存することなく、統計的に校正された分布レベルのOOD検出器を構築できるか？」というものである。

手法

提案されるフレームワークは、**階層的尤度ベクトル（HLV）と階層的尤度距離（HLD）**という2つの核となる概念を導入する。

1. 階層的尤度ベクトル (HLV)

観測値 $x$ をPCのルートのみで評価するのではなく、選択されたノード集合 $\mathcal{N} = \{n_1, \dots, n_m\}$ において評価を行う。

定義： 滑らかで分解可能なPCにおいて、HLVは $L_C(x) = (\ell_{n_1}(x), \dots, \ell_{n_m}(x))$ と定義される。ここで $\ell_n(x)$ は、ノード $n$ のスコープに制限された観測値の尤度である。
意義： このベクトルは、複数の変数スコープにわたる確率的要約を保持する。入力ノードは変数レベルの要約を提供し、和ノード（sum nodes）と積ノード（product nodes）は、より大きなスコープにわたる要約を提供する。ルートが含まれる場合、従来の尤度と共にこれらの階層的要約が保持される。

2. 階層的尤度距離 (HLD)

HLDは、学習された分布 $P$ とテスト分布 $Q$ の間の不一致を、それらの期待HLVを比較することによって測定する。

定義： $d_C(P, Q) = \|\mu_P - \mu_Q\|_2$ 。ここで $\mu_P = \mathbb{E}_{X \sim P}[L(X)]$ および $\mu_Q = \mathbb{E}_{X \sim Q}[L(X)]$ である。
理論的特性： 著者らは、HLDがPCから直接誘導される関数クラス $\mathcal{F}_C$ 上の**積分確率計量（IPM）**であることを証明している。具体的には、 $\mathcal{F}_C$ はノードの尤度関数の線形結合から構成される。関数クラスが暗黙的に学習される一般的なIPMとは異なり、 $\mathcal{F}_C$ 内のすべての関数は、回路構造から派生した直接的な確率的解釈を持つ。

3. 適合度検定と解析的閾値

本手法は、OOD検出を適合度仮説検定（ $H_0: P = Q$ 対 $H_1: P \neq Q$ ）として定式化する。

検定統計量： サイズ $T$ のテストバッチ $D_Q$ が与えられたとき、検定統計量は $\hat{d}_C(P, Q) = \|\mu_P - \hat{\mu}_Q\|_2$ である。ここで $\hat{\mu}_Q$ はバッチ内のHLVの経験平均である。
厳密な計算： 主要な革新は、構造的分解可能（structured-decomposable）なPCに対して、母平均 $\mu_P$ とHLVの共分散行列 $\Sigma_P$ が、学習済み回路のみから厳密かつ扱いやすく計算できることである。これは、構造的分解可能PCの「スコープの三分法（Scope Trichotomy）」の性質を利用しており、これにより、任意の2つのノードのスコープは、互いに素であるか、同一であるか、あるいは入れ子状の関係にあることが保証される。これにより、ID参照サンプルを必要とせずに、厳密な周辺化および積演算が可能となる。
決定閾値： 帰無仮説の下で、検定統計量はスケーリングされた一般化カイ二乗分布に従う。著者らは、 $\text{tr}(\Sigma_P)$ および $\text{tr}(\Sigma_P^2)$ から直接計算されるこの分布の第1・第2モーメントを一致させることにより、近似的な閉形式の閾値 $\tau_\alpha$ を導出している。これにより、保持されたIDデータを用いずにキャリブレーションを行うことが可能となる。

主な貢献

HLVとHLD： 階層的な確率的要約を捉える表現と、それに対応する擬似距離（HLD）の導入。
IPMによる特性付け： HLDがPCから誘導される積分確率計量（IPM）であることを証明し、検出器を確立された統計理論に根付かせた。
厳密かつ扱いやすい計算： 構造的分解可能PCにおいて、HLVの必要な母統計量（平均および共分散）がモデルパラメータから厳密に計算できることを示した。これにより、保持されたIDデータなしでの解析的な決定閾値の算出が可能となる。
実証的検証： 表形式データセット（Adult, Covertype, Sensorless, Census-KDD, Connect-4）および二値化されたMNISTを用いた評価により、ルート尤度、不確実性ベース（TDI）、典型性ベース、およびカーネルベース（MMD）のベースラインに対する性能向上を示した。

実験結果

本フレームワークは、あるクラスをIDとし、他のクラスをOODとするクラス単位のOODプロトコルを用いて評価された。

検出力： HLDは、特に小規模から中規模のバッチサイズ（ $T=10$ から $T=100$ ）において、ベースラインよりも一貫して高い検出力を達成した。例えば、表形式データセットにおいて $T=100$ のとき、ルート尤度が0.542、Typicalityが0.608であったのに対し、HLDは0.987の検出率に達した。
モデル誤設定への堅牢性： 実際の保持されたIDデータ（モデルが真の分布に完全に適合していない可能性がある場合）に対してテストした際、HLDは、バッチサイズが増加するにつれて、他の手法と比較して偽陽性率（FPR）の上昇が著しく緩やかであった。 $T=1000$ の表形式データにおいて、HLDのFPRは0.178であったのに対し、MMDは0.807、ルート尤度は0.446であった。
局在化（Localization）： 検定統計量のノードごとの分解により、分布シフトの局在化が可能である。ノードを不一致への寄与度に基づいてランク付けすることで、シフトの原因となっている特定の変数スコープ（例：MNISTにおける特定の画像領域）を特定できる。
アブレーション研究： リーフノード（葉ノード）と和ノードを組み合わせたHLVが、最も堅牢な性能を示した。積ノードの追加は、検出力を一貫して向上させることはなく、時には性能を低下させた。

意義と主張

本論文は、階層的な確率構造を利用することが、スカラー値スコア手法に対して原理的な優位性を持つことを主張している。PCを単なる尤度計算器としてではなく、豊かな解釈可能な特徴空間（HLV）の生成器として扱うことで、以下の特性を持つ分布レベルの検出器を構築している：

自己校正型（Self-Calibrating）： 閾値設定のために保持されたIDデータを必要とせず、代わりに学習済みPCの厳密な構造的特性に依存する。
解釈可能（Interpretable）： 回路内の特定のノード（変数スコープ）に対して、分布シフトの源を局在化できる。
堅牢（Robust）： モデルの誤設定下においても、既存のベースラインと比較して優れたキャリブレーションと検出力を維持する。

著者らは以下の限界も認めている：統計的キャリブレーションは、学習されたPCが表現する分布に対して相対的なものである（つまり、モデルの適合性が低いとFPRが高くなる）。また、閉形式の閾値はガウス近似に依存しており、共分散のスペクトルが少数の固有値によって支配されている場合には精度が低下する可能性がある。今後の課題には、連続確率変数へのフレームワークの拡張が含まれる。