技術的サマリー：超球面信頼度マッピングによる不確実性推定

1. 問題定義

ニューラルネットワークの予測における不確実性の定量化は、自動運転、医療、半導体製造などの高リスク分野における AI の展開において極めて重要である。既存の不確実性推定手法は重大なトレードオフに直面している：

• サンプリングベース手法（例：モンテカルロドロップアウト、ディープアンサンブル）は効果的であるが、計算およびメモリオーバーヘッドが甚大であり、リアルタイム適用性を制限する。
• 分布ベース手法（例：ガウス回帰、エビデンス学習）は決定論的推論を提供するが、ガウス分布やディリクレ分布などの事前分布といった強いパラメトリック仮定に依存しており、複雑なまたは多峰性の不確実性を捉えられない可能性がある。
• 区間ベースおよび類似度ベース手法は、しばしば複数の分位点出力や慎重な目的関数の設計を必要とするか、回帰タスクに自然に拡張できないクラス原型に依存している。

本論文は、回帰および分類タスクの両方に適用可能で、サンプリング不要、分布不要、計算効率的、かつ解釈可能なフレームワークの必要性を指摘している。

2. 手法：超球面信頼度マッピング（HCM）

提案されるフレームワークである**超球面信頼度マッピング（HCM）**は、モデル出力をスカラー大きさ $R$ と単位ノルム方向ベクトル $d$ の 2 つの幾何学的成分に分解することで、予測問題を再構成する。

2.1 幾何学的定式化

目標値 $y \in \mathbb{R}^D$ に対して、HCM は予測を $y = Rd$と再定式化する。ここで、$R \in \mathbb{R}^+$であり、$|d|_2 = 1$なる$d \in \mathbb{R}^D$である。モデルは$\hat{R}$と$\hat{d}$を予測するように訓練され、最終出力を$\hat{y} = \hat{R}\hat{d}$ として再構成する。

• スカラー回帰の処理: スカラー目標値（$D=1$）の場合、核心となる定式化を変更することなく大きさ - 方向分解を可能にするため、目標値を複製によって 2 次元空間に埋め込む（$y_{exp} = (y, y)$）。
• 制約: 方向ベクトル $\hat{d}$ は単位超球面上に存在するように制約される（$\|\hat{d}\|_2 = 1$）。

2.2 不確実性を制約違反として解釈

分散やサンプリングを通じて不確実性をモデル化する従来の手法とは異なり、HCM は不確実性を幾何学的制約の違反の度合いとして解釈する。

• 不確実性スコア: 不確実性 $u(x)$ は以下のように定義される：
  $$u(x) := \hat{R}(x) \left| \|\hat{d}(x)\|_2 - 1 \right|$$
• 解釈: モデルが確信している場合、$\hat{d}$ は単位超球面に近接して存在する。モデルが不確実な場合（例：ノイズや分布外入力による場合）、$\hat{d}$ は単位ノルムから逸脱する。この逸脱は予測された大きさによってスケーリングされ、決定論的な不確実性スコアとして機能する。

2.3 訓練目的関数

総損失関数 $L_{total}$ は 3 つの項から構成される：

1. 方向損失: $\phi_d(R \|e_d\|_2)$、方向ベクトルを監督する。
2. 大きさ損失: $\phi_R(e_R)$、大きさを監督する。
3. ノルム正則化: $\lambda_{norm} \phi_{norm}(\left| \|\hat{d}\|_2 - 1 \right|)$、単位ノルム制約をソフトに強制する。

この定式化により、損失は方向、大きさ、ノルムの統一的な処理を維持しつつ、その曲率を適応させることができる（例：Huber または smooth-$\ell_1$ の使用）。

2.4 理論的基盤

本論文は、不確実性スコアと予測誤差との間の理論的関連性を確立している：

• 誤差の下限: 命題 1 は、予測誤差 $\|e_y\|_2$ が $u(x)$ によって下方から抑えられることを証明している（具体的には $\|e_y\|_2 \geq u(x)(1-\epsilon)$）。したがって、高い不確実性スコアは数学的に大きな予測誤差を保証する。
• ノイズ追跡: 命題 2 は、導出された量 $\hat{\sigma}(x)$ が加法性ガウスノイズ下で真のノイズレベル $\sigma^2$ を追跡することを示しており、アレイトリックな変動性の決定論的測定値を提供する。

3. 主要な貢献

1. 新規フレームワーク: 回帰および分類の両方に適用可能な、サンプリング不要かつ分布不要な不確実性推定手法である HCM の導入。
2. 理論的裏付け: 制約違反が予測誤差の証明可能な下限として機能する制約付き最適化問題として予測を再定式化。
3. 実証的検証: 較正および分布外（OOD）検出においてアンサンブルやエビデンスアプローチと同等かそれ以上の性能を示し、かつ推論コストが大幅に低いことを示す広範なベンチマーク。
4. 産業応用: 異常検出における実世界の半導体製造タスクにおける HCM の有効性の実証。

4. 実験結果

4.1 分類および OOD 検出（CIFAR-10）

• 性能: HCM（特に MixUp 増強を使用した"HCM mix"バリアント）は、OOD 検出において平均 AUROC 89.44% を達成し、KNN（90.97%）および NCI（90.36%）と競合する性能を示した。
• 効率性: 複数のフォワードパスを必要とするサンプリングベース手法（アンサンブル、MC ドロップアウト）とは異なり、HCM は単一のフォワードパスで動作する。比較対象のすべての手法の中で最も低い計算遅延を達成しつつ、競合する精度を維持した。
• MixUp の相乗効果: 本論文は、MixUp が HCM の性能を大幅に向上させることを指摘している。これは、補間されたサンプルが単位球面上のクラスアンカー間の方向に自然に対応し、モデルがより忠実に不確実性を表現することを可能にするためである。この利点は他のベースラインでは観察されなかった。

4.2 回帰および較正（NYU-v2 深度推定）

• 較正: HCM は、予測された不確実性と実現された誤差との間で最も強い整合性を示し、ピアソン相関（0.4919）およびスピアマン相関（0.5425）で最高値を記録した。
• トレードオフ: HCM は優れた較正と誤差の整合性を示したが、Deep Ensembles などの分散ベースのベースラインと比較して、RMSE がわずかに高く、カバレッジ指標（cov@1$\sigma$、cov@2$\sigma$）が低かった。著者らはこれを、大きさ - 方向分解に固有の再構成誤差に起因すると帰着している。
• 定性的挙動: HCM は、ノイズの多い領域や訓練ドメインの外側で幅広くなる滑らかな信頼バンドを生成し、アレイトリックおよびエピステミックの両方の不確実性を効果的に捉えた。

4.3 産業用高次元回帰

• タスク: 分光エリプソメトリーデータからの 3D ウエハ穴幾何形状の予測。
• 結果: HCM は、不確実性スコアと実際の誤差との間で最も強いピアソン相関（0.8435）およびスピアマン相関（0.7579）を達成した。
• 実用性: HCM は、信頼性の低い予測を真値にアクセスすることなくフィルタリングすることを可能にするために、低信頼度スコアを割り当てることで高誤差サンプルを正常に識別した。この能力は、安全性が重要な産業展開において極めて重要である。

5. 意義と主張

本論文は、HCM を従来の不確実性推定技術に対する多用途な代替案として位置づけている。その主な意義は以下の点にある：

• 幾何学的解釈可能性: 不確実性を幾何学的制約の違反に基づいて根拠づけることで、確率的事前分布に依存することなく、決定論的かつ解釈可能なスコアを提供する。
• 効率性: サンプリングの計算負担を排除し、リアルタイムおよびリソース制約のある環境に適している。
• タスク非依存性: 単一の幾何学的フレームワークの下で回帰と分類の処理を統合する。

著者らは限界を認め、不確実性スコアは訓練ダイナミクス（特にノルム制約重み $\lambda$ と学習率のバランス）に依存し、またこの手法は現在出力レベルで動作するため、凍結された大規模言語モデルに直接適用可能ではなく、微調整を必要とすることを指摘している。さらに、この手法は目標値を大きさと方向に分解できることを前提としており、本質的に多値出力を持つタスクには制限を課す可能性がある。

これらの限界にもかかわらず、著者らは HCM が不確実性推定における幾何学的構造の力を浮き彫りにし、学術的ベンチマークおよび産業応用の両方において信頼性の高い AI のためのスケーラブルかつ信頼性の高いアプローチを提供すると結論付けている。