技術要約：データの情報推定幾何学からの距離尺度の学習

問題提起

距離関数はデータの整理や解釈において基本的であるが、人間の知覚と一致するような自然な信号（例：画像）のための意味のある距離尺度を導出することは、依然として大きな課題である。既存のアプローチの多くは、人間によるラベル付けされたデータベースを用いた教師あり学習に依存しているが、これらはアノテーションのコストが高く、ノイズが多く、数学的な解釈が困難である。対照的に、情報理論（例：相互情報量）に基づく純粋な教師なし手法は、データ分布の幾何学的構造に対して無頓着であることが多い。本研究が取り組む核心的な問題は、人間のラベルに頼ることなく、信号ドメイン上の連続確率密度 $p_x$ の背後にある幾何学のみから、いかにしてグローバルな距離関数とローカルなリーマン計量を導出するかである。

手法：情報推定計量 (Information-Estimation Metric: IEM)

著者らは、情報理論と推定理論の関係から導出された距離関数である情報推定計量 (IEM) を導入する。この手法は、ぼかされた信号のスコア関数（対数密度の勾配）と最適なデノイザーの誤差を結びつけるトウィーディー・宮沢公式 (Tweedie–Miyasawa formula) に基づいている。

理論的構成

1. 観測チャネル: 著者らは、ガウス型観測チャネル $y_\gamma = \gamma x + w_\gamma$ を定義する。ここで $w_\gamma$ は加法的ガウスノイズである。信号対雑音比 (SNR) $\gamma$ が増加するにつれ、分布 $p_{y_\gamma}$ は元の密度 $p_x$ へと「ズームイン」していく。
2. 点別 I-MMSE: I-MMSE の関係性を基に、信号の対数確率は、あらゆる SNR レベルにおけるデノイジング誤差（または同等のスコアベクトル）の積分へと分解される。
3. 計量の定義: $x_1$ と $x_2$ の間の IEM は、対数確率比プロセスの二次変分（quadratic variation）の期待平方根として定義される。具体的には、SNR レンジ $[0, \Gamma]$ における、ぼかされた密度のスコアベクトル場の周囲における $x_1$ と $x_2$ の間の積分平均二乗誤差 (MSE) である：
   $$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$$
4. 一般化: 著者らは、対数確率比プロセスの計算前にスカラー関数 $f$ を適用することで、分布の異なる側面への重み付けに柔軟性を持たせた一般化 IEM ($\text{IEM}_f$) を提案している。

ローカル幾何学

本論文では、二次の近似を用いて、リーマン計量 $G(x, \Gamma)$ を導出している。このローカル計量は以下の性質を持つことが示されている：

• 対数密度の局所的な曲率（期待二乗ヘッセ行列）に比例する。
• ノイズを含む観測を与えられた信号の事後共分散に関連している。
• 高密度の対数密度曲率、および信号の確率を大きく変化させる摂動に対して最も敏感である。

実装

実用的な IEM の計算のために、著者らは ImageNet データセット上で訓練されたニューラルデノイザー（具体的には Hourglass Diffusion Transformer）を使用する。このデノイザーは MMSE 推定器 $E[x|y_\gamma]$ を近似しており、これはトウィーディー・宮沢公式を介してスコア関数と等価である。距離は、ノイズレベルにわたるデノイザーの出力（または派生したスコア）の二乗差を数値積分することによって計算される。

主な貢献

1. 新規な計量の定義: 確率密度から純粋に導出された有効なグローバル距離尺度であり、対称性、非負性、識別不能の同一性、および三角不等式を満たすことが証明された IEM の導入。
2. 理論的統一: 本論文は、ガウス分布の場合、IEM がマハラノビス距離と一致することを証明している。非ガウス分布の場合、それは局所的に適応し、グローバルにデータのサポートに適応する、局所適応型のマハラノビス距離として振る舞う。
3. 教師なし学習: 本フレームワークは、デノイザーを訓練することで、ラベルなしデータから知覚的な距離尺度を学習することを可能にし、計量の定義段階における高価な人間による知覚ラベルの必要性を排除する。
4. 一般化されたフレームワーク: $\text{IEM}_f$ の提案により、事前訓練されたデノイザーの上に関数 $f$ を学習させることで、異なる種類の人間データに適応させることが可能となる。

実験結果

著者らは、標準的なフルリファレンス画像品質評価ベンチマーク（TID2013, LIVE, CSIQ）およびテクスチャ特化型データセット（TQD）を用いて IEM を評価した。

• 自然画像に対する性能: 教師なし IEM（$\Gamma=1/4$ を使用）は、人間によるラベルなしで訓練されているにもかかわらず、TID2013、LIVE、CSIQ において、最先端の教師あり指標（LPIPS, DISTS, PieAPP など）に匹敵するスピアマンの順位相関係数 (SRCC) を達成した。
• テクスチャへの感度: 二乗関数 $f$ を用いたバリアント $\text{IEM}_{sq}$ は、多くの標準的な指標が苦戦する領域である TQD テクスチャデータセットにおいて、他の多くの手法を上回った。
• 統一された性能: 事前訓練されたデノイザーの上に関数 $f$ のみを学習させた教師ありバリアント $\text{IEM}_{f_\omega}$ は、すべてのデータセットに対して同時に強力な性能を発揮し、フレームワークの柔軟性を実証した。
• 最大差別化競争: 固定された PSNR 制約下で知覚的距離を最小化する実験において、IEM を最小化すると幾何学的構造が保持され、知覚的に自然に見える画像が生成されたが、他の指標（DISTS など）を最小化すると不自然なアーティファクトが生じた。また、IEM を最大化すると、構造のないノイズが最も知覚的に有害な歪みとして正しく特定された。

意義と主張

本論文は、IEM がデータの統計的幾何学から、原理に基づいた数学的に裏付けられたアプローチで知覚的距離を導出するものであると主張している。その意義は以下の点にある：

• 解釈可能性: ブラックボックス的な教師あり指標とは異なり、IEM は確率、情報、および推定の根本的な関係から導出されており、知覚的判断に対する明確な数学的説明を提供する。
• データ効率: 高品質な知覚的指標がラベルなしデータから学習可能であることを示し、高価でノイズの多い人間によるアノテーションへの依存を軽減する。
• 堅牢性: 自然画像とテクスチャの両方に適応する能力、および逆問題（最適化タスク）における性能は、IEM が既存のユークリッド的または教師ありの代替手法よりも効果的に「データのサポート」を捉えていることを示唆している。

著者らは、標準的なフィードフォワード指標と比較した際の数値積分の計算コストや、ハイパーパラメータ $\Gamma$ および関数 $f$ を選択するための体系的な原理の必要性といった限界を認めている。彼らは、これらの原理を他の信号タイプ（音声など）に適用したり、教師なしクラスタリングや生成モデルの評価に使用したりする今後の展望を示唆している。