技術的サマリー：観測可能ワッサーシュタイン距離

問題提起

本論文で扱われる主な課題は、大規模な非ユークリッドデータセット上の確率測度間の正確なワッサーシュタイン距離を計算することの計算的非実行可能性である。最適輸送（OT）理論は分布を比較するための厳密な枠組みを提供するが、正確な計算は通常、データポイントの数に対して立方または二次的にスケーリングするため、大規模データセットには実用的ではない。

既存の近似手法、例えばスライスワッサーシュタイン距離は、測度を一次元部分空間に射影することで計算効率を提供する。しかし、これらの手法は内積やノルムを用いて射影方向を定義するために、ユークリッド空間（$\mathbb{R}^d$）の線形構造に依存している。3D 形状、グラフ、タンパク質構造、関数表面など、関心のある多くのデータセットは、線形性や内積が存在しない一般的な距離空間に存在する。その結果、標準的なスライスワッサーシュタインアプローチは直接適用できず、一般的なポーランド距離空間におけるワッサーシュタイン距離の下限を提供する計算的に実行可能な代替手段が必要とされている。

手法

観測可能ワッサーシュタイン枠組み

著者らは、任意の距離空間 $(X, d)$ に対するスライシング概念を一般化する観測可能ワッサーシュタイン距離という枠組みを導入する。線形部分空間への射影の代わりに、この手法は距離観測可能を用いて確率測度を実数直線上に射影する。

1. 距離観測可能: 観測可能は、$|f(x) - f(y)| \leq d(x, y)$ を満たす 1-リプシッツ関数 $f: X \to \mathbb{R}$ として定義される。そのような関数全体の集合を $\Lambda(X)$ と表記する。
2. プッシュフォワード測度: 測度 $\mu \in \mathcal{P}(X)$ と観測可能 $f$ に対して、プッシュフォワード測度 $f_\sharp \mu$ は $\mathbb{R}$ 上で定義される。
3. 距離の定義: 観測可能ワッサーシュタイン $p$-距離 $\theta_p(\mu, \nu)$ は、すべての可能な観測可能にわたるプッシュフォワード測度間のワッサーシュタイン距離の上限として定義される：
   $$\theta_p(\mu, \nu) := \sup_{f \in \Lambda(X)} w_p(f_\sharp \mu, f_\sharp \nu)$$
   観測可能が 1-リプシッツであるため、$\theta_p(\mu, \nu) \leq w_p(\mu, \nu)$ が成り立ち、これが下限を確立する。

階層的近似と識別可能性

無限次元空間 $\Lambda(X)$ 上の最適化の計算コストを管理するために、著者らは部分空間の階層 $\Lambda_n(X) \subseteq \Lambda(X)$ を構築する。

• 基本観測可能: 構築は点までの距離関数 $f_a(x) = d(x, a)$ から始まる。
• ウェッジ積: これらの基本関数の重み付きウェッジ積（最小値）を通じて、高次観測可能が形成される：$f_{\mathbf{a}}^\alpha = \alpha_0 f_{a_0} \wedge \dots \wedge \alpha_n f_{a_n}$。
• 階層: $\Lambda_n(X)$ は、高々 $n+1$ 個の基本関数によるウェッジ積で形成される観測可能からなる。これにより、擬距離の系列 $\theta_{p,n}(\mu, \nu)$ が誘導される。

理論的貢献：層状単射性

中心的な理論的結果は、クラメール・ウールドの装置に対する距離空間のアナロジーである。本論文は、$\Lambda_n(X)$ 内の観測可能を介したプッシュフォワード測度の集合が、そのサポートの距離被覆次元が $\leq n$ である場合、確率測度 $\mu$ を一意に特徴づけることを確立している。

• 距離被覆次元（$\xi_X$）: 開被覆を開球に細分することによって定義される次元の概念。
• 層状単射性定理: $\mu$ のサポートの距離被覆次元が $\leq n$ である場合、$\mu$ はすべての $f \in \Lambda_n(X)$ に対する射影 $f_\sharp \mu$ によって一意に決定される。
• 含意: 有限集合、グラフ、または低次元多様体など、低距離被覆次元を持つ空間でサポートされる測度に対して、観測可能空間を $\Lambda_n(X)$ に制限することは、真のワッサーシュタイン距離によって厳密に下方有界となる真の距離（擬距離ではない）をもたらす。

離散的計算モデル

実用的な実装のために、著者らは距離空間を有限の $\delta$-被覆（グリッド）で近似する離散モデルを提案する。観測可能は、この有限集合内の点にアンカーされたものに限られる。理論的 bound が提供され、グリッド解像度が増加するにつれて離散観測可能距離が連続バージョンに収束し、誤差がグリッド間隔 $\delta$ に比例することが示されている。

主要な結果

理論的知見

• 距離性: $\theta_p$ はすべての確率測度の空間上の距離である。制限されたバージョン $\theta_{p,n}$ は、サポート次元が $\leq n$ である測度の部分空間上の距離である。
• $p=1$ における同等性: $p=1$ の場合、観測可能ワッサーシュタイン距離は標準的なワッサーシュタイン距離と正確に等しくなる（$\theta_1 = w_1$）。これはカントロビッチ・ルビンステイン双対性から導かれる結果である。
• 単調性: 階層は $n \leq m$ に対して $\theta_{p,n} \leq \theta_{p,m} \leq \theta_p \leq w_p$ を満たし、計算効率と境界の鋭さの間の調整可能なトレードオフを提供する。

数値実験

本論文は、観測可能ワッサーシュタイン（OW）距離をスライスワッサーシュタイン（SW）、標準ワッサーシュタイン、チャメア距離と比較するいくつかの概念実証実験を提示する：

1. ガウス分類: 高次元ユークリッド空間において、OW と SW はガウスクラスを区別する点で同様に機能する。しかし、OW は次元が増加するにつれて相対的な性能上の利点を示し、これは SW における 1 次元射影に影響を与える測度の集中現象による可能性がある。
2. グラフ分布: 非ユークリッドグラフ空間において、OW は計算スケーラビリティを維持しながら分類タスクにおいて標準ワッサーシュタイン距離を大幅に上回る。OW は、古典的なワッサーシュタインが欠くノイズに対する頑健性を示す。
3. 球面分布: 球面上の実験は、観測可能/関数の数と計算コストの間のトレードオフを示す。観測可能の複雑さ（より高い $n$）を増加させることは相対誤差を減少させるが、組み合わせコストを伴う。
4. 点群分類（ModelNet10）: 現実世界の 3D オブジェクトデータにおいて、OW 距離はスケーラブルな距離の中で最高の分類スコアを達成し、特にノイズの多い領域において、SW およびチャメア距離を上回る。
5. 深層学習への応用: 著者らは OW を点群オートエンコーダの損失関数に統合した。OW（特に微分可能性のための $L_2$ スタイルのバリアント）を使用することは、チャメア距離がより鮮明だが不均一に密度の高い出力を生成するのに対し、より高い潜在空間の分類精度と再構成におけるより均一な点密度をもたらした。

意義と主張

本論文は、スライスワッサーシュタインのようなユークリッド固有の手法の限界を回避し、一般的な距離空間におけるワッサーシュタイン距離の下限を導出するための計算的に実行可能な枠組みを提供すると主張している。

• 理論的新規性: この研究は、測度のサポートの距離被覆次元と、一意な復元に必要な観測可能の次数の間に厳密なリンクを確立する。これは非ユークリッド OT における識別可能性を理解するための基本的な理論的ツールとして機能する。
• 実用性: この枠組みは、実務家が計算コストと距離境界の鋭さのバランスを取るために観測可能の次数（$n$）を調整できる「調整可能」なアプローチを提供する。
• スケーラビリティ: 離散モデルは大規模データセットでの効率的な実装を可能にし、射影/アンカーの数に対する線形スケーリングを示唆する実証的証拠により、正確な OT が実行不可能な大規模データセットに適している。
• 頑健性: 実験は、OW 距離が古典的なワッサーシュタイン距離と比較してノイズに対して優れた頑健性を示す可能性を示唆しており、現実世界のデータアプリケーションに適している。

著者らは、この研究を基礎的なステップとして位置づけ、現在の数値実験は概念実証であるが、この枠組みがサンプリング収束、$p \neq 1$ に対する双リプシッツ同値性、および深層学習パイプラインにおける学習可能な観測可能の統合に関する将来の研究への道を開くと指摘している。