Learning sufficient low-dimensional structures through conditional optimal transport

技術要約：条件付き最適輸送を通じた十分低次元構造の学習

問題提起
十分次元削減（Sufficient Dimension Reduction, SDR）は、共変量 $X$ の低次元表現を見出すことを目的としており、そこでは $Y \perp\!\!\!\perp X \mid R(X)$ という条件を満たし、条件付き分布の全体を保持するような $X$ の低次元表現を求める。古典的な線形SDR手法は、条件付き平均や逆回帰モーメントといった間接的なターゲットに依存することが多いが、これらはヘテロスケダスティシティ（不等分散性）、裾の挙動、あるいは多峰性に含まれる情報を見落とす可能性がある。GenSDRやFlowSDRといった近年の生成的アプローチは条件付き分布を直接モデル化しているが、それらはユークリッド空間に限定されていたり、特定の構造的特性を仮定していたりすることが多い。本論文は、共変量と応答の両方が分離可能なヒルベルト空間に存在し得る一般的な設定において、条件付き最適輸送（Conditional Optimal Transport, COT）を、条件付き応答分布の変動を記述するための幾何学的フレームワークとして利用することで、十分な削減を実現するという課題に取り組む。

手法
提案されるフレームワークである SDR-COT は、条件付き独立構造を特徴付けるために、最適輸送の幾何学的性質を活用する。

1. 条件付き最適輸送（COT）の定式化:
   本手法は、独立な参照応答 $Y_0 \sim \rho$ から、共変量 $X$ が与えられたときの観測された応答 $Y_1$ への遷移をモデル化する。これは、共変量の座標を保持しつつ、積測度 $\mu_0 = \eta \otimes \rho$ を結合分布 $\mu_1 = P(X, Y_1)$ へ押し出す三角型輸送写像 $T^\star(x, y) = (x, T^\star_Y(x, y))$ として定式化される。

2. 動的COTと速度場:
   著者らは、ベナム・ブレニエ（Benamou–Brenier）の動的定式化を利用している。彼らは、二次コストおよび積ソースの設定下において、モンジュ補間（Monge interpolation）が、終端写像の全域的な単射性を仮定することなく、任意の切断された時間区間 $[0, 1-\tau]$ 上でボレル現在の状態速度表現を持つことを確立した。この速度場 $v^\star_t$ は、ソース分布とターゲット分布の間の変位補間を駆動する。

3. 分解定理:
   核となる理論的結果は、もし十分な表現 $R(X)$ が存在するならば（すなわち、$Y_1 \perp\!\!\!\dots X \mid R(X)$）、静的な最適輸送写像 $T^\star_Y$ と動的な速度場 $v^\star_t$ の両方が $R$ を通じて分解されることを示している。具体的には：
   $$T^\star_Y(x, y) = G^\star_Y(R(x), y)$$
   $$v^\star_t(x, y) = (0, u^\star_Y(t, R(x), y))$$
   これは、輸送メカニズムの共変量への依存性が、すべて十分な削減量によって媒介されていることを意味する。

4. フローマッチングによる推定:
   分解の性質に着想を得て、著者らは 条件付きフローマッチング（Conditional Flow Matching, CFM） 基準を提案する。全条件付き写像を推定する代わりに、アルゴリズムは、縮退された共変量によってパラメータ化された削減写像 $R_\theta$ と速度ネットワーク $u_\phi$ を学習する。目的関数は、真の変位と予測された速度の二乗誤差を最小化する：
   $$L(\theta_u, \theta_R) = \int_0^{T_\tau} \mathbb{E} \left[ \| V - u_{\theta_u}^Y(t, R_{\theta_R}(X), Y_t) \|^2 \right] dt$$
   ここで $V = Y_1 - Y_0$ であり、$Y_t$ は線形補間である。観測されない最適結合を扱うために、手法は共変量の不一致に重いペナルティを与える異方性コスト関数を用いた緩和された経験的結合を採用している。

主要な貢献

1. 全域的単射性を必要としない動的COTの最適性:
   本論文は、二次コストを用いた分離可能ヒルベルト空間における動的COTのベナム・ブレニエ型の最適性に関する証明を行う。これまでの研究では、速度を定義するために三角型モンジュ写像の全域的な単射性を仮定していたが、本研究では、循環単調性を用いることで、切断された区間 $[0, 1-\tau]$ 上のボレル現在の状態速度の存在を確立し、事前の単射性の仮定を取り除いた。

2. SDR-COT 分解定理:
   著者らは、緩やかな正則性条件下において、応答成分の最適三角型COT写像および誘導された速度場が、いかなる十分な表現にも分解されることを証明した。この構造的結果は、SDRの条件付き独立性の仮定を、最適輸送の幾何学的特性へと正式に結びつけるものである。

3. 統一された推定フレームワーク:
   論文は、母集団レベルのフローマッチング基準を開発し、ユークリッド設定および関数データの両方のためのアルゴリズムを提供する。

• ユークリッド: 削減および速度のための標準的なニューラルネットワークを使用する。
• 関数的: 基底投影による関数的共変量と、ニューラルオペレータ（特にフーリエニューラルオペレータ）による関数的応答を扱う。
• 緩和された結合: 観測された条件付き輸送写像をデータから近似するために、緩和された経験的結合戦略を導入する。

4. 線形SDRに対する統計的一致性:
   論文は、ユークリッドおよびヒルベルト設定の両方において、線形SDRの一致性を確立している：

• ユークリッド: カファレリの縮小定理を用いて速度のリプシッツ定数を抑えることで、ゼロ損失条件を通じて中心部分空間を識別できることを証明した。
• ヒルベルト（関数的）: カメロン・マーチン値のソボレフ速度とガウス連続方程式の一意性を活用することで、周囲のリプシッツ連続性を仮定せずに一致性を確立した。

結果

• 理論: 分解定理は、条件付き独立構造が最適輸送写像および速度場に継承されることを確認している。一致性定理は、正しい仕様化と正則性が備わっている場合、推定された線形削減が投影距離において真の中心部分空間に収束することを保証する。
• 実証: 非線形ユークリッドデータ、線形ユークリッドデータ、関数的共変量、および関数対関数の合成データを用いた数値研究により、SDR-COTが確立されたベンチマークに対して競争力があることが示された。特筆すべきは、古典的なモーメントベースの手法が失敗する可能性のある、条件付き平均を超えた分布的特徴（分散や形状など）に十分な情報が含まれている場合に、本手法が高い性能を示す点である。
• 実データ: Capital Bikeshare demand（関数的データ）の分析において、SDR-COTは、多くの削減次元において、FPCAや弱条件付きモーメントに基づく競合手法よりも低いテスト誤差を達成した。

意義と主張
本論文は、条件付き平均ではなく条件付き分布を直接ターゲットとする、幾何学的に根拠のあるSDRへのアプローチを提供すると主張している。条件付き最適輸送を利用することで、本手法は、逆回帰や条件付き平均ベースの手法が見落としがちな複雑な分布依存性（ヘテロスケダスティシティや多峰性）を自然に捉えることができる。

著者らは、一般的な非線形ケースについては慎重な姿勢を示している。母集団基準は「網羅的」であるが（中心となる $\sigma$-加法族を含む任意の表現が最適値を達成する）、基準自体は追加の制約（出力次元の固定など）なしには、最小の表現を選択することを保証しない。したがって、厳密な一致性の結果は、固定された構造的次元を持つ線形設定に明示的に限定されている。本研究は、最適輸送理論と十分次元削減の間の溝を埋め、無限次元の関数的データにまで拡張可能な、スケーラブルでシミュレーションフリーな推定手順を提供している。