Supervised Distributional Reduction via Optimal Transport and Dependence Maximization

本論文は、最適輸送と明示的な依存性最大化を統合し、内在的なデータ幾何学と予測信号を同時に保持するとともに、ガウス過程モデリングなどの下流タスク向けに適応的・非定常カーネルの構築を可能にする、コンパクトでターゲットを考慮した表現を学習する新規アルゴリズムである「教師付き分布削減（SDR）」を提案する。

要約

巨大で散らかった図書館を想像してください。そこには料理の本、宇宙の本、歴史の本など、さまざまな本が並んでいます。あなたの目標は、この図書館の本質を捉えた小さく管理しやすい「ハイライト・リール」を作成し、必要なものを素早く見つけられるようにすることです。

本論文は、データ要約の一般的な方法における特定の課題を解決する新しい手法、「教師付き分布削減（SDR）」を導入します。

課題：「盲目」の要約者

従来、コンピュータが巨大なデータセットを要約する際（このプロセスは「次元削減」または「クラスタリング」と呼ばれます）、それは「盲目の司書」のように振る舞います。彼らは本の実体的な形状——厚さ、重さ、または棚での近接性——だけを見て、外見が似た本をグループ化します。

しかし、この盲目的なアプローチには欠点があります。「パスタの作り方」に関する本と「物理学におけるパスタの形状」に関する本を、タイトルに「パスタ」という言葉が含まれているという理由だけで同じグループに分類してしまう可能性があるのです。レシピを探している人間であれば、これらを分離したいと願うでしょう。コンピュータはデータの「幾何学的構造（形状）」は保持しますが、私たちが重視する「意味（ラベルやターゲット）」は無視してしまいます。

解決策：SDR（「賢明」な要約者）

著者らは、裏表紙まで読んだ司書のように振る舞う「SDR」という手法を提案します。これは単に棚の本の配置を見るだけでなく、あなたが実際に探しているものを見つけるのに役立つよう、内容を積極的に確認します。

彼らは、2 つの強力なアイデアを組み合わせることでこれを実現しました。

1. 最適輸送（「移動トラック」）: 巨大な倉庫からすべての本を、いくつかの代表的な「棚」へ移動させると想像してください。最適輸送とは、本間の関係性が保たれるように、本を移動させる最も効率的な方法を計算する数学です。もし 2 冊の本が倉庫で隣り合っていたなら、新しい棚でも隣り合っているべきです。
2. 依存性の最大化（「関連性チェック」）: これが新しい「秘密の調味料」です。著者らは、本を効率的に移動させるだけでは不十分だと気づきました。新しい棚にある本が、あなたが問うている質問に対して実際に関連していることを確認する必要があります。彼らは、コンピュータが要約をあなたが重視する答え（ラベル）に直接整合させるよう強制する、特定の「関連性チェック」（CKA と呼ばれる指標を使用）を追加しました。

仕組み（「2 段階のダンス」）

このアルゴリズムは、完璧な要約を作成するために「2 段階のダンス」を行います。

• ステップ 1：幾何学的ステップ。データ点を自然な形状と構造を保つように配置するために、「移動トラック」の数学を使用します。
• ステップ 2：関連性ステップ。正しい答えへと配置を引っ張る「関連性チェック」を追加します。

本論文は、従来の手法がこのタスクを「移動トラック」に間接的に関連性を推測させることで行おうとしたと主張しています。著者らは、これでは弱すぎると発見しました。トラックは本の形状に気を取られ、内容を忘れがちになるからです。「関連性チェック」を直接追加することで、SDR は要約が構造的に堅固であると同時に、予測に対して極めて有用であることを保証します。

追加機能：新しいデータのための「魔法の地図」

通常、データセットを要約すると、元の図書館に含まれていなかった「新しい本」に対してその要約を容易に適用できません。最初からやり直す必要があるのです。

SDR は、「魔法の地図」（数学的な射影）を作成することでこれを解決します。一度要約が構築されれば、この地図によって、プロセス全体をやり直すことなく、新しい未見の本を即座に要約内の正しい場所に配置できます。

「ガウス過程」にとってなぜこれが重要なのか

本論文は、これが「ガウス過程（GP）」にどのように役立つかを特に強調しています。GP は、過去のデータに基づいて次に何が起こるかを推測する、非常に賢い予測器と考えることができます。

• 標準的な GP は「平面地図」のようです。世界のルールはどこでも同じであると仮定します（例：「重力は常に 9.8 m/s²である」）。
• SDR は「3 次元の地形図」の作成を可能にします。ルールは場所によって変化する可能性があることを認識します。データが料理に関するものであれば、キッチンと庭ではルールが異なります。

SDR を使用することで、GP はデータの局所的な形状と、あなたが持つ特定の目標の両方に適応する「賢い地図」を構築でき、複雑な状況における予測を大幅に改善します。

まとめ

要約すると、本論文はこう述べています。「データの見た目だけで要約するのではなく、その『意味』によって要約せよ」。彼らは、元の構造を保持しつつ、必要な答えに明示的に焦点を当てた、コンパクトで賢いデータ要約を作成する高度な数学を用いたツール（SDR）を構築し、それが予測を行うために従来の手法よりも優れていることを示しました。

技術概要

技術的サマリー：最適輸送と依存性最大化による教師あり分布削減

1. 問題定義

本論文は、内在的なデータ幾何学とタスク関連構造の両方を同時に捉えるデータ表現の学習という課題に取り組む。Distributional Reduction（DistR）は、最適輸送（OT）を通じて低次元の代表点の集合を学習することで、クラスタリングと次元削減を統合する原理的な枠組みを提供するが、既存の手法は主に教師なしである。この制限により、タスク関連情報を保持できない表現が生じたり、未知データへの汎化のための明確なメカニズムが欠如したりする結果、下流の予測タスクにおける効果が低下する。

著者らは、OT ベースの手法を教師あり設定へ拡張する際に、特定の「教師信号のボトルネック」を特定した。Fused Gromov-Wasserstein（FGW）のように、結合行列のみを介して教師信号を仲介するだけでは、表現の更新に対する勾配が弱くなり、構造制約によって教師信号が希釈されてしまう。

2. 手法

2.1 教師あり分布削減（SDR）

中核的な貢献は、最適輸送と明示的な依存性最大化を組み合わせることでターゲットを認識した表現を学習するアルゴリズムであるSDRである。

• 基本枠組み: SDR は、入力分布の相対的構造を代表点（プロトタイプ）の集合に整合させる**Fused Gromov-Wasserstein（FGW）**目的関数に基づいている。
• 教師信号のボトルネック: 著者らは、標準的な FGW 定式化において、教師付き項は結合行列 $T$ に依存するが、埋め込み $Z$ には直接依存しないことを示した。したがって、$T$ が固定されている場合、$Z$ に対する教師付き損失の勾配はゼロとなる。連成最適化においても、最適な結合 $T^*(Z)$ が $Z$ に対して局所的に感度が低い場合、$Z$ に到達する教師信号は減衰する。
• 直接依存性最大化: この課題を克服するため、SDR は**Centered Kernel Alignment（CKA）に基づく直接依存項を目的関数に付加する。結合目的関数 $J_{SDR}$ は以下のように定義される：
  $$J_{SDR}(Z, T, h_Z) = (1-\alpha) \sum_{i,j} L_s(y_i, g^*_j(T))T_{ij} + \alpha \text{GW}(Z; T) - \eta \text{CKA}(Z, \tilde{Y})$$
  ここで、第一項はプロトタイプターゲット $g^*_j$ が Bregman 重心性を通じて解析的に除去される重心教師付き FGW（BS-FGW）**損失、第二項は幾何学的 Gromov-Wasserstein 損失、第三項は埋め込み $Z$ と投影されたターゲット $\tilde{Y}$ の間の依存性を最大化する負の CKA 項である。
• 最適化: 本問題は不正確なブロック座標降下法によって解かれる：
  • T ステップ: 結合行列 $T$ を更新するために、CKA を無視した半緩和 BS-FGW 目的関数を最適化する。
  • Z ステップ: 埋め込み $Z$ を更新するために、GW 項と CKA 項の和を SGD（例：Adam）を用いて最適化する。

2.2 RKHS 投影による未知データへの拡張

学習された埋め込み空間へ未見データをマッピングする必要がある予測パイプラインにおいて SDR を利用可能にするため、著者らはマッピング推定問題を定式化した。学習された埋め込み $Z$ が再生核ヒルベルト空間（RKHS）内の関数の像の近くに存在するように制約を課す。

• 目的関数に投影整合性項を導入し、SDR-OOS定式化へと至る。
• マッピング $L$ は正則化カーネルリッジ回帰問題として学習され、未見点 $x^*$ に対する安定した射影演算子 $z(x^*) = K(x^*, X)L$ を提供する。

2.3 非定常カーネル構築への応用

学習された SDR 埋め込みは、データ依存の非定常幾何学を誘起する。これにより、ガウス過程（GP）向けの適応的カーネルの構築が可能となる。SDR 埋め込み空間に定常カーネル（例：RBF）を適用することで、元の入力空間における誘起カーネルは非定常となり、データ幾何学と教師信号の両方の局所的変動に応答する。このアプローチは、表現学習と GP 学習を分離し、Deep Kernel Learning（DKL）に対する非パラメトリックな代替案を提供する。

3. 主要な貢献

1. SDR アルゴリズム: OT ベースの整合性と明示的な依存性最大化（CKA）を統合し、コンパクトでターゲットを認識した表現を学習する、教師あり分布削減のための統合枠組み。
2. 理論的洞察: 直接表現レベルの依存項を導入することで、FGW ベースの手法における教師信号のボトルネックを特定し、解決した。
3. 未知データへの拡張: 入力から埋め込みへのマッピングを正則化カーネルリッジ回帰問題として定式化し、SDR を予測パイプラインにおける特徴量抽出器として機能可能にした。
4. 非定常カーネル設計: 深層ネットワークの連成エンドツーエンド学習を必要とせず、局所的なデータ構造と教師信号に応答する GP 向け適応的カーネルを構築するメカニズム。

4. 実験結果

4.1 分布削減ベンチマーク

著者らは、DistR、Cluster-then-DR、DR-then-Cluster に対して、3 つの分類データセット（COIL-20、Fashion-MNIST、SNAREseq）で SDR を評価した。

• 指標: 均質性スコア、k-means 正規化相互情報量（NMI）、シルエット係数。
• 知見: SDR は、わずかな計算オーバーヘッドで DistR と同等の実行時間を達成した。重要なのは、SDR がより高いラベル一貫性と意味的整合性を持つ表現を生成し、明示的な依存項が教師なしベースラインよりも効果的にタスク関連構造を捉えていることを示した点である。

4.2 カーネル学習ベンチマーク（GP）

SDR は、回帰（Boston Housing、Energy Efficiency、Concrete）および分類（MNIST、COIL-20）タスクにおけるガウス過程の特徴量抽出器として評価された。

• 比較対象: SDR-GP は、NCA-GP、KSPCA-GP、UMAP-GP、Deep Gaussian Processes（DGP）、および Deep Kernel Learning（DKL）と比較された。
• 性能:
  • 回帰: SDR-GP は全データセットで最良の平均対数尤度（MLL）と競争力のある平均二乗誤差（MSE）を達成し、多くの場合 DKL や DGP を上回った。
  • 分類: SDR-GP は高い平均対数確率（MLP）と精度（ACC）を達成し、DKL の性能に匹敵するか、それを超えた。
  • 不確実性の較正: SDR-GP は、平均絶対較正誤差（MACE）指標によって示される通り、他の手法と同等かそれ以上の、適切に較正された不確実性を提供した。
• アブレーション: 実験により、CKA 項（$\eta$）と投影正則化（$\beta$）が予測信号の保持と汎化のバランスを取るために重要であることが確認された。

5. 意義と主張

本論文は、SDR が内在的幾何学を保持しつつタスクラベルへの依存性を明示的に最大化する、ターゲットを認識した表現を学習するための原理的かつ非パラメトリックなアプローチを提供すると主張している。OT ベースの手法における教師信号のボトルネックに対処することで、SDR はクラスタリングと下流予測の両方に効果的なコンパクトな表現の構築を可能にする。

著者らは、SDR が Deep Kernel Learning に対して明確な利点を提供することを強調している。すなわち、表現学習を確率モデルから分離することで、低データ量環境における連成最適化に伴う初期値への感度や学習の困難さを回避している。さらに、誘起される非定常カーネルは、教師信号と構造の局所的変動に適応する、データ駆動型のカーネル設計の視点を提供する。

本研究は、輸送ベースの構造的整合性と明示的な依存性最大化を組み合わせることが、特に解釈性と不確実性の定量化が求められる設定において、教師あり次元削減および分布要約のための実行可能かつ効果的な戦略であることを示唆している。