Drift Variation Autoencoder: Unifying Generation and Representation Learning through Conditional Posterior Flow Matching

技術要約：ドリフト・バリエーション・オートエンコーダ（Drift Variation Autoencoder）

問題提起
現在の生成パイプラインは、表現学習と条件付き生成を、異なる目的を持つ別個のタスクとして扱うことが多い。自己教師ありエンコーダは通常、ビューの一致（view agreement）やマスクされた再構成（masked reconstruction）を最適化し、拡散モデルやフローモデルは、デノイジング・スコアや輸送場（transport fields）を最適化する。この分離は断絶を生む。すなわち、生成器はノイズを含んだ状態を通じて損失を減少させても、再利用可能な正しい表現を露出させるわけではなく、またエンコーダは、生成器が真の事後分布をモデル化する能力を保証するような特徴量を学習するとは限らない。

観測 $C$ が、クリーンなデータ $X$ の確率的な拡張（例：マスキング、クロッピング、またはモダリティの除去によるもの）であるとき、再構成ターゲットは単一の決定論的な点ではなく、事後分布 $P(X | C)$ である。本論文は、両方のタスクにとって正しい統計的対象はこの事後分布であると主張する。生成器は $P(X | C)$ からサンプリングすべきであり、エンコーダの表現 $Z$ は、$P(X | C)$ を特定するために必要な $C$ の情報を正確に保持すべきである。課題は、これらの目標を、自身が消費する表現を特徴づけ、訓練するための単一の目的関数へと統合することである。

手法：ドリフト・バリエーション・オートエンコーダ
提案されるドリフト・バリエーション・オートエンコーダは、**条件付きフロー・マッチング（Conditional Flow Matching: CFM）**を通じて、生成と表現学習を統合する。フレームワークは以下のように動作する：

1. 統計的目的： 理想的な目標は、条件付きKLダイバージェンス $K(E, Q) = \mathbb{E}_C [\text{KL}(P(X | C) \parallel Q(X | E(C)))]$ を最小化することである。このリスクは、表現の欠損（representation deficiency） $I(X; C | Z)$ と生成器の近似誤差の2つの項に分解される。エンコーダが「事後分布に対して十分（posterior-sufficient）」であるとは、$P(X | Z) = P(X | C)$ であることを指し、これは表現の欠損がゼロであることを意味する。
2. サンプルベースの定式化： $P(X | C)$ は計算困難であるため、本手法はCFMを用いる。これはアフィン・ガウス・パス $X_t = \alpha_t X + \sigma_t X_0$ を構築する（ここで $X_0$ は独立したガウス源である）。
3. アーキテクチャ：
   • エンコーダ： 決定論的なマスク付きエンコーダ $Z = E_\theta(C)$ が、確率的な観測 $C$ を処理する。
   • デコーダ： 条件付きフロー・デコーダ $D_\phi$ は、ノイズを含んだ状態 $(X_t, t)$ と表現 $Z$ を受け取る。極めて重要な点は、デコーダは生のクリーンな観測 $C$ を直接受け取るのではなく、エンコードされた $Z$ のみを受け取ることである。
   • 訓練： モデルは、単一のクリーン予測損失 $\mathbb{E}[w(t) \| D_\phi(X_t, t, Z) - X\|^2]$ で訓練される。教師モデル、コントラスティブなターゲット、あるいは生成された参照セットは必要とされない。
4. 理論的等価性： 本論文は、クリーン予測損失に関する直交的なリスク分解を導出している。アフィン・ガウス・パスの場合、エンコーダに依存する項（表現ギャップ）は、$P(X | Z) = P(X | C)$ である場合に限り、消失する（$\Delta_{rep} = 0$）。これにより、フロー・マッチングのリスクのゼロ集合が、数値的な目的関数の値は異なっていても、理想的な条件付きKLのゼロ集合と同一であることが確立される。
5. マルチモーダルへの拡張： 本フレームワークは、連続的なマルチモーダル・タプル $X = (X^{(1)}, \dots, X^{(M)})$ に拡張される。どのモダリティが観測されているか（マスクの状態）に関わらず、フローのターゲットは常に完全な結合タプルとなる。これにより、モデルは単なる独立した周辺分布ではなく、同時に生成されるモダリティ間の残留依存関係を含む、完全な結合事後分布を学習することが保証される。

主な貢献

• 事後分布原理： 生成の表現の正当性を $P(X | Z) = P(X | C)$ という条件によって定義し、理想的な条件付きKLを、表現の欠損と生成器の近似誤差へと分解した。
• フロー・リスクと充足性： アフィン・ガウス型CFMにおいて、エンコーダに依存するクリーン予測リスクが、プロファイル化された条件付きKLと同じ事後分布充足的なゼロ集合を持つことを証明した。これにより、実用的な訓練目的関数を、数値的な等価性を必要とせずに、理論的な要件である事後分布充足性に直接結びつけた。
• エンドポイントおよびマルチモーダルにおける保証： 正確な条件付き場（conditional field）が $P(X | Z)$ を生成し、十分なエンコーダがあれば、それは $P(X | C)$ に等しいことを示した。この結果は、連続的なマルチモーダル空間においても、観測されたサブセットに対して完全なタプルがターゲットとなる形へと拡張される。
• 制御された検証： 共有された因子とユークリッド、球面、双曲幾何学のビューを持つ既知の共有因子を備えたベンチマーク CrossGeom-4 を導入し、表現の使用と結合事後分布サンプリングをテストした。

結果 (CrossGeom-4)
CrossGeom-4ベンチマークにおける評価（3つの幾何レベルにわたる18回の実行）：

• 表現の質： 観測可能な因子は線形プローブにより $R^2$ スコア 0.9990–0.9992 を示し、エンコーダが観測された因子を露出していることが確認された。
• 条件依存性： エンコーダの条件をシャッフルした場合（ODEソースノイズは固定）、条件付き誤差は 13.5倍〜15.7倍 に増加した。これは、デコーダがノイズからのみタスクを解いているのではなく、特定のエンコーダ表現に依存していることを証明している。
• 結合結合（Joint Coupling）： 独立したデコーダと結合デコーダは、決定論的な条件付き精度においては同等の性能を示すが、結合デコーダは、2つの出力間で共有される未観測因子に対する不一致を大幅に減少させた。結合ターゲット・アテンションは、独立したデコーダと比較して、この不一致を 90.1%〜92.8% 減少させた。
• 再構成： 可視のモダリティは正常に生成・再構成されており、フルタプル目的関数が有効であることを検証した。
• 限界： 無条件のモードバランスは依然として不完全であり（TV距離は一様分布に対し ~0.086–0.108、リファレンスは ~0.034）、これは、経験的な主張が現時点では制御された概念実証（proof of concept）であることを示唆している。

意義と主張
本論文は、標準的な生成目的関数（クリーン予測フロー・マッチング）が、本質的に事後分布充足的な表現を訓練できることを、理論的および経験的に示したものであると主張している。

• 同期： 生成と表現学習が同期していることを示している。なぜなら、どちらかのコンポーネントの失敗も、同一の集団リスクにおける明確な項として現れるからである。
• 外部的な整合性の不要： 補助的な整列（alignment）目的関数や事前学習済みエンコーダを必要とする手法とは異なり、このアプローチは表現の基準を生成損失から直接導き出している。
• 限定的な範囲： 著者は、この等価性が集団レベルの結果であり、確率的勾配降下法や有限サンプル境界によるグローバルな最適化を保証するものではないことを明記している。主張の範囲は、CrossGeom-4のような制御されたマルチモーダル設定に限定されており、自然な画像、テキスト、音声への即時の転用を謳うものではない。本研究は、事後分布充足的なボトルネックが、統一された生成目的関数を通じて学習可能であるという概念実証としての役割を果たすものである。