Contrastive-Augmented Flow Matching for Style-Content Disentanglement

技術要約：スタイルとコンテンツの解離のためのコントラスティブ増強型フローマッチング（CAtFM）

問題提起
コンテンツとスタイルの表現を効果的に分離する学習は、制御可能な生成や構成的な汎化において極めて重要である。しかし、既存のアプローチには以下の二極化が存在する：

• 判別的手法（例：コントラスティブ学習）：特徴量の分離性と決定境界を最適化するが、通常は条件付き分布 $P(y|x)$ のみをモデル化する。その結果、未知の要素の組み合わせに対する構成的な汎化に苦しみ、基礎となるデータ構造と一致したサンプルを生成することができない。
• 生成的手法（例：拡散モデルやSCFlowのようなフローベースモデル）：制御可能な合成と可逆的な輸送を可能にするが、明示的に解離された潜在変数を持たないことが多い。主に生成目的関数を用いて学習されるため、コンテンツとスタイルの表現が互いに漏れ出す「制約のない解離」が生じ、意味的な不一致や不完全な要素を招く。この制限は、既知の要素の未知の組み合わせを扱う際に特に顕著となる。

手法：CAtFM
著者らは、可逆的なフローマッチング定式化にコントラスティブな正則化を統合したフレームワークであるContrastive-Augmented Flow Matching (CAtFM) を提案する。核心となる革新は、中間潜在変数や速度場ではなく、「予測されたエンドポイント（端点）」に対してコントラスティブな監督を行う点にある。

1. フローマッチングの基盤： CAtFMは、スタイルとコンテンツの混合および解離を、解離されたソース分布 $p_0(x)$ と統合されたターゲット分布 $p_1(x)$ の間の決定論的な輸送問題としてモデル化するSCFlowに基づいている。モデルは、常微分方程式（ODE）を介してサンプルを輸送するための速度場 $v_\theta(x_t, t)$ を学習する。
2. エンドポイントの構築： 正解となる純粋なコンテンツおよびスタイルの因子は利用できないため、本手法ではコンテンツ・スタイル参照ペアを用いて学習用トリプレットを構築する。ソースのエンドポイント $x_0$ は、コンテンツ参照（ランダムなスタイルを伴う）とスタイル参照（ランダムなコンテンツを伴う）を結合することで形成される。ターゲットのエンドポイント $x_1$ は、マージされた画像（またはその埋め込み）である。
3. 双方向エンドポイント予測： 標準的なフローマッチングは速度を予測するが、CAtFMは学習された速度場を用いて、単一のステップで両方のエンドポイント（$\hat{x}_0$ および $\hat{x}_1$）を再構成する：
   • $\hat{x}_0 = x_t - t \cdot v_\theta(x_t, t)$
   • $\hat{x}_1 = x_t + (1-t) \cdot v_\theta(x_t, t)$
4. コントラスティブ正則化： コントラスティブな目的関数は、これら再構成された表現に直接適用される。結合された予測は、コンテンツ成分とスタイル成分の半分に分割される。インバッチのコントラスティブ損失（例：InfoNCE、Margin Loss）が、それぞれのラベルを用いてコンテンツとスタイルの各成分に対して独立して適用される。これにより、厳密に純粋または完全に因子化された表現を仮定することなく、因子内のコンパクトネスと因子間の分離を強化する。
5. 学習目的関数： 全体の損失は、標準的なフローマッチング損失 ($\mathcal{L}_{FM}$) と、ハイパーパラメータ $\lambda$ で重み付けされたコントラスティブ損失 ($\mathcal{L}_{cont}$) を組み合わせたものである：
   $$\mathcal{L}_{total} = \mathcal{L}_{FM} + \lambda \cdot \mathcal{L}_{cont}$$

主な貢献

• 新しい定式化： CAtFMは、双方向のエンドポイント予測を明示的な学習信号として利用する、フローマッチングに基づくスタイル・コンテンツ解離の初のフレームワークである。
• 明示的な制約を伴う暗黙的な解離： 本手法は、（フローの可逆性から解離が生じるという）SCFlowの暗黙的かつ監督を必要としない定式化を維持しつつ、因子の漏れを防ぐための明示的な判別的制約を加えている。
• 分布シフトに対する堅牢性： 判別的制約を決定論的な輸送と結合することで、本手法は、純粋な生成モデルや判別モデルと比較して、より強力なオープンセットへの堅牢性と構成的な汎化を実現している。
• 表現の非依存性： 本アプローチは複数の凍結された埋め込み空間（CLIP, DINO, ALIGN）にわたって検証されており、提案された目的関数が、基礎となる特徴抽出器に関わらず、スタイルの識別性とコンテンツの忠実度を向上させることを示している。

実験結果
著者らは、合成データ、ドメイン内での未知のスタイル、および実世界のベンチマーク（ImageNet, WikiArt, DomainNet, DTD）を用いてCAtFMを評価している。

• 意味的な正確性： CAtFMは、コンテンツおよびスタイルのゼロショット検索精度において、バニラのSCFlowおよびCLIPを上回る。テキスト記述とのコサイン類似度が高くなり、前方生成におけるFIDスコアが低くなる。
• 解離： 定量的指標は、正規化相互情報量（NMI）およびシルエットスコアの大幅な改善を示しており、これはSCFlowや純粋な判別モデルと比較して、潜在空間におけるコンテンツとスタイルの因子のクラスタリングがよりタイトであり、分離がより優れていることを示している。
• 汎化性能： ドメイン外のデータセットおよび未知のスタイルクラスにおいて、CAtлоFMは検索タスク（F1スコア）およびオープンセット分類（AUROC）において優れた性能を示す。純粋な生成モデルが失敗しやすい場面においても、未知のクエリが提示された際に既知のクラスを効果的に拒絶する。
• 定性的分析： 視覚的な結果は、CAtFMがSCFlowと比較して、コンテンツの漏れが最小限のスタイル出力と、より広い意味的キューおよびシーンコンテキストを保持するコンテンツ表現を生成することを裏付けている。

意義と主張
論文は、CAtFMが「決定論的な輸送と判別的な制約を結合するシンプルな方法」を提供すると主張している。著者らは、生成フローモデルは可逆性を通じて解離のための強力な足場を提供するが、因子の漏れを防ぐためには明示的なコントラスティブ制約が極めて有益であると述べている。本研究は、これらのパラダイムを統合することで、意味的に一貫し、よく分離され、かつ分布シフトに対して堅牢な表現が得られることを示しており、生成的または判別的なアプローチを単独で使用する場合の限界に対処している。著者らは、本手法は現在凍結された埋め込み空間で動作しており、将来的な課題として、VAE/拡散潜在空間を通じたピクセルレベルの制御への拡張が挙げられている。