技術要約：ゼロフロー・エンコーダー（Zero-Flow Encoders）

問題提起

フローベースの生成モデル（拡散モデル、フロー・マッチングなど）は、生成タスクにおいて複雑なデータ分布を捉えることに大きな成功を収めてきたが、その非教師あり表現学習および構造推論への潜在的な可能性については、未だ十分に探索されていない。既存の非教師あり手法（SimCLRなどの対照学習）は、相互情報量の最大化に依存することが多く、これが「ショートカット解（近道となる解）」を招く可能性がある。これらのモデルは、高レベルな意味構造を学習するのではなく、表面的なインスタンス固有の特徴（例：ウォーターマークやランダムな色）を利用してしまうことがあり、マルコフ・ブランケットの特定や堅牢な潜在表現の学習に求められる微細な詳細を捉えることに失敗する。

手法

本論文は、条件付き独立性を強制し、十分な情報を抽出するために、整流フロー（rectified flows）の特性に着想を得たフレームワークである**ゼロフロー・エンコーダー（Zero-Flow Encoders）**を提案する。

ゼロフロー基準

核心となる理論的洞察は、独立結合（independent coupling）を用いて訓練された整流フローにおける「ゼロフロー」現象の観察である。

• 定理 3.1: ソース分布 $p_X$ をターゲット分布 $p_{X'}$ へ輸送する整流フローにおいて、独立結合を用いている場合、中間点 $t=0.5$ における速度場 $v_t$ が至る所でゼロであることは、$p_X = p_{X'}$ であるための必要十分条件である。
• 条件付き拡張: 著者らはこれを条件付き分布へと拡張した。彼らは、速度場 $v_t$ がエンコーダーの出力 $f(Y)$ に条件付けられるように修正された整流フローの目的関数を定義した。定理 3.4 は、$v_{t=0.5} = 0$ であることは、条件付き分布が同一であること（$p_{X|Y} = p_{X|f(Y)}$）、すなわち条件付き独立性の条件（$X \perp\!\!\!\perp Y | f(Y)$）と等価であることを確立している。

ゼロフロー損失

この基準を学習のために扱いやすくするため、著者らはシミュレーションフリーの最小二乗損失関数（式 9）を導出した：
$$\min_{u, f} \int_0^1 \omega(t) \mathbb{E}[\|u_t(X_t, f(Y), Y)\|^2] dt + \int_0^1 \mathbb{E}[\|X' - X - u_t(X_t, f(Y'), Y)\|^2] dt$$

• $\omega(t)$（$t=0.5$ でピークとなる）によって重み付けされた第1項は、ゼロフロー基準として機能し、条件付き独立性を強制するために中間点での非ゼロの速度を罰する。
• 第2項は標準的な整流フロー損失であり、速度場が輸送写像を学習することを保証する。
• エンコーダー $f$ は、この結合された損失を最小化するように訓練され、ターゲット変数が生の入力に対して条件付き独立となるような十分な表現を効果的に学習する。

応用

本フレームワークは、以下の2つの特定の非教師ありタスクに適用される：

1. 償還マルコフ・ブランケット学習（Amortized Markov Blanket Learning）: 各ターゲット変数の部分集合に対して個別のモデルを学習する代わりに、エンコーダーはマスク $m$ を入力として受け取り、残りの特徴量 $Z_{-m}$ から特徴量の部分集合 $Z_m$（マルコフ・ブランケット）を選択する。これにより、テスト時に再学習することなく、任意のターゲット集合に対して柔軟な推論が可能になる。
2. 自己教師あり表現学習: 本手法はマルチビューデータ（例：拡張された画像）に適用される。$Z_1 \perp\!\!\!\perp Z_2 | f(Z_2)$ を強制することにより、エンコーダーはビュー固有のノイズを破棄しながら、共有された意味情報 $T$ を抽出するように強制され、相互情報量最大化に特有のショートカット問題を回避する。

主な貢献

1. 理論的発見: 整流フローにおけるゼロフロー条件の特定と数学的証明を行い、ソース分布とターゲット分布の等価性（無条件および条件付きの両方）のための必要十分条件として確立した。
2. 非パラメトリック・エンコーダー: 基礎となるデータ分布に関する明示的なパラメトリック仮定なしに、十分なエンコーディングを学習する、扱いやすくシミュレーションフリーな損失関数を開発した。
3. 償還推論（Amortized Inference）: マルコフ・ブランケット選択のための償還戦略を導入し、従来のパラメトリックなグラフィカルモデル推定器では困難であった、推論時に任意のターゲット特徴構成に適応できる能力を実現した。
4. ショートカットへの堅牢性: ゼロフロー・エンコーダーが、相互情報量の最大化よりも直接的に条件付き独立性を強制することで、対照学習に共通する「ショートカット問題」を回避し、表面的なインスタンス固有のキューが存在する場合でも、意味的な特徴を正常に学習できることを示した。

実験結果

本論文は、シミュレーションおよび実世界のデータセットの両方で手法を評価している：

• グラフィカルモデルの復元: 合成ガウス、非パラノーマル、および切断ガウス・グラフィカルモデルにおいて、ゼロフロー・エンコーダー（MLPおよびLSTMアーキテクチャを使用）は、真のグラフ構造を復元する（AUCで測定）上で、Graphical LassoおよびPCアルゴリズムを上回った。時間的帰納バイアスを活用したLSTM変体は、マルコフ連鎖においてほぼ完璧なスコアを達成した。
• マルコフ・ブランケットの汎化: 償還エンコーダーは、訓練中に見られたターゲット変数のマルコ訳ブルケットを特定することに成功し、さらに重要なことに、未学習のターゲット変数に対しても成功し、強力な汎化性能を示した。
• 実世界の時系列データ: S&P 500のデータ（2019–2020年）に適用した結果、本手法は2020年3月頃（COVID-19の発生）の市場依存性の構造的変化を検知した。この時期、マルコフ・ブランケットは過去の取引日への依存から将来の取引日への依存へとシフトしており、市場の混乱を示唆していた。
• 自己教師あり学習: 人工的な「ショートカット」ウォーターマークを含む画像データセット（Fashion-MNIST, CIFifier-10, STL-10, TinyImageNet, ImageNet-1K）において：
  • SimCLRは、ウォーターマークを学習してしまうことで、性能の著しい低下（損失の飽和と精度の低下）を被った。
  • ゼロフロー・エンコーダーは、安定した損失と高い線形プロービング精度を維持し、ショートカットが存在する場合でも意味的な情報（例：物体の形状）を保持した。
  • 再構成タスクにおいて、ゼロフロー・エンコーダーは豊かな視覚構造を保持していたのに対し、SimCLRの再構成はウォーターマークのアーティファクトに支配されていた。

意義と主張

本論文は、ゼロフロー・フレームワークが、既存の非教師あり学習手法に対する厳密かつ非パラメトリックな代替案を提供すると主張している。その主な意義は以下の通りである：

• 理論的根拠: フローのダイナミクスから導出された、十分性と条件付き独立性のための数学的に証明可能な基準を提供している。
• 堅牢性: 貪欲に容易で表面的な特徴を選択しやすい相互情報量の最大化ではなく、条件付き独立性を直接強制することで、「ショートカット問題」を解決している。
• 柔軟性: 複雑な構造的タスク（マルコフ・ブランケットの発見など）のための償還推論を可能にし、モデルが再学習なしに新しいターゲット構成に適応できるようにしている。

著者らは、本研究を、フローベースの手法を生成を超えて、堅牢な表現学習や構造的推論へと拡張するためのステップとして位置付けており、競争力のある合成および実世界のベンチマークによってそれが検証されている。