技術要約：オフライン保守的軌跡洗練のための反事実的輸送フロー（Counterfactual Transport Flows）

1. 問題定式化

本論文は、オフライン強化学習（RL）における根本的な限界、すなわち、ログされたデータのサポートを超えて外挿することなく、観測された振る舞いを改善することの困難さに取り組んでいる。標準的なRLは反応的な状態・行動マッピングを学習するが、特定の低リターンな軌跡を局所的に修正して成功させる方法を明示的にモデル化することはできないことが多い。既存のオフライン手法は、価値ペナルティによって方策を制約するか、生成モデル（拡散またはフロー）を用いて新しい振る舞いを作成するかのいずれかであり、多くの場合、遷移レベルで動作するか、あるいはインスタンス固有の改善ではなくグローバルな方策を学習している。

著者らは、この問題を**ソース条件付き軌跡洗練（source-conditioned trajectory refinement）**として定式化している。低評価のワールドフィードバック（例：低いリターン、安全性違反）を持つ初期候補軌跡 $\tau^-$ が与えられたとき、目標は、行動の妥当性をログデータ内の分布内に保ちつつ、より良いフィードバックを提供する近傍の代替案 $\tau^*$ へと、局所的に修正することである。これは、ソースからの偏差を最小化しつつ、改善マージン $\delta$ を満たす実行可能な軌跡を見つけることとして概念化される：
$$\tau^* = \arg \min_{\tau' \in \mathcal{T}_{feas}} d_\tau(\tau', \tau^-) \quad \text{s.t.} \quad R(\tau') \ge R(\tau^-) + \delta$$
ここで、$R(\tau)$ は測定可能なワールドフィードバックを表し、$d_\tau$ は軌跡レベルの偏差を測定する。

2. 手法：反事実的輸送フロー（Counterfactual Transport Flows）

提案手法であるCounterfactual Transport Flowsは、条件付きフローマッチングを用いて、潜在的な軌跡空間においてソースとなる軌跡をより良い代替案へと輸送することを学習する。この手法は、主に以下の3つの段階で動作する。

A. 局所的選好ペアの構築

グローバルな方策を学習する代わりに、この手法はオフラインデータから弱い局所的選好ペアを構築する。与えられたソース軌跡 $\tau^-$ に対して、アルゴリズムは以下を行う：

1. エンコーダ $\phi$ を用いて、軌跡を潜在空間にエンコードする。
2. 類似した軌跡の局所的な潜在近傍 $\mathcal{N}(\tau^-)$ を特定する。
3. この近傍から、改善基準（$R(\tau^+) \ge R(\tau^-) + \delta$）を満たすターゲット軌跡 $\tau^+$ を選択する。
4. 「反事実的」な修正、すなわち「同様の条件下で、より良いフィードバックを得るためにエージェントがどのように異なる行動をとれたか」を表すペア $(\tau^-, \tau^+)$ を形成する。

B. ソース条件付きフローマッチング

洗練は、一回限りの予測ではなく、連続的な輸送プロセスとしてモデル化される。

• 潜在的補間（Latent Interpolation）: 各ペアに対して、線形補間パスが定義される：$z_s = (1-s)z^- + s z^+$。ここで、$z^- = \phi(\tau^-)$ および $z^+ = \phi(\tau^+)$ であり、$s \sim U(0, 1)$ である。
• 条件付きベクトル場: モデルは、ソース軌跡 $z^-$ に特化して条件付けられたベクトル場 $v_\theta(z_s, s \mid z^-)$ を学習する。これにより、洗練の方向がインスタンス固有となり、高フィードバック領域へのグローバルな方向ではなく、「この」特定の軌跡をどのように修正できるかを学習することを保証する。
• 学習目的関数: フローマッチングの目的関数を用いて、予測された速度とターゲットの速度（$z^+ - z^-$）の差を最小化するようにモデルを訓練する：
  $$\mathcal{L}_{FM} = \mathbb{E}_{z^-, z^+, s} \left[ \| v_\theta(z_s, s \mid z^-) - (z^+ - z^-) \|_2^2 \right]$$

C. 洗練強度を用いた推論

推論時には、初期候補軌跡 $\tau^-$ を取り込み、$z^-$ にエンコードした後、学習されたベクトル場を積分する。この積分は、洗練強度パラメータ $\alpha \in [0, 1]$ において停止される：
$$\tilde{z} = z_\alpha$$
得られた潜在状態はデコードされ、洗練された軌跡 $\tau^* = \psi(\tilde{z})$ を生成する。

• $\alpha = 0$：元の軌跡を復元する（保守的）。
• $\alpha = 1$：軌跡を局所的な高フィードバックターゲットへと完全に輸送する。
• $0 < \alpha < 1$：元の振る舞いの保持と、より強力な改善の適用との間の連続的なトレードオフを可能にする。

3. 主な貢献

著者らは、主に3つの貢献を強調している：

1. 定式化: オフラインの意思決定改善を、グローバルな方策最適化や制約のない軌跡生成とは異なる、ワールドフィードバックからのソース条件付き軌跡洗練として再定義した。
2. 手法: 観測された結果から局所的な選好ペアを構築し、条件付きフローマッチングを利用して、潜在軌跡空間におけるインスタンス固有の洗練方向を学習する手法を提案した。
3. 検証: D4RLベンチマーク（AntMazeおよびMuJoCo）において、人間の選好ラベルや個別の報酬モデルを必要とせずに、保守的な軌跡偏差を伴うフィードバックの向上を実現することを実証した。

4. 実験結果

実験は、潜在空間構築のために軌跡オートエンコーダを用いたD4RLデータセット（AntMazeおよびMuJoCoのHalfCheetahタスク）に対して行われた。

• ベースライン: 本手法は以下の手法と比較された：
  • Nearest Improved Neighbor (最近傍の改善された隣人): ソースを、より高いフィードバックを持つ最も近い軌跡で直接置き換える。
  • Random Improved Trajectory (ランダムな改善軌跡): ソースを、より高いフィードバックを持つランダムな軌跡で置き換える。
  • Non-local Flow Matching (非局所的フローマッチング): ターゲット選択における局所性の制約なしにフローモデルを訓練する。
• パフォーマンス:
  • AntMaze: 提案手法は、最も低い行動偏差（1.41）および潜在偏差（27.00）を伴いながら、+69.44 のフィードバック向上を達成した。対照的に、「Random Improved Trajectory」は、より高い生の利得（+117.50）を得たが、偏差が大幅に大きかった（行動: 2.18, 潜在: 62.50）。これは保守性の欠如を示している。「Non-local Flow Matching」ベースラインは、実際にフィードバックを低下させた（-11.48）。
  • MuJoCo: 同様の傾向が見られた。提案手法は、偏差（行動: 1.58, 潜在: 31.40）を伴いながら、+1180.20 のフィードバック向上を達成した。「Nearest Improved Neighbor」は、わずかに低い生の改善（+1050.30）であったが、より大きな偏差（2.14/42.50）を示した。
• 分析: 結果は、局所的なターゲット構築とソース条件付きの両方が、保守的な洗練のために必要であることを示している。グローバルまたは非局所的なアプローチは安定した洗練方向を学習できず、直接的な置き換え戦略は振る舞いの忠実度を犠牲にしすぎる。

5. 意義と主張

著者らは、Counterfactual Transport Flowsが以下の理由により、信頼性の高いオフライン改善のための有望な方向性を提供すると主張している：

• データへの接地: 本手法は、ログされたデータからのスカラー値のワールドフィードバック（例：リターン）のみを使用して振る舞いを改善するため、人間の選好ラベル、個別の報酬モデル、またはオンライン環境との相互作用を必要としない。
• 解釈可能性: 輸送の観点は、軌跡レベルの解釈可能性を提供する。学習されたベクトル場は、低フィードバックの振る舞いがどのように修正されるかという明示的な洗練パスを辿るため、「反事実的スタイル」の説明が可能となる。
• 制御可能性: 洗練強度パラメータ $\alpha$ により、保守性（元の提案の保持）と積極的な改善との間の調整可能なトレードオフが可能になる。

著者らは、「反事実的（Counterfactual）」という用語は、形式的な因果推論ではなく、軌跡洗練の意味で使用されていることを述べ、控えめな立場を維持している。また、適応的な近傍選択、デコードされた軌跡の理論的保証、および反復的な仮説プランニングのための学習されたワールドモデルとの統合といった、今後の研究方向を特定している。