Multistep Quasimetric Estimation (MQE) の技術的サマリー

本論文は、ICLR 2026 にて発表された「Multistep Quasimetric Estimation (MQE)」という、オフライン・ゴール条件付き強化学習（Offline GCRL）のための新しい手法を提案するものです。長期的なタスク（Long-horizon tasks）や複雑な環境下での目標到達を、効率的かつロバストに実現することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、そして意義について詳細にまとめます。

---

1. 背景と問題定義

1.1 課題

強化学習（RL）において、エージェントが環境内で目標に到達する能力を学習することは重要な課題です。特に、**長期的な視野（Long-horizon）**を持つタスクや、視覚観測を含む高次元の状態空間において、以下のジレンマが存在します。

• TD 学習（Temporal Difference）: 局所的な更新を行うため、最適性の保証がありますが、誤差が蓄積（Compounding errors）しやすく、長い horizon になると性能が劣化します。
• モンテカルロ法（Monte Carlo, MC）: 全局的な値の伝播を行うため実用的に高性能ですが、オフライン設定では行動方策（Behavior Policy）に依存した Q 関数（$Q_\beta$）しか学習できず、最適方策（$Q^*$）への収束保証が理論的に難しい場合があります。

既存の手法は、この 2 つのアプローチのどちらかに依存するか、階層的な構造を必要とするため、複雑さや学習の不安定さを抱えていました。

1.2 核心的な問い

「TD 学習の局所的な最適性保証と、MC 学習の全局的な値伝播の利点を、実用的なオフライン GCRL 手法にどう統合し、特に**「ステッチング（Stitching）」（短い軌跡を組み合わせて長いタスクを達成する能力）や「Horizon 一般化」**を可能にするか？」

---

2. 提案手法：Multistep Quasimetric Estimation (MQE)

MQE は、多段階（Multistep）のモンテカルロ・リターンと準距離（Quasimetric）アーキテクチャを組み合わせ、明示的な階層構造なしにゴール到達方策を学習するエンドツーエンドの手法です。

2.1 準距離（Quasimetric）アーキテクチャ

従来の RL では Q 関数や値関数を直接回帰させますが、MQE はゴール到達の「距離」を学習します。

• 定義: 状態 $s$ とゴール $g$ の間の距離 $d(s, g)$ を学習し、値関数を $V_g(s) = V_g(g)e^{-d(s, g)}$ として定義します。
• 制約: 距離関数は非負性、同一性、そして三角不等式（$d(x, z) \le d(x, y) + d(y, z)$）を満たす必要があります。
• 実装: Metric Residual Network (MRN) を使用し、非対称成分（ReLU の最大値）と対称成分（$L_2$ ノルム）の和として距離をパラメータ化します。これにより、三角不等式を構造的に満たすことが保証されます。

2.2 多段階バックアップ（Multistep Backup）

TD 学習の 1 ステップ更新ではなく、軌跡上の任意の「経由点（Waypoint）」$s_w$ をサンプリングし、多段階のリターンを用いて距離を学習します。

• 経由点サンプリング: 現在の状態からゴールまでの軌跡上の状態を、幾何分布とベルヌーイ分布の組み合わせでサンプリングします。これにより、局所的な整合性と長距離の値伝播の両方を学習データから引き出します。
• 損失関数: 距離の推定値とターゲット値（多段階リターン）の差を、LINEX 損失（Bregman 発散の一種）を用いて最小化します。これにより、距離が近い場合でも勾配が消失しないようにしています。

2.3 行動不変性（Action Invariance）の強制

準距離ネットワークにおいて、最適なクリティックは「行動不変性」を持つべきです（$V^*(s) = \max_a Q^*(s, a)$）。

• 課題: 単純な回帰では、すべての埋め込みが 0 になる自明な解に収束するリスクがあります。
• 解決策: 状態 $s$ と状態 - 行動ペア $(s, a)$ の間の距離が 0 になるよう、滑らかな損失関数（$L_I$）を設計し、勾配降下でこれを強制します。これにより、安定した学習と有効な距離表現の獲得が可能になります。

2.4 方策抽出

学習された距離関数を用いて、行動を決定します。

• 距離が小さいほど Q 値が高いとみなし、行動 - 行動制約付き DDPG（Behavior Regularized DDPG + BC）を用いて方策 $\pi(s, g)$ を最適化します。

---

3. 主要な貢献

1. 初の統合アプローチ: 準距離アーキテクチャを用いたオフライン GCRL において、多段階 TD リターンとグローバルな値伝播を初めて成功裡に統合しました。
2. Horizon 一般化とステッチング: 学習データよりもはるかに長いタスク（最大 4000 ステップ）や、訓練データに含まれないタスクの組み合わせ（ステッチング）に対して、既存手法を凌駕する性能を示しました。
3. 実世界ロボットへの適用: 合成データ（OGBench）だけでなく、実世界のロボット操作タスク（BridgeData）においても、ラベルなしの視覚データから効果的な方策を学習し、複雑な多段階操作を成功させました。
4. 理論的保証: 離散状態空間（Tabular setting）において、学習された方策が行動方策（Behavior Policy）に対して改善されることを理論的に証明しました。

---

4. 実験結果

4.1 シミュレーション環境（OGBench）

• タスク: 移動（Antmaze, Humanoidmaze）および操作（Cube, Puzzle）タスク。特に「Colossal」サイズの迷路（最大 4000 ステップ）や、訓練軌跡が 4 メートルしかないデータから 1000% 長いタスクを解く「Stitch」タスクが含まれます。
• 結果:
  • 全体的な成功率で SOTA（State-of-the-Art）を達成しました。
  • 既存の最良手法（HIQL, n-SAC+BC など）と比較して、Humanoidmaze-giant-stitch などでは10 倍の性能向上が見られました。
  • 視覚入力（Pixel-based）を含むタスクでも高い性能を発揮し、特に長い Horizon において他の手法が 0% になるような Colossal マゼでも、MQE は有意な成功率を維持しました。

4.2 実世界ロボット（BridgeData）

• タスク: 複数の物体を連続して掴んで置く（Pick-and-Place）、引き出しを開けて中に入れるなど、単一のタスクを組み合わせた複雑な操作。
• 結果:
  • 単一タスクだけでなく、4 つの連続タスク（Quadruple PnP）や依存関係のあるタスク（引き出し開け→中へ入れる）において、MQE は他のオフライン RL 手法（GCIQL, GCBC）や、視覚言語モデルベースの手法（TRA）を上回る性能を示しました。
  • 特に、TRA は単一タスクでは競争力がありましたが、タスクが複雑化・長くなるにつれて性能が低下しましたが、MQE は高いタスク進行度（Task Progress）を維持しました。

4.3 消融実験（Ablation Study）

• 行動不変性（$L_I$）: これを除去すると成功率が大幅に低下（26.5% → 7.9%）し、有効な距離表現が学習できないことが示されました。
• 経由点サンプリング: 幾何分布を用いたサンプリングが、一様分布や固定間隔よりも優れており、多段階学習の効果を最大化しています。

---

5. 意義と結論

MQE は、オフライン強化学習における「長い視野」と「複雑な組み合わせ」の課題に対する画期的な解決策を提供します。

• 理論と実践の架け橋: TD 学習の理論的強さと MC 学習の実用的強さを、準距離という数学的構造を通じて統合しました。
• 実用性の高さ: 追加のヒューリスティックや複雑な階層構造なしに、単一のクリティックと方策ネットワークで、実世界のロボット制御のような高次元・ノイズの多い環境でも機能します。
• 将来展望: このアプローチは、オフラインからオンラインへの転移（Offline-to-Online）や、より複雑なロボット学習タスクへの応用が期待されます。

本論文は、AI が人間のように「距離」の概念を利用してタスクを分解・再構成（ステッチング）し、未知の長期的な目標を達成するための基盤技術として、重要な一歩を踏み出したと言えます。