技術要約：Mollified Value Learning (MVL)

問題提起

オフライン目標条件付き強化学習（Offline Goal-Conditioned Reinforcement Learning: GCRL）は、さらなる環境との相互作用なしに、静的な事前収集データセットから特定の目標状態に到達する方策を学習することを目的としている。この設定における中心的な課題は、目標条件付き価値関数（Goal-Conditioned Value Function: GCVF）の正確な推定である。標準的な価値パラメータ化は時間差（TD）再帰に依存しているが、これらは基礎となる目標到達の幾何学的構造を捉えるために必要な構造的帰納バイアスを欠いていることが多い。この欠如は、特に疎な報酬設定や高次元環境において、情報量の乏しい、あるいは構造的に不適切な価値推定をもたらす。

近年の物理情報に基づいたアプローチは、ハミルトン・ヤコビ・ベルマン（HJB）最適性の原理から導出される点別（pointwise）の幾何学的制約を課すことで、この問題に対処しようと試みている。これらはしばしば、最短経路の幾何学をモデル化するためにエイコナル方程式（Eikonal equation）を利用する。しかし、明示的な微分演算子（例：一次偏微分方程式）を通じて局所的な一貫性を強制することは、複雑で高次元な環境においては不安定になる。これらの手法は、状態・行動の被覆率の低さ、複雑な運動学、および物理情報ニューラルネットワーク（PINNs）に伴う実用的な困難さに起因する数値的不安定性に悩まされている。

手法：Mollified Value Learning (MVL)

著者らは、距離のような幾何学的制約を、点別の強制ではなく、局所的な空間測度上の期待値として再解釈するフレームワークである**Mollified Value Learning (MVL)**を提案している。

コアとなる洞察

価値関数に厳密な微分方程式を満たすことを要求するのではなく（これはノイズや高次元性に敏感である）、MVLは最短経路の一貫性を空間的な期待値として再定義する。この手法は、コスト・トゥ・ゴー（cost-to-go）の関係が、状態の局所的な近傍において期待値として成立すべきであると仮定している。このアプローチは「空間的モディファイア（mollifier）」として機能し、高価または不安定な微分演算子を必要とせずに、距離のような価値の幾何学を誘導する。

理論的定式化

1. 幾何学的一貫性: 最適な価値関数 $V^*(s, g)$ は、状態 $s$ から目標 $g$ への最短実行可能経路（測地線）に対応する。これは三角不等式 $V(s, g) \geq V(s, s') + V(s', g)$ を満たす。
2. 局所的緩和: 微小なタイムステップ $\Delta t$ 内での遷移 $s$ から隣接状態 $s'$ への移動について、コストは $c(s, g)\Delta t \approx c(s, g)\|s' - s\|$ と近似される。局所的一貫性条件は次のように定義される：
   $$V(s', g) - V(s, g) - c(s, g)\|s' - s\| \leq 0$$
3. Mollified Objective: すべての特定の遷移に対してこの不等式を強制する代わりに、MVLは残差演算子 $\Phi(V, s, s', g) = V(s', g) - V(s, g) - c(s, g)\|s' - s\|$ を定義し、それを局所的な空間測度 $\rho_\delta(s'|s)$ 上の期待値として強制する：
   $$\mathcal{R}_\delta[V](s, g) := \int \Phi(V, s, s', g) \rho_\delta(s'|s) ds'$$
   ここで、$\rho_\delta$ は局所的な遷移カーネル（例：$s$ を中心とした半径 $\delta$ のガウス分布）である。
4. 損失関数: 幾何学的正則化損失は、この残差の正の部分の二乗の経験的期待値である（違反をペナルティ化するためにReLUを使用）：
   $$L_{MVL}(\theta) = \mathbb{E}_{s,g} \left[ \text{ReLU}(\mathcal{R}_\delta[V_\theta](s, g))^2 \right]$$

実装上の詳細

モデルフリーのオフライン設定において、この積分はガウス分布 $\mathcal{N}(s, \delta^2 I)$ からサンプリングされた有限個の近傍集合 $\{s'_1, \dots, s'_N\}$ によって近似される。この手法は、既存の暗黙的価値表現学習手法（GCIVLなど）と互換性があり、明示的な高次微分演算子を必要としないため、計算量的に扱いやすく堅牢である。

主な貢献

1. 新しい定式化: 本論文は、局所的な状態分布上の期待コスト・トゥ・ゴー制約を解くことにより、オフラインGCRLに最短経路のような幾何学的帰納バイアスを注入する価値学習フレームワークであるMVLを導入した。
2. 安定性と計算可能性: 明示的な微分演算子を、局所的な空間測度上の扱いやすい積分に置き換えることで、MVLは高次元のエイコナルおよびHJB定式化に関連する数値的不安定性を回避する。
3. ノイズへの堅牢性: この手法は幾何学的なローパスフィルタとして機能し、空間的なルーティング幾何学を、低レベルのデータセットノイズや未モデル化されたダイナミクスから分離する。これは、点別の制約が失敗しやすい確率的な環境において特に効果的である。
4. 実証的な検証: 本手法は、13のステートベースのタスク（ナビゲーションおよびマニピュレーション）と実世界のロボット実験を通じて検証され、改善された目標到達性能と構造化された価値表現を示した。

実験結果

著者らは、OGBenchベンチマーク（PointMaze、AntMaze、HumanoidMazeなどのナビゲーションタスク、およびCube、Scene、Puzzleなどのマニピュレーションタスクをカバー）およびD4RL Franka Kitchenスイートを用いてMVLを評価した。

• 性能向上: MVLは、暗黙的価値表現学習のベースラインと組み合わせることで、目標到達成功率を大幅に向上させた。例えば、cube-single-playタスクにおいて、Dual-goal表現にMVLを加えることで、成功率は89%から91%に上昇した。scene-playタスクでは、性能が72%から84%に向上した。
• ベースラインとの比較: MVLは、標準的なベースライン（GCIVL、VIB、VIP、TRA、BYOL）および明示的なエイコナル制約を用いた物理情報ベースライン（DUAL+EIK）を凌駕する。特に、エイコナルベースの手法が苦戦または失敗する複雑なマニピュレーションタスク（例：Eikonalがわずか1%の成功率しか示せなかったcube-single-playにおいて、MVLは91%を達成）において、MVLは堅牢な性能を提供する。
• 確率性への堅牢性: ノイズの多い環境（例：cube-single-noisy）において、ベースライン手法は成功率がほぼゼロに崩壊することが多かったが、MVLは高い性能（成功率99%）を維持しており、遷移ノイズをフィルタリングする能力を実証した。
• 実世界への展開: 本手法は、Franka Emika Pandaロボットを用いた「Reach and Grasp」および「Pick and Place」タスクへの展開に成功した。正則化により、Reach and Graspでは成功率が20%から80%へ、Pick and Placeでは0%から100%へと向上し、実世界のセンサーのばらつきや摩擦を扱う有用性が強調された。

意義と主張

本論文は、MVLが、高次元のマニピュレーションおよびナビゲーションタスクにおける価値学習を改善するシンプルで扱いやすい帰納バイアスを提供すると主張している。主な意義は、GCRLの価値関数の幾何学を、高価で不安定な微分定式化に頼ることなく定義できることを示した点にある。

著者らは、彼らのアプローチが、大規模なルーティング構造を保持しつつ、疎なデータやノイズによる小規模な不規則性を減衰させる「弱い」幾何学的一貫性を提供することを強調している。また、定式化がユークリッド距離と等方性カーネルに依存しており、非ホロノミック制約や複雑な接触ダイナミクスを完全にモデル化できない可能性があるという限界も認めている。しかし、この簡略化こそが、正確なダイナミクスが未知である高次元の状態空間において効果的な学習を可能にする実用的な代替案であると彼らは主張している。

本研究は、より広い研究の方向性を示唆している。すなわち、幾at学的な正則化のアイデアを、学習された、あるいは多様体認識の表現空間へと拡張することであり、特にユークリッド的な仮定が潜在空間において成立しない可能性がある視覚的なドメインにおいて重要となる。