🤖 machine learning

Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning

本論文は、長期タスクにおける誤った一般化を克服するために、潜在表現に基づく価値の一般化と階層的計画を統合し、OGBench において最先端の性能を達成する、オフライン目標条件付き強化学習アルゴリズムである潜在整合価値学習（LAVL）を導入する。

原著者： Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyungkyu Kang, Byeongchan Kim, Min-hwan Oh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑な迷路をナビゲートするロボットを教えたり、ブロックを塔に積み上げさせたりすると想像してください。ロボットに試行錯誤で学ばせたいわけではありません（それは永遠に続き、危険です）。代わりに、他の誰かの過去の試行の巨大なビデオライブラリを使って教えたくなります。これはオフライン目標条件付き強化学習と呼ばれます。

この論文は、ロボットがこれらのビデオライブラリから学ぶ際の重大な問題を解決する新しい手法、LAVL（Latent-Aligned Value Learning：潜在整合価値学習）を紹介しています。

以下に、簡単なアナロジーを用いて問題と解決策を解説します。

問題：「地図と現実」の混同

迷路のA地点からB地点へロボットを導くことを想像してください。あなたは迷路を歩く人のビデオを見せます。

従来の方法（欠陥のある地図）：
現在のほとんどの手法は、ゴールにどれだけ近づくかに基づいて、迷路の特定の場所がどれだけ「良い」かを推測しようとします。

アナロジー： ロボットが直線距離（鳥が飛ぶような距離）で測る地図を持っていると想像してください。ゴールが10フィート離れていても、ロボットとゴールの間に厚い壁があれば、ロボットは「ああ、たった10フィートだ！できる！」と考えます。
結果： ロボットは混乱します。時間的には遠く（そこに行くのに100ステップかかる）、実際には遠く離れていても、視覚的に近いためゴールに近いと誤解します。これを誤った一般化と呼びます。ロボットは壁が存在しない「壊れた地図」を学習し、悪い判断を下すことになります。

準計量による修正（硬直な規則書）：
一部の研究者は、ロボットが「壁を貫通できない」という厳密な数学的規則（「準計量」と呼ばれる）に従うよう強制することで、この問題を修正しようとしました。

アナロジー： これは、ロボットに「常にこの特定の複雑な数式を使って距離を計算せよ」と言う硬直な規則書を与えるようなものです。
結果： 単純な迷路ではうまく機能しますが、ロボットアームで立方体を掴むような複雑なタスクを与えると、この硬直な規則書は破綻します。ロボットは混乱し、完全に失敗します。多様なタスクに適応するにはあまりにも硬すぎます。

解決策：LAVL（スマートなGPS）

著者らは、距離の捉え方に関する新しい考え方を用いたLAVLを提案しています。外見上の近さを測るのではなく、硬直な規則書に従うのではなく、LAVLはロボットにタスクの「隠れた幾何学」を理解させます。

1. 「潜在整合」（秘密の言語）：
迷路やアームの生ピクセルを見る代わりに、LAVLはロボットの状態とゴールを「秘密の言語」（潜在空間）に変換します。

アナロジー： ロボットとゴールが異なる方言を話していると想像してください。従来の手法は単語対単語で翻訳しようとしていました（ユークリッド距離）。LAVLは両方を、距離の「意味」が保持される普遍的な言語に翻訳します。
仕組み： ロボットは、画面で見ると近くても、この秘密の言語の中では「状態A」と「ゴールB」は遠く離れていることを学習します。これにより、「壁漏れ」エラーを防ぎます。直線距離だけでなく、交通や迂回路を理解するGPSを持っているようなものです。

2. 「連続性」の接着剤：
ロボットが長い経路を学習しようとするとき、内部の地図は不安定で揺らぎがちです。

アナロジー： ロボットの地図がしわくちゃになり続ける紙だと想像してください。ある瞬間にはゴールまで5ステップ、次の瞬間には小さな不具合だけで500ステップ離れていることになります。
修正： LAVLは「平滑化接着剤」（連続性正則化）を追加します。ロボットに「前の場所と非常に似た場所にいるなら、ゴールまでの距離の見積もりは激しく変化してはならない」と伝えます。これにより地図は安定し、滑らかになります。

3. 「階層的」なボスと労働者：
非常に長いタスク（巨大な迷路など）の場合、ロボットには計画が必要です。

アナロジー： LAVLは2段階のシステムを使用します。
- ボス（高レベル）： 全体像を見ます。「出口まで行かなければならない。まずは角を目指そう。」
- 労働者（低レベル）： 詳細を処理します。「よし、角に到着した。次に左に曲がって前進しよう。」
LAVLは、ボスと労働者が同じ「秘密の言語」（潜在整合）を話していることを保証し、混乱を防ぎます。

結果：なぜ重要なのか

著者らは、巨大な迷路のナビゲーションからロボットアームによるブロック積みまで、22の異なる課題を含む巨大なベンチマークOGBenchでこれをテストしました。

スコア： LAVLは22のデータセットのうち20で勝利しました。
長距離： 「巨大な」迷路（経路が数千ステップに及ぶ場合）では、他の手法は失敗するか立ち往生しました。LAVLは優れたパフォーマンスを維持しました。
継ぎ接ぎ： 一部のデータセットは、ロボットが完全な経路を形成するために「継ぎ接ぎ」しなければならない短い断片的なビデオクリップで構成されていました。LAVLは、以前の手法よりもこれらの点を接続する能力がはるかに優れていました。

まとめ

この論文は、古いデータからロボットを教える上での最大のボトルネックは、進捗を測るために間違った種類の「距離」を使用している点にあると主張しています。彼らは、到達の難しさではなく、物事がどのように「見えるか」を測定しています。

LAVLは以下の方法でこれを修正します：

真の難しさを測定するための「秘密の言語」（潜在整合）を学習する。
ロボットの内部地図を滑らかにし、揺らぎを防ぐ。
長く複雑なタスクを処理するためのボス/労働者システムを使用する。

その結果、ロボットはビデオライブラリから学習し、壁や長い距離に惑わされることなく、複雑な目標に到達する方法を実際に理解できるようになります。

技術的サマリー：オフライン目標条件付き強化学習における潜在表現の整合性

1. 問題定義

オフライン目標条件付き強化学習（GCRL）は、追加の環境相互作用なしに、固定された事前収集データセットを用いて任意の目標に到達する方策を学習することを目的としている。有望ではあるものの、長視野タスクにおいて信頼性の高い目標条件付き価値関数を学習することは依然として重大な課題である。本研究で特定された主要なボトルネックは、目標条件付き価値関数における誤った一般化である。

標準的な価値関数、特に多層パーセプトロン（MLP）によってパラメータ化されたものは、状態空間におけるユークリッド距離に基づいて一般化する傾向があり、時間的距離に基づいて一般化するわけではない。障害物（例えば迷路）やスパースな報酬を伴う環境では、これにより「価値の漏洩」が発生する。これは、物理的には目標に近いが時間的に遠く（壁や複雑なダイナミクスによって隔てられている）状態に対して、誤って高い値が割り当てられる現象である。その結果、ノイズの多い価値推定と脆い制御方策が生じる。さらに、準計量アーキテクチャ（例えば IQE、MRN）を通じてこれを解決しようとする既存の方法は、異なるドメイン間（例えば迷路ナビゲーションでは良好だが、ロボティクス操作では失敗する）で一貫性のない性能を示したり、学習の不安定性をもたらしたりする傾向がある。

2. 手法：潜在整合価値学習（LAVL）

著者は、新しい価値関数アーキテクチャと階層的計画フレームワークを統合したオフライン GCRL アルゴリズムである**潜在整合価値学習（LAVL）**を提案する。

2.1. 潜在整合ネットワーク（LAN）

中核的な革新は、価値一般化のための適切な帰納的バイアスを強制するように設計された価値関数アーキテクチャである**潜在整合ネットワーク（LAN）**である。

アーキテクチャ: 標準的な MLP や厳密な準計量モデルとは異なり、LAN は状態と目標の学習された潜在表現間の負のユークリッド距離として、目標条件付き価値 $V(s, g)$ をパラメータ化する。
$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$
ここで、 $\phi_S: \mathcal{S} \to \mathbb{R}^d$ および $\phi_G: \mathcal{G} \to \mathbb{R}^d$ は非対称な状態および目標表現ネットワークである。
メカニズム: 厳密な計量構造を破る（ $\phi_S \neq \phi_G$ を許容する）ことで、LAN は価値関数が生きた状態の近接性ではなく、学習された潜在空間の幾何学に基づいて一般化することを可能にする柔軟性を導入する。これにより、障害物を通じて価値が伝播する「過剰一般化」の問題が緩和される。
利点: LAN は、厳密な準計量制約（IQE など）に伴う学習の不安定性やドメイン固有の性能低下を回避しつつ、正確な時間的距離推定に必要な構造的バイアスを維持する。

2.2. 連続性正則化を伴う価値学習

長視野設定における学習を安定させるため、LAVL は標準的な暗黙的価値学習（IVL）目的関数に局所連続性正則化項を追加する。

目的関数: 全損失は、TD 目的関数（ $L_{TD}$ ）と、隣接状態間の価値関数の急激な局所的変動を罰する正則化項（ $L_{Reg}$ ）を組み合わせる。
$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$
機能: $L_{Reg}$ は、大域的なベルマンの一貫性を損なうことなく、価値ランドスケープ内の高周波ノイズを抑制し、長視野にわたるスパースな報酬の安定した伝播を確保する。

2.3. 階層的方策フレームワーク

LAVL は、HIQL に類似した階層的方策フレームワークを採用しており、以下で構成される。

高次方策（ $\pi_h$ ）: 現在の状態 $s$ と最終目標 $g$ に条件付けられたサブゴール表現 $w$ を生成する。LAVL において、サブゴールは目標のみのマッピング $w = \phi(g)$ として定義され、LAN のパラメータ化と自然に整合する。
低次方策（ $\pi_l$ ）: 状態 $s$ とサブゴール $w$ に条件付けられたアクションを出力する。
学習: 両方の方策は、LAN が提供する安定した価値推定を利用するアドバンテージ重み付け回帰（AWR）を用いて学習される。

3. 主要な貢献

本論文は、3 つの主要な貢献を概説している。

誤った一般化の特定: 著者は、長視野タスクにおけるオフライン GCRL の失敗は、本質的に価値関数が時間的距離ではなくユークリッド距離を介して一般化することによって引き起こされることを特定した。彼らは、この問題を解決する鍵が学習目的そのものではなく、価値関数アーキテクチャにおける帰納的バイアスであることを実証する。
LAVL の提案: 信頼性の高い価値一般化のための潜在整合ネットワーク（LAN）、安定した学習のための連続性正則化、および長視野計画のための階層的方策を統合した統一フレームワークである LAVL を導入する。
経験的優位性: OGBenchベンチマークにおける広範な実験により、LAVL が既存の最先端オフライン GCRL 手法を一貫して上回ることを示す。

4. 実験結果

著者は、OGBench の 22 のデータセット（迷路ナビゲーション：Point、Ant、Humanoid およびロボティクス操作：Cube、Scene タスク）において、LAVL を評価した。これらは、異なる視野長およびデータ収集戦略（ナビゲート対ステッチ）を網羅している。

全体的な性能: LAVL は 22 のデータセットのうち20で最高性能を達成し、GCIVL、QRL、HIQL、CGCIVL などのベースラインを大幅に上回った。
長視野の安定性: 「巨大」迷路環境において、LAVL は成功率を 85% 維持し、中規模の迷路と比較して相対的な低下はわずか 9.6% であった。これに対し、HIQL や QRL などのベースラインは壊滅的な性能低下（それぞれ相対低下 75.4% および 61.7%）を被った。
軌道ステッチング: 「ステッチ」データセット（短い断片化された軌道で構成）において、LAVL はナビゲートデータセットと比較して最小限の性能低下（1.1%）を示したが、他の手法は大幅に劣化（例えば HIQL で 36.9% の低下）した。
ロボティクス操作: 操作タスクで失敗する準計量手法（QRL など）とは異なり、LAVL は高い成功率（Scene-play で 88% など）を達成し、多様なドメインにおける LAN の堅牢性を示した。
アブレーション研究: 実験により以下の点が確認された。
- LAN は、同一の階層的フレームワーク内において、準計量アーキテクチャ（IQE、MRN）および計量ベースのアプローチ（Hilbert）を上回る。
- LAN と階層的方策の組み合わせは、フラットな方策、または LAN のみとフラットな方策の組み合わせと比較して優れた結果をもたらす。
- 連続性正則化は、困難なタスクにおいて顕著な改善をもたらす（例えば、ある設定において Pointmaze-giant-stitch の成功率を 35% から 95% に引き上げる）。

5. 意義と主張

本論文は、価値一般化の根本的なボトルネックに対処することで、LAVL がオフライン GCRL における重要な進展を表すと主張する。

アーキテクチャ的洞察: この研究は、信頼性の高い一般化を達成するために、学習目的よりも価値関数アーキテクチャの選択の方が重要であることを浮き彫りにする。最適な価値関数は準計量的であるが、学習中に厳密な準計量制約を強制することは過度に制限的であるとの見解を示し、その代わりに学習された潜在整合がより効果的な帰納的バイアスを提供すると論じる。
統一フレームワーク: LAVL は、効果的な一般化、安定した価値学習、および階層的計画を成功裡に統合し、長視野推論および軌道ステッチングを必要とするタスクにおける堅牢な性能を可能にする。
実用的影響: この手法は、広範なハイパーパラメータ調整やオラクル表現を必要とすることなく最先端の結果を達成するため、複雑なオフライン意思決定問題に対する実用的な解決策となる。

著者は、自らの研究が価値学習と階層的抽出に焦点を当てているが、アーキテクチャ的帰納的バイアスに関する知見はより広範な価値ベースの RL アルゴリズムにも拡張可能であり、将来の研究ではこれらの手法を高次元の実世界ロボティクス制御へ拡張することが検討されうると結論づけている。