🤖 machine learning

Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization

本論文は、学習されたレゾルベント・ワールドモデルと仮想的なシンク状態を通じて状態空間の占有被覆率を最大化することにより、ダウンストリームタスクにおける疎な報酬に対して迅速に適応する転移可能な探索ポリシーを生成する、報酬フリーの事前学習手法であるROVERを導入するものである。

原著者： Marco Pratticò, Pietro Novelli, Massimiliano Pontil, Carlo Ciliberto

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Marco Pratticò, Pietro Novelli, Massimiliano Pontil, Carlo Ciliberto

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で暗い迷路をナビゲートするようにロボットを訓練していると想像してください。問題は？ロボットは、偶然出口にたどり着くまで、一切のフィードバック（「よくできました」や「やり直し」など）を受け取ることができません。これは「スパース報酬（希薄な報酬）」と呼ばれる問題です。ほとんどのロボットは、どこを探すべきか分からないため、迷路の中をぐるぐると回ったり、同じ小さな角を何度も探索し続けたりして、行き詰まってしまいます。

この論文は、この問題を解決するための新しい訓練手法であるROVER（Occupancy coVERage maximizationによる報酬フリーの事前学習）を紹介しています。その仕組みを、簡単な比喩を用いて説明します。

1. 問題点：「飽きっぽい探索者」

ロボットに「迷路を探索せよ」と命じられた場面を想像してください。

従来の手法は、新しい部屋に駆け込み、すぐに飽きて別の新しい部屋へと走り出す好奇心旺盛な子供のようなものです。彼らは最終的にはすべての部屋を訪れるかもしれませんが、そこに留まることはありません。もし後で特定の部屋へ行くよう頼まれたとしても、常に「最新の」ものばかりを追いかけていたため、そこへの経路を忘れてしまっているかもしれません。
本論文では、ロボットが将来役に立つためには、バランスの取れた地図を学ぶ必要があると主張しています。単に新しい場所を訪れるだけでなく、すでに知っている場所に戻る方法も覚える必要があり、迷路全体を安定して均一にカバーしなければなりません。

2. 解決策：ROVERの「均一に広げる」戦略

ROVERは、まだ出口を探そうとはしません。代わりに、ロボットにトーストにバターを塗るような動きをするよう訓練します。

目標は、ロボットが迷路のあらゆる場所をほぼ同じ時間だけ訪れるようにすることです。
ROVERは、「カーネル」と呼ばれる数学的なトリックを用いて、ロボットの訪問がどれくらい「固まっているか」を測定します。もしロボットが特定の角に固執していたら、数学が「おい、固まりすぎだ！もっと広げろ！」と指示を出します。
これにより、ロボットがいざ特定のタスク（「出口を見つけろ」など）を与えられたとき、迷路全体の完全で信頼できる地図をすでに持っている状態にすることができます。

3. 秘密兵器：「シンク（吸収）」状態

こうした探索者たちが抱える大きな問題の一つは、モデルがまだ理解していない場所に移動しようとすると混乱してしまうことです。それは、既知のマップから外れた途端にクラッシュしてしまうGPSのようなものです。

解決策： 著者らは、仮想的な**「シンク状態（Sink State）」**（「ブラックホール」や「未知の領域のための安全な保留場所」と考えてください）を追加しました。
ロボットがまだ理解していない迷路の領域へ移動しようとしたとき、モデルがクラッシュしたりデタラメに推測したりする代わりに、数学的な処理がその「未知の」動きを優しくこの「シンク」へと押し込みます。
なぜこれが役立つのか： これにより、ロボットが「新しい部屋を探索する → 混乱する → 古い部屋を忘れる」というループに陥るのを防ぎます。シンクは安全弁として機能し、すでに知っている場所の把握を失うことなく、領域を拡大することを可能にします。

4. 結果：より優れたスタート地点

論文では、ROVERをグリッド状の迷路（単純な数値を用いたものや、ピクセル化された画像を用いたもの）でテストしました。

結果： ROVERで訓練されたロボットは、他の手法を用いたロボットよりもはるかに均一に迷路を探索しました。
恩恵： これらのロボットに後に特定のゴールを見つけるよう命じた（ダウンストリーム・タスク）ところ、彼らは非常に速く学習しました。すでに安定した完全な地図という基礎を築いていたため、基本事項を再発見するために時間を浪費する必要がなかったのです。

まとめ

ROVERを、ロボットのための**「事前訓練キャンプ」と考えてください。暗い迷路の中に目隠しをして送り込み、出口を見つけるのをただ祈るのではなく、ROVERはまず、エリア全体に注意を均一に広げる徹底的な探索者**になるよう訓練します。それは、未知の領域を安全に扱うための「シンク」を利用します。ロボットに本当の仕事が与えられる頃には、それは混乱した放浪者ではなく、その領域の完全なメンタルマップを持つ、熟練したガイドとなっているのです。

技術要約：占有率被覆最大化による報酬フリー事前学習

問題提起

疎な報酬（Sparse rewards）は、エージェントが特定の目標に到達するまで有益なフィードバックを受け取れないという、強化学習における根本的な課題を提示します。内発的報酬（例：新規性、予測誤差、スキルの多様性など）を用いる手法は、オンラインでの評価、あるいは蓄積された遷移のオフライン・リラベル（再ラベル付け）を通じて外的な報酬を評価できることを前提としています。しかし、この仮定は、相互作用が厳密に報酬フリーであり、ダウンストリームの報酬関数がエージェントがタスク依存の目標に実際に到達するまで利用できないマルチタスク、メタ学習、および継続学習の設定においては成立しません。

既存の報酬フリーの目的関数は、非定常性に悩まされることが多くあります。状態のマージナル一致、予測誤差、またはスキルの多様性を最適化する手法は、事前学習中に多様な状態を発見することはできても、その*割引された状態占有量（discounted state occupancy）*が広く分布したポリシーを維持することには失敗することがあります。その結果、最終的なポリシーは小さな領域に集中したり、振動的な「拡張と崩壊（expansion-collapse）」挙動を示したりし、疎な報酬タスクに対する堅牢な初期化を提供できなくなります。

手法：ROVER

著者らは、ターゲットとなる分布やオフラインの報酬評価を必要とせずに、状態空間の被覆を最大化する転移可能な探索ポリシーを事前学習するために設計されたアルゴリズム、ROVER（Reward-free pretraining via Occupancy coVERage maximization）を提案しています。

1. 目的：占有率被覆の最大化

ROVERは、再生核ヒルベルト空間（RKHS）内における割引された状態占有測度 $d^\pi$ の自己類似性を最小化することを事前学習の目的として定式化します。

定式化: この目的関数は $J(\pi) = \|\mu_{d^\pi}\|_H^2$ と定義されます。ここで $\mu_{d^\pi}$ は占有測度のカーネル平均埋め込みです。
理論的等価性:
- このノルムを最小化することは、次数2のメトリック・レニー・エントロピー（metric Rényi entropy）を最大化することと等価です。
- Diracカーネルを用いたタブラー設定では、これは最大平均偏差（MMD）距離を一様分布への距離を最小化することと等価であり、明示的に一様なターゲットを定義することなく、実質的に一様な被覆を促進します。
- 学習された表現空間においては、表現によって誘導される幾何学的な多様性を促進します。

2. アルゴリズムの実装

ROVERは、目的関数を計算可能かつ微分可能な閉形式にするために、演算子的（operatorial）なRLの定式化を活用しています。アルゴリズムは、データ収集と以下の3つのステップを交互に繰り返します。

表現学習: 特徴写像 $\phi_\theta$ を、遷移データからInfoNCEコントラスト学習を用いて学習し、予測された次状態の表現を実際の次状態に整合させます。これにより、被覆目的のための幾何学が定義されます。
ワールドモデルの推定（遷移演算子）: 学習された表現に対してカーネルリッジ回帰（KRR）を用いることで、リフトされた遷移演算子 $\hat{T}_n$ を推定します。この演算子は、状態・行動の特徴を次状態の埋め込みへと閉形式で写像します。
ポリシー・ミラー降下法（PMD）: ポリシーは、ポリシー・ミラー降下法を用いて目的関数 $J(\pi)$ を最小化するように更新されます。目的関数の勾配は、遷移演算子のレゾルベント（resolvent）を用いて閉形式で導出されるため、サンプリングベースの勾配推定を行うことなく効率的な更新が可能です。

3. シンク状態（Sink-State）の拡張

ROVERの重要な構成要素は、現在のデータによってサポートされていない状態空間の領域を扱うための、仮想的な「シンク（吸収）」状態（ $s_{S_\epsilon}$ ）の導入です。

メカニズム: 状態空間は吸収的なシンク状態によって拡張されます。遷移演算子は、説明できない残差（未知の状態・行動ペアに対する予測値）をゼロベクトルではなく、このシンク状態へとルーティングするシフトされたリッジ問題を用いて推定されます。
安定化: これにより、新しい領域の発見と既知の被覆の忘却の間でポリシーが振動する「拡張と崩壊」の挙動を防ぎます。シンク状態は、サポートされていない領域に占有量を割り当てることにコストを課すことで、探索と既知の被覆の保持のバランスを取ります。
目的関数の分解: 全体の目的関数は、元の空間における占有量のノルムと、ハイパーパラメータ $\epsilon$ によって制御される、シンク状態に割り当てられた質量に比例するペナルティ項へと分解されます。

主な貢献

ターゲットフリーの定式化: 著者らは、報酬フリーの行動転移のためのターゲットフリーなRKHS目的関数として、占有率被覆を定式化し、それをMMDマッチング、レニー2次多様性、およびポテンシャル論的エネルギー最小化に関連付けました。
演算子ベースのポリシー更新: 著者らは、学習されたレゾルベント・ワールドモデルを用いて、この目的関数を最小化するための閉形式の演算子ベースのポリシー更新を導出しました。これにより、プロキシベースの手法に見られる非定常性の問題を回避しています。
シンク状態の拡張: 仮想的なシンク状態の導入により、部分的なデータ下での被覆を安定化させ、循環的な拡張・崩壊挙動を防ぎ、以前に訪問した領域の被約を保持することを保証します。

実験結果

著者らは、トポロジー的なボトルネック（例：Middle-Room, Multi-Rooms, Maze）を分離して分析するために設計された、制御された完全観測の疎なナビゲーション環境（タブラーおよびピクセルベース）においてROVERを評価しています。

被覆効率: ROVERは、ゼロから学習する場合、ベースライン（RND, SMM, APT, MAXENT, CIC）よりも大幅に速く全状態空間の被覆を達成します。
安定性と転移: 一時的に状態を発見しても占有量が局所化してしまうベースラインとは異なり、ROVERは広く分布した割引占有量を持つポリシーを生成します。これにより、ダウンストリームのモデルフリーRL（DDPG, SAC）の初期化として強力に機能し、目標到達に必要なサンプル数を削減します。
オフライン転移: オフラインRL（CQL, DDPG）の設定において、ROVERによって生成されたリプレイバッファは、ダウンストリーム学習を効果的にサポートします。分布は他の手法（例：CICはより均質なデータを作成する一方、ROVERは開始地点やボトルネック付近で高い密度を保持する）とは異なりますが、ROVERのデータ構造はCQLのような保守的なアルゴリズムにとって特に効果的です。
堅牢性: 手法はハイパーパラメータに対して堅牢であることを示していますが、シンク状態のノルム $\epsilon$ の極端な値は探索を妨げる可能性があります。

意義と主張

本論文は、ROVERを、報酬フリーの行動転移のための標準的な目的関数として、占有率被覆を確立するための原理的な一歩として位置付けています。

限定的な範囲: 著者らは、被覆目的を直接分析し、その挙動を分離するために、本研究が離散的な行動空間と単純な環境に限定されていることを明示しています。これは、ROVERを直ちに高次元ドメイン向けの完全にスケーラブルな探索アルゴリズムとして提示するためではありません。
核心的な洞察: 主要な貢献は、一時的な新規性やスキルの多様性を最適化する手法よりも、安定した閉形式の演算子アプローチを通じて占有率被覆を最大化する方が、本質的に疎な報酬の転移に適したポリシーを生み出すことを示した点にあります。
今後の展望: 著者らは、高次元ドメインのためのスケーラブルな表現の開発、レゾルベント目的の近似実装、および連続的な行動や部分観測への拡張を今後の課題として挙げています。