技術的概要：マルチゴールオフライン強化学習のためのゴール条件付き決定トランスフォーマー

問題定義

ロボティクスにおける強化学習（RL）は、サンプル効率と変化するゴールに対する汎化能力に関する重大な課題に直面している。標準的なオンラインアルゴリズムは継続的な環境との相互作用を必要とするが、安全性のリスク、ハードウェアの摩耗、時間の制約により、現実世界のハードウェアでは実用的でないことが多い。シミュレーションは部分的な解決策を提供するが、頻繁に「シミュレーションから現実（sim-to-real）」のギャップに悩まされる。

オフライン RL は、事前に収集されたデータセットから完全に最適な方策を学習することを可能にすることで、これらの限界に対処し、リスクのあるオンライン探索の必要性を排除する。しかし、既存のオフライン手法はしばしば単一の固定タスクに焦点を当てており、汎用ロボティクスにとっては不十分である。さらに、決定トランスフォーマー（DT）は RL を条件付き系列モデル化問題として再定義することに成功したが、そのマルチゴールオフラインシナリオ、特にスパースな報酬とロボティックマニピュレーションを伴うものへの応用は未だ十分に探求されていない。

手法

著者は、オフラインマルチゴールロボティクスに適応した**ゴール条件付き決定トランスフォーマー（GC-DT）**を提案する。中核となる手法は、標準的な DT アーキテクチャを修正し、系列モデル化フレームワーク内で明示的にゴール情報を処理するようにするものである。

1. アーキテクチャの適応

スカラーリターンを条件とする標準的な DT と異なり、GC-DT は構造化されたゴールデータを直接入力系列に組み込む。マルチゴール環境では、観測空間は以下の辞書を含む：

• $o_t$：現在の観測。
• $g_d$：望ましいゴール。
• $g_a$：達成されたゴール。

時刻 $t$ における状態は、タプル $s_t = (o_t, g_d, g_a)$ として定義される。トランスフォーマーを適応させるため、これらのベクトルは平坦化され、単一の入力ベクトルに連結される：
$$s_t = [o_t^{(0)}, \dots, o_t^{(n)}, g_d^{(0)}, \dots, g_d^{(m)}, g_a^{(0)}, \dots, g_a^{(m)}]$$

望ましいゴール（$g_d$） alongside 達成されたゴール（$g_a$）を含めることで、モデルは明示的な距離指標や報酬整形を必要とせずに、ターゲットへの進捗を暗黙的に推論できる。これにより、自己回帰モデルは、軌道全体にわたるゴール達成に関する時間的に拡張されたクレジット割り当てを実行できる。

2. データセットと学習

モデルは、Panda-Gym スイート経由でFranka Emika Panda環境から生成されたデータを用いて、完全にオフラインで学習される。データセットには以下が含まれる：

• エキスパートデータ：100 万ステップで評価された収束した Truncated Quantile Critics（TQC）エージェントからの軌道。
• ランダムデータ：エージェントが動作を一様サンプリングして生成した軌道。
• 混合：データ効率とノイズ耐性をテストするための、エキスパートデータとランダムデータのさまざまな組み合わせ。

著者はまた、再現性を支援するために、この専門的なオフラインデータセットを公開している。

3. タスクと報酬構造

このアプローチは、3 つのロボティックマニピュレーションタスクで評価される：Reach（エンドエフェクタの位置決め）、Push（キューブの移動）、PickAndPlace（物体の持ち上げと移動）。性能は、2 つの報酬構造の下でテストされる：

• スパースな報酬：二値フィードバック（成功で 0、そうでなければ -1）。
• 密な報酬：達成されたゴールと望ましいゴール間の負のユークリッド距離。

主要な貢献

本論文は、3 つの主要な貢献を概説している：

1. アーキテクチャの拡張：明示的なゴール条件付け（望ましいゴールと達成されたゴール）を入力系列に組み込むことで、マルチゴール設定を処理するように決定トランスフォーマーを拡張する。
2. データセットの公開：Franka Emika Panda プラットフォーム上のマルチゴールロボティックマニピュレーションのための専門的なオフライン RL データセットを公開する。
3. 実証的検証：GC-DT アプローチが、オフライン設定、特にスパースな報酬信号の下で、最先端のオンラインベースライン（TQC+HER）および行動模倣（BC）を上回ることを実証する。

実験結果

実験は 3 つのランダムシードを用いて行われ、GC-DT を行動模倣（BC）およびヒンズサイト・エクスペリエンス・リプレイを備えた TQC（TQC+HER）と比較した。

比較性能

• 複雑なタスク：密な報酬を伴うより複雑なPushおよびPickAndPlace環境において、GC-DT は平均リターンと成功率の両方で TQC+HER および BC を一貫して上回った。
• 効率性：GC-DT は、オンラインの TQC+HER ベースライン（240 分）と比較して、大幅に短い学習時間（80 分）でこれらの結果を達成した。
• スパースな報酬：GC-DT はスパースな報酬設定において優れた頑健性を示した。PickAndPlace タスクにおいて、GC-DT は有意に高いリターン（TQC+HER の -16.96 に対して -7.63）を達成し、97.8% の成功率を維持したのに対し、TQC+HER の成功率は 77.0% に低下した。

データ効率と頑健性

• データセットサイズ：Reach タスクでは、パフォーマンスはデータセットサイズに対して不変であった。複雑なタスクでは、データが 25 万サンプルを下回った場合にのみパフォーマンスが低下した。10 万サンプルであっても、モデルは密な設定で 96% 以上の成功率を維持した。
• エキスパートデータの比率：モデルはノイズに対して驚くべき頑健性を示した。データセットが25% のエキスパートデータ（75% のランダム軌道と混合）のみで構成されていても、GC-DT は複雑なタスクで 80% 以上の成功率を維持した。この閾値を下回った場合にのみ、パフォーマンスは急激に低下した。

意義と主張

著者は、提案されたゴール条件付き決定トランスフォーマーが、オフライン RL とマルチゴールロボティック制御の間のギャップを効果的に埋めると主張している。彼らは、モデルの頑健性、特にスパースな報酬設定におけるそれは、自己注意による長期的なクレジット割り当てを行うトランスフォーマーの能力に起因すると仮説を立てている。

本論文は、このアプローチが PickAndPlace などの複雑なタスクにおいて、トレーニングデータを生成するために使用されたエキスパート方策さえも上回ることができると主張している。さらに、これは、オンライン相互作用を必要とせずに不完全なデモンストレーションとスパースなフィードバックを処理できる、オフラインマルチゴールロボティクスにおける従来のオンラインアクター・クリティック手法に対する実行可能かつ頑健な代替手段であることを確立している。

将来の作業としては、このフレームワークを継続学習設定に拡張し、異質なエキスパート軌道を用いて学習することが特定されている。