🤖 machine learning

Zero-shot Imitation Learning by Latent Topology Mapping

本論文は、誤差蓄積により従来の手法が失敗する複雑な環境において、エージェントが未見の長期目標条件付きタスクの計画と解決を成功させることを可能にする、潜在ハブ状態を特定して構成可能なハブ間遷移を学習するゼロショット模倣学習手法である ZALT を導入する。

原著者： Maxwell J. Jacobson, Yexiang Xue

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Maxwell J. Jacobson, Yexiang Xue

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で複雑な迷路をナビゲートするロボットを教えることを想像してください。ロボットは、特定の色の鍵を拾い、特定のドアを開け、輝く宝石を掴み、それらを非常に特定の順序でバレルに落とす必要があります。

問題は、ロボットがこれらのタスクのあらゆる可能な組み合わせを成功させる動画が一つもないことです。あるタスクの一部を実行する動画がいくつかあるだけです。もし、ロボットに新しい、未見の組み合わせを、生の動きをステップごとにコピーさせるだけで教えようとすれば、おそらく失敗するでしょう。なぜでしょうか？長い旅路では、小さな誤差が積み重なるからです。5 番目のステップでロボットがわずかに左に回りすぎると、50 番目のステップでは完全に別の部屋にいるかもしれません。

この論文は、この問題を解決する「ZALT（Latent Topologies からの Zero-shot Agents）」と呼ばれる手法を紹介しています。その仕組みを簡単に説明します。

1. 問題：「ステップバイステップ」の罠

複雑な料理のレシピを、「スプーンを拾う、2 インチ左に動かす、手首を 5 度傾ける」といった、あらゆる微小な動きを列挙して書こうと想像してください。最初の動きで間違えれば、料理全体が台無しになります。

論文の迷路において、ロボットはスタートからゴールまで到達するために、数百もの微小な動き（プリミティブな行動）を行わなければなりません。ロボットが新しい経路を、すべての動きを推測して学ぼうとすれば、小さな誤差が積み重なり、道に迷ってしまいます。

2. 解決策：「ハブ」駅の発見

ZALT は、手持ちのわずかな動画を見て、「これらの経路はどこで交差しているか？どこで分岐しているか？」と問いかけます。

そして、特別な「ハブ状態」を特定します。これらは都市の主要な鉄道駅のようなものです。

収束： 多くの異なる経路がこの駅に集まります（例：北、南、東から来た全員が「セントラル駅」で合流する）。
発散： この駅から、多くの異なる方向へ進むことができます（例：「セントラル駅」から、ビーチ、山、または街へ向かう列車に乗れる）。

旅のすべてのステップを記憶する代わりに、ZALT は迷路をこれらの駅の地図に変換します。駅間の歩行の細部は無視し、駅間の接続に焦点を当てます。

3. 学習方法：「トポロジカル・マップ」

ZALT は、以下のような精神的な地図（トポロジ）を構築します。

ノードはハブ駅です（例：「廊下の交差点」や「鍵の部屋」）。
エッジはそれらの間の実証済みの経路です（例：「鍵の部屋から廊下への経路」）。

それは 2 つのことを学びます。

地図： どの駅がどの駅に接続しているか？（例：「鍵を持っている場合のみ、廊下からドアへ行くことができる」）。
ドライバー： 地図上のすべての道路ごとに、特定の「ドライバー」（方策）を訓練します。あるドライバーは廊下からドアへの行き方を正確に知っています。別のドライバーはドアから宝石への行き方を知らっています。

4. 新しいタスクの解決：「ゼロショット」の魔法

さて、ロボットにこれまで見たことのない新しいタスクを与えたと想像してください。「裏口から始まり、緑の宝石を入手し、次に赤の宝石を入手せよ」というものです。

ロボットはこの正確な旅を見たことはありません。しかし、地図を知っています！

地図上の「裏口」駅を見つけます。
「緑の宝石」と「赤の宝石」の駅を見つけます。
地図を見て経路を計画します：裏口駅 -> 廊下駅 -> 鍵の部屋 -> 緑の宝石駅 -> 廊下 -> 赤の宝石駅。
歩数を推測するのではなく、旅の各区間ごとに事前に訓練された「ドライバー」を呼び出します。「廊下からドアへ」のドライバーに仕事を任せ、次に「ドアから宝石へ」のドライバーに仕事を任せ、という具合です。

「歩行」レベル（低レベル）ではなく、「駅」レベル（高レベル）でのみ意思決定を行うため、小さな誤差が蓄積することはありません。以前に見たことのある部品のみを使用して、全く新しい旅を組み立てることができます。

結果

研究者たちは、鍵、施錠されたドア、宝石を備えた複雑な 3D 迷路でこれをテストしました。

従来の方法（ベースライン）： 新しいタスクを与えられた場合、既存の最良の方法でも成功したのはわずか**6%**でした。一度に長い経路全体を記憶しようとしたため、道に迷ってしまいました。
ZALT： 以前に見たことのないタスクにおいて、**55%**の成功率を達成しました。

結論

ZALT は、ハイキングのすべてのステップを見せるのではなく、トレイルマーカーとキャンプ場を見せることで旅行者を教えるようなものです。一度キャンプ場の場所と、それらの間を移動する方法を知れば、同じキャンプ場を利用する限り、これまで行ったことのない新しいトレイルをどうハイキングするかを自分で見つけることができます。

この論文は、この手法によって、エージェントが限られた数の練習動画で見つかった「ハブ（主要な場所）」を再組み合わせるだけで、これまで見たことのない長く複雑なタスクを解決できると主張しています。

技術的概要：潜在トポロジーマッピングによるゼロショット模倣学習（ZALT）

問題定義

本論文は、長期・条件付き模倣学習におけるゼロショット行動の構成という課題に取り組む。この設定において、エージェントは、可能なスタート・ゴールタスクのサブセットのみを網羅する固定されたオフラインの専門家デモンストレーションデータセットを提供される。目的は、エージェントが追加の環境相互作用や方策最適化なしに、未見のスタート・ゴールの組み合わせを解決することである。

核心的な難しさは、長期の軌道にわたる誤差の蓄積にある。行動クローニングやモデルベースの模倣などの既存手法は、この領域では失敗することが多い。なぜなら、エージェントがデモンストされたスタート・ゴール分布外で行動を構成しようとする際、小さな方策、モデル、または分布シフトの誤差が、数百のプリミティブな動作ステップにわたって増幅されるからである。本論文は、固定されたデータセットが新しいタスクの完全な軌道を持たない場合でも、必要な局所的な行動セグメントを含んでいる可能性が高いと仮定する。課題は、これらのセグメントを確実に再構成する方法を学習することである。

手法：ZALT

著者は、デモンストレーションの固定セットを計画用の構成可能な高次構造に変換する**潜在トポロジーマッピングからのゼロショットエージェント（ZALT）**を提案する。このアプローチは、主に 4 つの段階から構成される。

1. 潜在ハブの発見

ZALT はまず、デモンストレーションデータ内の「ハブ状態」を特定することで行動トポロジを構築する。これらのハブは、軌道が収束または発散する再利用可能な接合点として機能する。

潜在空間: 高次元の観測を処理するために、ZALT は低次元のエンコーダ・ダイナミクス・デコーダモデルを使用して、状態をダイナミクス整合の潜在空間にマッピングする。この空間は、行動に基づいて未来の状態を予測するように訓練され、視覚的に類似したものではなく、行動的に類似した状態がクラスタリングされるように設計されている。
ハブの特定: ハブは、以下の条件を満たす潜在クラスタとして定義される。
- 収束: 複数の異なる先行軌道が同じクラスタに入る。
- 発散: 単一のクラスタが複数の異なる未来軌道につながる。
- 開始/終了: 初期状態と終端状態もハブとして扱われる。
重要性: これらのハブを特定することで、ZALT は長いプリミティブ動作の地平を、抽象的な遷移の短い系列に圧縮し、誤差を軌道全体ではなくハブ間のリンクに限定する。

2. 高次ハブダイナミクスモデルの学習

トポロジ（ハブとエッジのグラフ）が確立されると、ZALT はこれまでに訪れたハブの系列（ $h_{0:m}$ ）に基づいて次のハブを予測する高次ダイナミクスモデル（ $M^{high}$ ）を学習する。

文脈認識: 単純なグラフ探索とは異なり、このモデルはパス依存情報を捉えるために GRU を使用する。例えば、廊下のハブに到達しても、エージェントが以前に特定の鍵を収集したかどうかによって、異なる結果につながる可能性がある。
マスキング: モデルはトポロジーマスキングを用いて訓練される。デモンストレーションのエッジによってサポートされていない遷移にはゼロ確率が割り当てられ、計画者がサポートされていない行動を試みるのを防ぐ。

3. ハブ間方策の学習

トポロジ内の各エッジ（ハブ $h_i$ から $h_j$ への遷移）について、ZALT はターゲットハブの埋め込みを条件とした特定の低次方策（ $\pi_{h_i}$ ）を訓練する。

行動クローニング: これらの方策は、特定のソースハブとターゲットハブを接続するデモンストレーションからのプリミティブ動作セグメントを用いた行動クローニングによって訓練される。
頑健性: タイミングのばらつきや境界検出エラーに対処するため、訓練には確率的な境界摂動（セグメントの切り捨てまたは延長）と観測ノイズが含まれる。

4. ゼロショット推論

テスト時には、新しいスタート・ゴールのペアが与えられると、以下の手順で処理される。

マッピング: スタート観測がエンコードされ、スタートハブ（ $h_s$ ）に一致する。ゴールは、一連の終端成功ハブ（ $H_g$ ）に一致する。
探索: 探索アルゴリズム（ボトルネック遷移コストを使用）が、 $h_s$ から任意の $h_g \in H_g$ への最も妥当な経路を見つけるために行動トポロジを探索する。探索は、履歴に基づいて経路の妥当性をスコアリングする高次ダイナミクスモデルに依存する。
実行: 生成された抽象的な計画（ハブの系列）は、対応する学習済みのハブ間方策を連鎖させることで実行される。

主要な貢献

潜在トポロジーマッピング: 再利用可能な接合点として行動構成に明示的に識別・活用される潜在ハブ状態（収束/発散）を特定・利用する手法の導入。
地平圧縮: 数百のプリミティブな意思決定から、抽象的なハブ遷移の短い系列へと長期の計画を削減するメカニズム。これにより、誤差蓄積の機会が大幅に減少する。
パス依存ダイナミクス: 現在の状態だけでなく、訪れたハブの系列に基づいて将来の予測を条件付ける高次モデル。これにより、エージェントは経路履歴に暗黙的にエンコードされた文脈（例：インベントリ状態）について推論できる。
ゼロショット構成: 訓練で見たことのないスタート・ゴールのペアを持つタスクを解決できるフレームワーク。ただし、必要な局所的な行動セグメントがデモンストレーションデータセットに存在することが前提となる。

実験結果

著者は、順序付けられた物体操作（鍵、施錠されたドア、ダイヤモンド、樽）を必要とする複雑な 3D 迷路環境（MiniWorld/CARL 風）において ZALT を評価した。タスクには、特定の鍵への移動、ドアの解錠、アイテムの収集、および特定の順序での保管が含まれる。

データセット: 36 通りの可能なスタート・ゴールペアのうち 18 通りのみを網羅する、18 件の成功デモンストレーションと 120 件の失敗デモンストレーション。
ゼロショット性能: ZALT は、18 件の未見のスタート・ゴールペアにおいて55% の成功率を達成した。
ベースラインとの比較:
- DQN+BC: 6% の成功率（最も強力なベースライン）。
- CQL, IQL, Option-Critic: 0% の成功率。
- 既知のタスク: ZALT は既知のタスクで 72.2% の成功率を達成したのに対し、最も強力なベースラインは 11% にとどまった。これは、環境が標準的な模倣学習にとっても困難であることを示している。
効率性: 成功した ZALT の計画は、約 244〜281 のプリミティブなタイムステップを約 33 のハブレベルの遷移に圧縮した（平均エッジ長は約 7.9 動作）。
アブレーション研究:
- 高次ダイナミクスモデルを除去し（BFS に置き換え）、成功率は 0% となった。これは、パス依存予測なしでは生トポロジの接続性だけでは不十分であることを証明している。
- 低次元エンコーダから GRU メモリを除去すると、成功率は 0% となった。これは、ハブの発見が直近の視覚観測を超えた行動文脈（例：収集された鍵）を必要とすることを証明している。
オンライン適応: 500 エピソードのオンライン相互作用後、ベースラインは性能を回復できなかった。これは、練習不足ではなく、長期地平とスパースな報酬に起因する困難であることを示唆している。

重要性と主張

本論文は、ZALT が明示的な行動トポロジが、長期模倣学習におけるゼロショット一般化にとって重要な要素であることを実証していると主張する。著者らは、標準的な手法が完全なスタート・ゴール経路が分布外にある場合に苦労するのに対し、ZALT はデータ内に存在する「局所的な行動の断片」を活用することで成功すると論じている。

その重要性は、あらゆる可能なタスク変種に対する完全なデモンストレーションセットを必要とせずに、複雑で構成可能なタスクを解決できる点にある。計画地平を圧縮し、再利用可能な行動セグメントの接続性を明示的にモデル化することで、ZALT は長期方策を悩ませる誤差蓄積の問題を克服する。著者らは、このアプローチが、あらゆる可能なタスクの組み合わせに対する専門家軌道の収集が不可能な対話環境におけるエージェントの訓練にとって有望な方向性を提供すると結論づけている。

本論文はその範囲について控えめであり、この手法はデモンストレーションに再利用可能な行動接続性の存在を前提とし、ハブの品質は学習された潜在表現に依存することを指摘している。今後の研究として、ハブ形成を駆動する要因の探求や、フレームワークのオンライン学習またはハイブリッド学習設定への適応が提案されている。