🤖 machine learning

ASH: Agents that Self-Hone via Embodied Learning

原著者： Benjamin Schneider, Xavier Schneider, Victor Zhong, Sun Sun

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

原著者： Benjamin Schneider, Xavier Schneider, Victor Zhong, Sun Sun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが『ポケットモンスター』や『ゼルダの伝説』のような、非常に長く複雑なビデオゲームの遊び方を学ぼうとしていると想像してください。ただし、取扱説明書も、先生も、どのボタンを押すべきかを教えてくれる人もいないとします。このように学ぼうとするほとんどのコンピュータプログラムは、数時間後に行き詰まってしまいます。なぜなら、それらは人間が慎重にラベル付けした膨大なデータや、事前に書かれたルールに依存しているからです。

この論文は、ASH（Embodied Learning による自己研鑽を行うエージェント）と呼ばれる新しいシステムを紹介しています。ASH を単にスクリプトに従うロボットとしてではなく、Google の使い方を心得た「好奇心旺盛な人間のプレイヤー」として考えてみてください。

ASH の仕組みを、簡単なステップに分解して説明します。

1. 「行き詰まる」瞬間

ASH はゲームをプレイし始めます。それは、過去 30 秒間に何があったかという短期記憶と、以前に見た重要な瞬間を覚えている長期記憶を持っています。ASH は、壁にぶつかるまでプレイを続けます。例えば、モンスターとの戦い方がわからない、あるいは迷路でどの道を進めばよいかわからないといった状況です。論文の用語では、これが「行き詰まる」状態です。

2. 「Google 検索」

ASH が行き詰まっても、諦めません。代わりに、画面で見た直後の状況を基に、インターネット（具体的には、膨大な YouTube 動画のコレクション）に出て、他の人がそのゲームをプレイしている様子を探します。ASH は、現在行き詰まっている瞬間と全く同じように見える動画を検索します。

3. 「賢いフィルター」

インターネットはノイズで溢れています。ASH は無作為な動画を視聴するのではなく、重要な瞬間を見つけるための特別なツールを使用します。例えば、誰かが 20 時間もの間ゲームをプレイしている動画を見たとしましょう。ボス戦の攻略法を学ぶために、動画全体を見る必要はありません。戦略を考え出した 30 秒間の特定の瞬間を見るだけで十分です。ASH は自動的にこれらの「ハイライト集」を見つけ出し、それを長期記憶に保存します。

4. 「逆工学」

ここが難しい部分です。ASH が見つけたインターネット上の動画は、通常、画面しか映しておらず、ボタン操作は映っていません。ASH には「翻訳機」（逆動力学モデルと呼ばれる）があり、動画を見て、「さて、この画面からあの画面へ進むには、プレイヤーは'A'ボタンを押してから'上'ボタンを押したに違いない」と推測します。これにより、無音の動画が指示のセットに変換されます。

5. 「自己改善」ループ

次に、ASH はその新しい指示を取り入れて練習します。ASH は自身の脳（方策）を更新し、次回行き詰まったときに何をすべきかを知るようにします。その後、再びゲームをプレイします。もし後で別の問題に行き詰まったら、このプロセス全体を繰り返します。行き詰まる、インターネットで検索する、コツを学ぶ、そして続ける。

結果：なぜ重要なのか

研究者たちは、ASH を非常に異なる 2 つのゲームでテストしました。

『ポケットモンスターエメラルド』: 移動し、モンスターを捕まえ、戦う戦略的なゲーム。
『ゼルダの伝説神の三角神力』: 走り、飛び、パズルを解き、リアルタイムで敵と戦うアクションゲーム。

彼らは、ASH を他の AI 手法と比較しました。

「教科書」学習者: これらのシステムは、事前にラベル付けされた膨大な移動データから学習しようとしました。しかし、以前に見たことのない新しい状況に対応できなかったため、早期に行き詰まりました。
「天才」モデル: これらは訓練なしで答えを推測しようとする巨大な AI モデルです。これらはしばしば「幻覚」（事実を捏造すること）を起こし、壁にぶつかったり、存在しないキャラクターと話したりします。
ASH: ASH は絶えず向上し続けました。他のシステムが約 6 時間後に進捗を停止したのに対し、ASH は 8 時間継続し、戦闘、モンスター捕獲、パズル解決などの新しいスキルを学びました。ASH は、両方のゲームにおけるほぼすべての主要な目標を達成しました。

全体像

この論文は、ASH が、AI に長く複雑なタスクを教えるために、人間が報酬システムを作成したり、すべての動画をラベル付けしたりする必要がないことを証明していると主張しています。その代わりに、AI に行き詰まり、インターネットで助けを探し、そこから学ぶ能力を与えれば、AI は自らを教え、長く開放的な冒険を習得できるのです。

これは、マニュアルを書くことで子供に自転車に乗ることを教えるのではなく、子供に転ばせ、誰かが乗っている動画を見せ、そして再び挑戦させるようなものです。ASH は、複雑なビデオゲームにおいて、このループを自動的に成功させる最初のシステムです。

技術的サマリー：ASH（Embodied Learning による自己洗練を行うエージェント）

問題定義

長期的な具象的タスクは、人工知能における根本的な課題のままです。これらの環境におけるエージェントの訓練法は、重大なスケーラビリティの問題に直面しています：

行動クローニング（BC）： 膨大で高品質、かつ行動ラベル付きのデータセットに依存します。そのようなデータの収集には、広範な人間の注釈とドメイン知識が必要です。さらに、標準的な BC ポリシーは短期記憶のみを条件として扱うことが多く、数時間にわたるシーケンスにわたる依存関係を捉えきれません。
強化学習（RL）： 複雑な環境では成功を収めていますが、通常は密な手動設計の報酬関数に依存します。多様なサブゴールを持つオープンエンドで数時間にわたるタスクに対する報酬の設計は、脆弱で労働集約的であり、長期的なシーケンスではしばしば実行不可能です。
基盤モデル： ゼロショットアプローチは、特権的な状態アクセスや特定の足場なしには、新しい視覚的コンテキストやメカニクスに幻覚を起こしたり、適応できなかったりすることが多いです。

核心的な問題は、人間の報酬設計や専門家による注釈なしに、ラベル付けされていないノイズの多いインターネット動画からエージェントが長期的なポリシーを学習できるスケーラブルな方法の欠如です。

手法：ASH

著者は、ラベル付けされていないインターネット動画から学習するための動的な自己改善ループを採用するエージェントシステムASHを導入します。ASH は報酬設計なしに動作し、代わりにエージェントが「行き詰まった」際にトリガーされるブートストラップメカニズムに依存します。

中核アーキテクチャ

ASH は、長期的な依存関係を処理するために二重記憶システムを利用します：

短期記憶： 反応制御のための、最新の $w_s$ 個の観測 - 行動ペア（32 秒のコンテキスト）。
長期記憶： 数時間前に下された決定のコンテキストを提供する、最新の $w_l$ 個の「キーモーメント」（重要な観測）のバッファ。

ポリシー $\pi$ は、両方の記憶タイプを条件として行動を予測する因果トランスフォーマーです。

自己改善ループ

ASH は 3 段階のサイクル（アルゴリズム 1）に従います：

推論：
- $N$ 個のエージェントが共有ポリシー $\pi$ の下で環境と相互作用します。
- キーモーメント分類器 $K$ （HDBSCAN クラスタリングに基づく）がリアルタイムで重要な観測を識別します。
- エージェントが新しいキーモーメントに遭遇した場合、それはエージェントの長期記憶に追加され、「行き詰まりタイマー」がリセットされます。
- どのエージェントも $\Delta$ ステップにわたって新しいキーモーメントを見つけられなかった場合（行き詰まっていることを示す）、システムは推論を停止し、ブートストラップを開始します。
検索：
- システムは DINOv2 を使用して、行き詰まったエージェントの軌道を埋め込みます。
- 大規模なインターネットコーパス（YouTube）から、視覚的に類似したトップ- $k$ の動画セグメントを検索します。
- 貪欲な 1 対 1 一致アルゴリズムが時間ウィンドウをスコアリングし、関連するゲームプレイセグメントの高品質な検索を確保します。
ブートストラップ（ポリシー更新）：
- 逆動力学モデル（IDM）更新： IDM は、エージェント自身の軌道（観測 - 行動ペア）を使用して更新され、観測からの行動予測能力を向上させます。
- キーモーメント発見： 分類器 $K$ は、新たに検索されたインターネット動画を使用して更新され、新しい反復パターンを識別します。
- ポリシー訓練： 検索されたインターネット動画（観測のみ）は、更新された IDM によって生成された疑似行動でラベル付けされます。これらのラベル付き軌道と、 $K$ によって構築された長期記憶を組み合わせることで、新しい訓練データセット $D_\pi$ が形成されます。その後、ポリシー $\pi$ はこのデータ上で教師あり学習（交差エントロピー損失）によって訓練されます。

主要な貢献

動的ブートストラップ： 著者は、エージェントが障害に遭遇したときのみ、ポリシーと検索モデルを自律的に更新するメカニズムを提案します。これにより、オープンエンドな環境での継続的な適応が可能になります。
インターネット動画からの長期記憶： 手動でキュレーションされた記憶や固定されたコンテキストウィンドウに依存するのではなく、ASH は大規模なインターネットデータから「キーモーメント」を自律的に発見・保持し、数時間にわたる計画を可能にします。
スケーラブルな具象的学習レシピ： 実験を通じて、動的ブートストラップと長期記憶を組み合わせることで、人間の注釈なしに微細なモーター制御と新しい視覚的コンテキストへの適応を可能にするスケーラブルなアプローチが実現できることを示しました。

実験結果

ASH は、2 つの補完的な長期的環境で評価されました：

Pokémon Emerald： 戦略的な戦闘とオープンエンドな探索を必要とするターン制 RPG。
The Legend of Zelda: The Minish Cap： パズル解決と微細なモーター制御を必要とするリアルタイムアクションアドベンチャーゲーム。

パフォーマンス指標：

ASH のパフォーマンス： 8 時間の評価後、ASH は Pokémon Emerald で平均11.2/12 のマイルストーン、The Legend of Zelda で9.9/12に達しました。
ベースラインのパフォーマンス： 最も強力なベースライン（行動クローニング、検索拡張、ゼロショット基盤モデル）は、はるかに早く性能が頭打ちとなり、それぞれ平均6.5/12および6.0/12のマイルストーンを達成しました。
適応性： ベースラインは新しいダイナミクス（例：ゼルダの城への進入やポケモンの戦闘インターフェース）に遭遇すると失敗しましたが、ASH は成功裏に適応しました。例えば、ASH の初期チェックポイントは戦闘できませんでしたが、ブートストラップ後、ポケモンの戦闘で 87% の勝利率を達成しました。
コンポーネントアブレーション： 長期記憶または動的ブートストラップを除去すると、明確なパフォーマンスの低下が生じ、両方のコンポーネントが持続的な進展に不可欠であることが確認されました。
検索の品質： ASH の検索手法は、訓練データに対して94% の関連性を達成し、ランダム検索（8%）や他の類似性ベースラインを大幅に上回りました。
破滅的忘却： オフライン再生テストにより、ASH が破滅的忘却を示さなかったことが示されました。最終ポリシーは、オンライン学習エージェントよりも環境を最初から速く再生できました。

意義と主張

この論文は、ASH が長期的な具象的学習のためのスケーラブルなレシピを実証していると主張しています。ラベル付けされていないインターネット動画と自己改善ループを活用することで、ASH は静的な訓練コーパスと手動設計の報酬の限界を克服します。

著者は、このアプローチによりエージェントが以下を可能にすると主張しています：

固定されたポリシーが失敗する数時間にわたる期間にわたって進展を維持する。
検索と模倣を通じて、戦闘や剣術などの新しいスキルを自律的に習得する。
人間の介入なしに分布の変化や新しい視覚的コンテキストに適応する。

この研究は、自身の失敗とインターネットの集合知からブートストラップする自己改善型エージェントが、人間によるラベル付けされたデータや報酬設計の非現実的なスケーリングに依存しない、オープンエンドで長期的な AI への viable な道筋を提供することを示唆しています。著者は、有用なインターネット動画の利用可能性への依存や、視覚的に明確でない行動の推測の難しさなどの限界を指摘し、謙虚な姿勢を保っています。