AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
本論文は、汎用的なエージェントが動的な環境においてスキルの構成とサブゴールの遷移を学習することを可能にするため、階層的かつ時間的に整合された視覚・言語・行動のアノテーションを備えた、複数の3Dゲームにわたる大規模な人間のゲームプレイデータセットであるAceActionを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
機械に世界の中での振る舞い方を教えるために、研究者たちは、エージェントが見ているもの、達成したいこと、そしてそこに到達するために行う具体的な動きの間のつながりを示す膨大な事例のライブラリを必要としています。物理的な世界では、この種のデータを収集することは遅く、コストがかかり、かつ危険です。それにはロボットや人間の監督者、そして蓄積に数年を要するような繰り返しのセットアップが必要になります。ビデオゲームは実用的な代替案を提供します。ビデオゲームは、人間が毎日複雑なタスクを実行する豊かな三次元環境を提供しており、そこではすべての視覚的なシーンが、そのシーンを作り出すために使用された正確なキーボードとマウスのコマンドと完璧にペアリングすることができます。科学者にとっての課題は、ゲームが無尽蔵のデータを生成する一方で、生のゲームプレイを人工知能にとって有用なレッスンへと変えるには、単にビデオを記録するだけでは不十分であるということでした。それは、単なる最終的な結果だけでなく、そこに至ったステップ・バイ・ステップの思考プロセス、つまり、プレイヤーがいかにして移動を決定し、いつ探索から戦闘へと切り替え、どのように大きな目標を小さく管理可能なタスクへと分解するのかを理解する方法を必要とするのです。
ある研究チームは、AceAction-5Mと呼ばれる新しいデータコレクションを作成することで、この問題に対処しました。これは、コンピュータに多くの異なる3Dビデオゲームにわたって複雑な指示に従う方法を教えるために設計されています。研究者たちは、単に起きたことを記録するのではなく、数千時間の人間によるゲームプレイを構造化された階層へと整理しました。彼らは長く連続したプレイセッションを取り上げ、それを明確な指揮系統へと分解しました。すなわち、メインミッション、一連の中間サブゴール、そしてそれぞれのゴールに到達するために必要な具体的かつ瞬間的なアクションです。例えば、「廊下を横切り、階段を登って赤レンガの家へ行く」という単一のタスクがあります。システムはこのタスクをさらに細かく分解します。まず、プレイヤーは右側のドアウェイに到達しなければなりません。次に、階段を登らなければなりません。最後に、家へと近づきます。これらの各ステップは、プレイヤーが見た正確な視覚的シーンと、そのステップを実行するために使用された正確なキー入力およびマウスの動きと結び付けられています。
このデータセットは、『Fortnite』、『Minecraft』、『Counter-Strike』、『Euro Truck Simulator 2』といった人気タイトルを含む、多種多様な仮想世界をカバーしています。合計で、42種類の異なるゲームからの5,000時間を超えるゲームプレイを含み、540万件以上の明確なタスク指示と、1億1,600万近い個別のキーボードおよびマウスのアクションを表しています。これを構築するために、研究者たちは自社のスタジオにおけるプロプレイヤーの録画と、オンラインコミュニティから公開されているマッチデータを組み合わせました。そして、高度なコンピュータビジョンツールを使用してゲームプレイを観察し、プレイヤーの目的がいつ変化したかを自動的に特定しました。もしプレイヤーが廊下を歩いていて、その後敵を撃つために立ち止まった場合、システムは「歩行」フェーズが終了し「戦闘」フェーズが始まったことを認識しました。システムはこれらの変化を明確なステージとしてラベル付けし、すべてのサブゴールに対して明確な開始時刻と終了時刻を割り当てました。
この研究の極めて重要な部分は、これらのステージを特定の視覚的なランドマークに結びつける能力です。プレイヤーが目的地に向かって移動するとき、システムはプレイヤーが門、スロープ、あるいは特定の部屋といった認識可能な場所に到着した瞬間を特定し、それをウェイポイント（経由地）としてマークします。これにより、データはプレイヤーが単に移動したことだけでなく、特定の目的地を念頭に置いて移動したことを示すことができます。研究者たちは、これらのウェイポイントをより長いシーケンスにグループ化して、完全なタスク記述を形成しました。データの正確性を確保するため、彼らは厳格な2段階のチェックプロセスを採用しました。まず、AIモデルがあらゆるアノテーションをレビューし、記述された内容がビデオおよび記録された操作と一致しているかを検証しました。次に、8人の人間のレビュー担当チームが数百のゲームプレイ・トラジェクトリを手作業で検査しました。この人間による監査により、記述が95.8パーセントの精度で正しいことが確認され、言語、視覚、そして行動の間の結びつきが強固であることが保証されました。
その結果、このデータセットは、状況の変化に応じて人工エージェントがいかに異なるスキルを切り替えるべきかを明示的に教えるものとなりました。最終的な結果のみを記述したり、漠然とした指示を提供したりする従来のコレクションとは異なり、AceAction-5Mは、機械に対していつ一つの活動を停止し、いつ別の活動を開始すべきかを正確に示します。それは、マップのナビゲーションや敵の偵察から、戦闘への突入や挫折後の回復に至るまで、ダイナミックな環境で必要とされる全範囲の行動を捉えています。このレベルの詳細を提供することで、研究者たちは、複雑で多段階の指示を理解し、それを人間のプレイヤーと同じような柔軟性を持って実行できるエージェントを訓練するための基礎を築きました。この成果は、ゲームプレイを明確な階層的ゴールへと整理することで、機械に対して単なる動き方だけでなく、複雑な目的を達成するための一連のアクションをどのように思考すべきかを教えることが可能であることを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。