DSLE: A Learning Environment for Dark Souls Boss Encounters
本論文は、ダークソウル レマスター版の全22体のボス戦を対象としたGymnasium形式のベンチマーク環境であるDSLEを紹介するものであり、現在の強化学習および進化計算手法が、高次元の視覚入力、疎な報酬、そして複雑な戦闘メカニクスに起因して、これらボスの代表的な一部をさえ撃破することに著しく苦戦していることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピュータが単に数字を計算するだけでなく、人間と同じように、画面を注視し、ボタンを押し、試行錯誤を通じて勝ち方を理解するという、ゲームをプレイする方法を学ぶ世界を想像してみてください。これは、エージェント（コンピュータプログラム）がデジタル教室における生徒として振る舞う、人工知能の一分野である「強化学習」の核心です。教師は人間ではなく、ゲームそのものです。エージェントが良い動きをすると、「報酬」（金メダルのようなもの）が得られ、失敗するとペナルティを与えられます。数百万回の試行を経て、エージェントはゲームに勝つための戦略を学ぼうとします。何十年もの間、科学者たちはこれらのAIの生徒を、単純なボードゲームや古いアーケードの名作でテストしてきましたが、現実の世界のように見え、リアルタイムで動き、ミスに対して即座に罰を与える複雑で現代的なビデオゲームを教えることには苦戦してきました。大きな疑問はこうです。AIはピクセルを見つめ、敗北の痛みを感じるだけでマスターゲーマーになれるのか、それとも、これらの現代的なゲームには現在の学習手法を壊してしまうような「難易度の急上昇（ディフィカルティ・スパイク）」が存在するのでしょうか。
ここで、まさにこのことをテストするために研究者が作成した新しいツール、「Dark Souls Learning Environment (DSLE)」が登場します。『ダークソウル Remastered』を、非常に手強いボス――完璧でなければ数秒で殺されてしまう巨大で恐ろしい敵――で知られる、悪名高いほど難しいビデオゲームだと考えてください。研究者たちは、AIエージェントがゲーム内の全22体のボス戦を自動的にプレイできるようにする「コンテナ」（特別なデジタルボックス）を構築しました。彼らはAIに特別な優位性を与えたわけではありません。AIには人間と同じように画面を見せ、同じボタンを押させました。彼らは、AIがそれらを倒せるかどうかを確認するために、ゆっくりとした簡単なチュートリアル戦から、混沌とした多対一の悪夢のような戦いに至るまで、5体のボスからなる「スターターパック」を用意しました。
結果は、AI界にとって一種の現実認識となりました。彼らが最も賢いAIの生徒たちをこれらのボスと対決させたとき、結果は極端でした。単純な、あらかじめ書かれたコンピュータースクリプト（「エキスパートシステム」）は、最も簡単なチュートリアルボスを約63%の確率で撃破できました。何千ものランダムな戦略を試し、その中で最良のものを保持しようとする、より高度な「進化論的」手法は、同じ簡単なボスを約43%の確率で撃破しました。しかし、2つの最も有名な現代的なAI学習手法（PPOおよびDQNと呼ばれるもの）は、完全に失敗しました。数十時間、数千回の試行を繰り返した後でも、これらの高度なAIはチュートリアルボスを0.33%以上の確率で倒すことができず、他の4体のより難しいボスに対しては一度も勝利しませんでした。実際、彼らは学習している兆候すら見せず、まるでランダムに推測しているかのように、パフォーマンスは横ばいのままでした。
研究者たちは、AIが2つの非常に具体的な方法で失敗したことを発見しました。狭く窮屈な部屋で素早い敵と戦うボスの場合、AIは10秒足らずで死亡し、反撃する機会さえ得られませんでした。溶岩に満ちた危険なアリーナで戦うボスの場合、AIは1分以上は生存したものの、ダメージをほとんど与えることができず、効果的に攻撃することなく回避のループに陥っていました。研究者がAIに、より高い体力と武器を持つ「強化された」キャラクターを与えたとしても、AIは依然として22体のボスのほとんどを倒すことができず、ごく初期の数体に勝つのが精一杯でした。
論文は、私たちがAIに単純なゲームを教えることはできるものの、『ダークソウル』は現在のAI手法がまだ攻略できていない、より困難なレベルの難易度を象徴していると結論付けています。このゲームは単に難しいだけでなく、現在の学習アルゴリズムを破壊してしまうような、タイミング、戦略、そして適応力の組み合わせを必要としています。研究者たちは、これを解決するためには、単にランダムな動きを何度も繰り返すのではなく、人間のデモンストレーションから学んだり、ゲームのより深い構造を理解したりできる、新しいタイプのAIが必要になるかもしれないと示唆しています。今のところ、ダークソウルのボスたちは、人工知能に対する不敗のチャンピオンであり続けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。