Impartial Games: A Challenge for Reinforcement Learning
本論文は、AlphaZero形式の強化学習アルゴリズムが、抽象的な数学的原理を学習する際の根本的な表現上のボトルネックにより、ニムのような不偏ゲームにおいてエキスパートレベルの習熟に達することに失敗することを実証しており、これは単純なハイパーパラメータの調整では、記憶された状態を超えて汎化できないという彼らの能力の欠如を克服できないことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界において、ある特定の種類のコンピュータプログラムが、複雑な戦略ゲームを習得する能力によって近年有名になりました。自分自身と何百万回も対戦することで、これらのプログラムは、人間の最高峰の専門家さえも驚かせるような手を打つことを学びます。これらはチェスや囲碁のような、パターンの認識、局面の評価、そして多くの手順を先読みする計画性に成功が依存するゲームにおいて、チャンピオンとなりました。その根底にある考え方は、もし機械がゲームの流れを理解することで勝ち方を学べるのであれば、最終的にはあらゆる複雑な問題を解決できるようになるかもしれない、というものです。しかし、この成功は偽りの安心感を生み出しました。これらの機械の学習方法は、普遍的なものではないことが判明したのです。ルールは単純で、駒は両プレイヤーに共通しており、勝利戦略がパターン認識ではなく隠れた数学的論理に依存する、特定のクラスのゲームが存在します。これらのゲームにおいて、最も高度な人工知能システムは壁に突き当たり、人間にとって解けるはずの原理を学習することに失敗します。
インペリアル・カレッジ・ロンドンとクイーン・メリー大学のロンドンの研究者たちは、「ニム（Nim）」と呼ばれるゲームを用いて、この盲点を調査することに決めました。ニムは、いくつかのオブジェクトの山を用いて行われるゲームで、2人のプレイヤーが交互に、単一の山から任意の数のオブジェクトを取り除きます。目標は、最後のオブジェクトを取ったプレイヤーになることです。見た目は単純ですが、勝つための秘訣は、山の大きさの二進数の計算を含む特定の数学的計算にあります。人間にとって、このルールを学ぶことは一つの抽象的な概念を理解することに過ぎません。しかし、人工知能にとっての課題は異なります。研究者たちは、チェスを征服したのと同じ学習アルゴリズムがニムで勝てるのか、もしできないのであればその理由は何かを知りたいと考えました。彼らは有名なAlphaZero学習システムのカスタムバージョンを構築し、ボードのサイズを大きくしながらニムをプレイするように訓練し、コンピュータの理解がどのように進化するかを注意深く観察しました。
結果は明白かつ啓発的なものでした。研究者が5つの山を持つ小さなニムボードでシステムをテストしたとき、コンピュータはうまくプレイすることを学びました。それは、どのようにゲームを開始し、勝利へと導くべきかを知っているチャンピオンのように、一貫して勝利することができました。しかし、ボードのサイズが6つまたは7つの山に増加すると、システムのパフォーマンスは崩壊しました。コンピュータは勝ち方を学ぶのを止めてしまったのです。正しい手を見つける代わりに、コンピュータは推測を始め、ランダムに手を選んだ場合と変わらない性能しか示しませんでした。研究者たちは、問題はゲームが複雑すぎることでも、コンピュータの訓練時間が不足していることでもないことを発見しました。問題は、コンピュータの脳であるニューラルネットワークの情報処理方法の根本的な部分にありました。これらのネットワークは、特定の駒の配置が通常どのように勝利につながるかを認識するように、物事の間のつながりを見つけることには非常に優れています。しかし、彼らは「パリティ（奇偶性）」と呼ばれる特定の種類の論理に対して、極めて苦戦します。パリティとは、本質的に、グループ内のアイテムの数が奇数か偶数かを数える方法のことです。ニムにおける勝利の手は、まさにこの種の計数論理に完全に依存しています。
なぜこれが重要なのかを理解するために、研究者たちは人工知能のスキルを測定する新しい方法を導入しました。彼らは「チャンピオン」と「エキスパート」を区別しました。チャンピオンとは、開始局面から、自分が何をすべきか知っている馴染みのある領域へとゲームを誘導することで勝てるプレイヤーのことです。しかし、エキスパートは、見たことがない局面であっても、盤上のあらゆる位置から完璧な手を打つことができます。この研究は、人工知能が小さなボードでは、正しい開始手順を記憶することでチャンピオンになれることを示しました。しかし、エキスパートになることはできませんでした。ゲームが中盤や終盤に移行したとき、あるいはボードが大きくなったとき、コンピュータは正しい手を導き出すことができなかったのです。本来、どの手が良いかを教えるはずの内部ガイドが混乱してしまいました。それは敗北につながる手に高い確率を割り当て、勝利の手を無視してしまうのです。たとえコンピュータが選択肢を確認するために何百万回ものシミュレーションを実行したとしても、最初の推測があまりにも的外れであったため、間違いを修正することができませんでした。
研究者たちは、この失敗が学習方法自体によるものか、それともゲームの論理の難しさによるものかをテストしました。彼らは、2人のプレイヤーが異なる山を制御し、勝利のためにパリティ論理を使用する必要がないように改造したバージョンのゲームを作成しました。この修正されたゲームでは、同じ人工知能が迅速かつ容易に学習し、学習システム自体には能力があることを証明しました。これにより、問題はトレーニングプロセスではなく、元のゲームに求められる特定の数学の種類であることが確認されました。コンピュータは、自分自身と対戦して生成したデータから、パリティという抽象的なルールを学習することが単にできなかったのです。コンピュータが初期の学習段階でミスをすることによって生じるデータのノイズが、ネットワークが基礎となるパターンを解明することを不可能にしていました。
この発見は、十分なデータと計算能力があれば現在の人工知能はいかなる問題も解決できるという考えに疑問を投げかけています。これは、現在のシステムには自力で学習できない特定の種類の論理的推論が存在することを示唆しています。研究者たちは、ニムのようなゲーム、そしておそらく他の複雑な問題を真にマスターするためには、将来の人工知能は異なる形で構築される必要があると提案しています。彼らは、現在のシステムのパターンマッチング能力と、これらの特定の論理規則を扱うことができる別の記号的推論モジュールを組み合わせることを提案しています。そのような変更が行われるまで、これらの強力な学習システムは、ある分野ではチャンピオンであり続けながらも、他の分野では根本的な論理に対して盲目のままであり、人間がたった一つの洞察で到達できる真のエキスパートのレベルには到達できないままとなるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。