Reinforcement learning for Quantum Tiq-Taq-Toe

一つの物体が、誰かがそれを見るまで同時に複数の場所に存在しうるという、論理の規則がわずかに異なる世界を想像してみてください。これは、宇宙の最小の粒子を支配する物理学の一分野である、量子力学の世界です。これらの原理は、現実の構造に関する複雑な理論のために取っておかれることが多いのですが、現在、最も身近な設定である、シンプルな三目並べ（チックタックトー）のグリッドにおいてテストされています。この量子版では、ゲームは静的なXやOの印でプレイされるのではなく、確率と、通常の経験を拒むような方法で駒同士を結びつける繋がりによってプレイされます。コンピュータにとっての課題は、固定された一連の指示に従うのではなく、人間と同じように経験から学ぶことで、このゲームの遊び方を習得することです。これは、人工知能が試行錯誤を通じて動きを試し、その結果を見て、時間をかけてアプローチを調整していく手法である、強化学習の領域です。研究者たちがこの交差点に注目しているのは、もしコンピュータが、この混乱し、変化し続ける量子の風景をナビゲートする方法を学ぶことができれば、最終的には量子コンピューティングにおける、繊細な量子機械の誤差訂正といった、より困難な問題を解決する助けとなる可能性があるからです。

最近の研究において、オランダのライデン大学の研究者たちは、これらの学習マシンが特定の量子版の三目並べをマスターできるかどうかを確かめることにしました。彼らは、理論でよく用いられる標準的な二状態システムよりも、より豊かな種類の動きを可能にする、三状態量子ユニットを用いたバージョンのゲームを選択しました。このゲーム自体がトリッキーなのは、プレイヤーにとって盤面が完全にはクリアではないためです。プレイヤーは、マスの中に確定したXやOを見る代わりに、どこに印がある可能性があるかを示す確率のマップと、異なるマスがどのように連結されているかの記録を見ることになります。プレイヤーが動くたびに、これらの繋がりは崩壊し、かつては不確実性の中にしかなかった場所に、確定した状態が突如として現れることがあります。彼らの理論をテストするために、チームは人工知能エージェントが自分自身と対戦するデジタルアリーナを構築しました。彼らは二つの異なるバージョンのゲームルールを作成しました。第一のバージョンはある程度制限的であり、いかなる複雑な量子的動きも、盤面上の少なくとも一つの空きスペースを伴わなければならないというものでした。第二のバージョンはより開放的で、より幅広い相互作用と、マス間のより複雑な量子もつれを許容するものでした。

研究者たちは、エージェントが互いに何千回ものゲームを行い、勝ち、負け、あるいは引き分けから学ぶという方法を用いて、エージェントを訓練しました。彼らは、エージェントがうまくプレイするためにどのような情報を必要とするのかを知りたいと考えました。彼らは三種類のプレイヤーをテストしました。一つは確率マップのみを見ることができるプレイヤー、もう一つは駒がどのように連結されていたかの履歴のみを見ることができるプレイヤー、そして三つ目はその両方にアクセスできるプレイヤーです。より制限的なバージョンのゲームでは、シミュレーションにより明確なパターンが示されました。すなわち、先手を取ったプレイヤーが明確な優位性を持つということです。このゲームには、確実な勝利を妨げる程度のランダム性が含まれていますが、先手は後手よりも頻繁に勝利への道筋を見出すことができました。これは、変化するルールが存在するゲームであっても、学習マシンが発見できる識別可能な戦略が存在することを示唆しています。結果は、最もよく訓練されたエージェント同士を対戦させることで可視化され、先手が一貫してより多くの勝利を確保したことが示されました。

研究者が、より多様な量子状態と相互作用を許容する、より複雑なバージョンのゲームに移ると、ダイナミクスは変化しました。このシナリオでは、単一の種類の情報を持っているだけでは不十分でした。エージェントは、現在の確率マップと、駒がどのように量子もつれの状態にあるかという履歴の両方を見ることができた場合にのみ、最高のパフォーマンスを発揮しました。この組み合わせにより、人工知能はリアルタイムの盤面の状態を理解すると同時に、前のターンで形成された複雑な関係性を記憶することが可能になったのです。その結果、ゲームはより均衡したものとなり、勝敗はプレイヤー間でより公平になりました。この発見は、情報が隠されていたり部分的にしか見えなかったりする環境において、現在と過去の両方の完全なイメージを持つことが、優れた意思決定を行うために極めて重要であることを強調しています。

本研究は、この量子版の三目並べが、量子システムのためのより優れた人工知能を開発するための有用なテスト場として機能することを結論付けています。研究者たちは、盤面の部分的な可視性によって引き起こされるこのゲーム固有の難しさが、制御や隠れた状態の理解が不可欠である実世界の量子コンピューティングが直面している課題を反映していると述べています。現在の研究はエージェントを訓練することに焦点を当てていますが、著者らは、過去のシーケンスを記憶するメモリシステムや、より高度な処理モデルを使用するなど、マシンがこの不確実性を扱うのを助けるための他の方法を、将来の取り組みとして探求できる可能性があると示唆しています。現時点では、この研究は、強化学習が量子のゲームの奇妙な論理を正常にナビゲートできることを実証しており、機械学習を未来の量子技術へと統合するための明確な道筋を示しています。