Modeling quantum neural network gradient with reinforcement learning

量子コンピューティングという新興分野において、科学者たちは今日のスーパーコンピュータの能力を遥かに超える問題を解決できるマシンの構築に挑んでいます。この取り組みにおける中心的なツールは、亜原子粒子の奇妙な物理学と人工知能の学習能力を組み合わせたハイブリッドシステムである「量子ニューラルネットワーク」です。これらのネットワークは、写真の中の顔を認識したり言語を翻訳したりするソフトウェアと同様に、データの中にあるパターンを見つけ出すように設計されています。しかし、これらの量子システムの学習は、手強い壁に突き当たっています。研究者がより困難な問題を扱うために回路に量子ビット（qubit）を追加していくと、マシンを教育するために使用される信号が、しばしば無へと消えてしまうのです。「不毛な高原（バレン・プラトー）」として知られるこの現象は、ネットワークを改善する方法に対して盲目にさせ、さらに、必要な更新値を計算するために必要な膨大な計算能力が大きくなりすぎるため、現在のハードウェアで実行することが不可能になります。

この障壁を打破するために、研究チームはこれらのマシンを教える従来の方法を回避する新しいアプローチを開発しました。量子回路を通じた学習経路の正確な数学的勾配を計算しようとする代わりに（このプロセスは、システムが大きくなるにつれて指数関数的に困難になり、メモリ消費量も増大します）、彼らは、次のステップを推測するように別の古典的なコンピュータプログラムを訓練しました。強化学習と呼ばれる手法を用いて構築されたこのプログラムは、熟練したコーチのように機能します。それは量子ネットワークのパフォーマンスを観察し、現在のエラーと過去の動きを記録した上で、ネットワークの設定に対する直接的な更新を提案します。研究者たちは、この手法が消失信号の問題を回避するだけでなく、標準的な手法よりも数千倍速く動作し、必要なメモリもごくわずかで済むことを発見しました。

ベトナムと日本の研究者を中心とするチームは、わずか2量子ビットから20量子ビットに及ぶ様々なシミュレーション量子回路に対して、彼らが「RLQ-Grad」と名付けた新しいオプティマイザ（最適化器）をテストしました。量子コンピューティングの世界において、20量子ビットは重要なスケールであり、実世界のアプリケーションに関連するほど大規模でありながら、強力な古典的コンピュータ上でシミュレートできるサイズでもあります。その結果は驚くべきものでした。研究者が、バックプロパゲーション（誤差逆伝播法）、パラメーターシフト法、アドジョイント微分法という3つの標準的な更新計算手法と比較したところ、RLQ-Gradは回路の規模に関わらず、学習のための安定した強い信号を維持しました。対照的に、従来のメソッドでは、量子ビットの数が増えるにつれて学習信号が数桁も低下し、事実上、学習が停滞してしまいました。

効率性の向上も同様に劇的でした。標準的なコンピュータプロセッサ上で、この新手法は、最大の20量子ビット回路であっても、各学習ステップを0.1秒未満で完了しました。比較として、従来のバックプロパゲーション法では、同じタスクに200秒近くを要しました。メモリ使用量に関しては、その差はさらに深刻です。標準的なバックプロパゲーション法が20量子ビットの回路を扱うために6,000メガバイト以上のメモリを必要としたのに対し、新手法は2メガバイト未満で済みました。このリソース需要の削減は、研究者がより控えめなハードウェアでこれらの複雑なモデルを訓練できる可能性を意味しており、量子機械学習研究へのアクセスを民主化するものです。

研究チームは、システムが実際にデータをどの程度うまく分類できるかも調査しました。彼らは、手書き数字の画像や乳がんに関連する医療データを含む4つの異なるデータセットでこの手法をテストしました。あらゆるケースにおいて、RLQ-Gradオプティマイザは従来の勾配ベースの手法を上回りました。より単純なデータセットでは、量子ネットワークの精度を最大10パーセント向上させました。従来のメソッドが回路の大型化に伴って苦戦し始めた、より複雑な画像データセットにおいても、新手法は改善を続け、不毛な高原問題を解決するために特別に設計された手法の性能に匹каました。極めて重要なことに、それは通常、それらの専門的な手法が要求する膨大な計算オーバーヘッドなしにこれを達成しました。

この研究の最も重要な側面の一つは、それが何を否定したかということです。研究者たちは、自然選択を模倣した進化アルゴリズムや、総当たり的な手法である勾配フリーの手法など、他のタイプの最適化がこの問題を解決できるかどうかを明示的にテストしました。彼らは、これら代替のアプローチが同じ20量子ビットの回路に直面した際、ランダムな試行レベルまで崩壊し、有用な学習を何も行えないことを見出しました。これは、解決策が単に勾配の計算を避けることにあるのではなく、更新を導くためのスマートで学習されたポリシー（方策）を使用することにあることを示唆しています。また、本研究は、この手法が消失信号と高いメモリコストの問題を解決する一方で、量子学習におけるすべての問題を魔法のように解決するわけではないことも明らかにしています。もし量子回路が小さすぎたり、問題が単純すぎたりする場合、ネットワークは依然として不適切な解に陥る可能性があり、また、この手法はまだノイズやエラーの影響を受ける実際の物理的な量子ハードウェア上では動作していません。

チームは、彼らのアプローチが機能する理由を数学的に証明しました。それは、「コーチ」プログラムが量子回路自体とは切り離された、完全に古典的なコンピュータ上で動作しているためです。このコーチは複雑な量子方程式を通じて微分する必要がないため、従来のメソッドを悩ませる指数関数的な減衰の影響を受けません。研究者たちは、量子ビットを追加しても学習信号の分散が平坦で安定したままであることを示すことで、このことを検証しました。一方で、他の手法の信号は急速に減衰しました。この構造的な優位性により、この手法は効率的にスケールアップでき、量子システムのサイズに対して指数関数的ではなく、パラメータ数に対して線形にのみ増加します。

この研究はすべてシミュレーション上で行われましたが、量子コンピューティングの未来に対する示唆は重大です。計算コストを数千分の一に削減することで、この手法は、これまで不可能と考えられていたはるかに大規模で複雑な量子ニューラルネットワークの探索を可能にするかもしれません。これは、これらのシステムの訓練における実用的な限界に苦しんできた分野への、新たな前進の道筋を示しています。研究者たちは、次のステップは、このアプローチを実際の量子ハードウェアでテストし、学習されたポリシーが異なる種類の問題間で転移できるかどうかを確認することであると述べており、将来の量子マシンを訓練するための普遍的なツールとなる可能性を秘めています。現時点において、この研究は、機械への教え方を変えることで、その進歩を阻んできた険しい崖を乗り越えられることを示すデモンストレーションとなっています。