Triple descent in quantum linear regression

量子機械学習という新興分野において、コンピュータは量子力学の奇妙で確率的な領域に存在するパターンを学習しようと試みています。画面上の数値を読み取る代わりに、これらのマシンは量子状態（粒子の壊れやすい構成）と相互作用し、情報を抽出するためにそれらを測定します。このプロセスには本質的にノイズが伴います。量子測定は確率的であるため、量子システムを一度見ただけでは、全体像を把握できることは滅多にありません。信頼できる読み値を得るために、研究者は測定を何度も繰り返す必要があり、このプロセスは「ショット（shots）」を取ると呼ばれ、その結果を平均化します。ショット数を増やせば増やすほど、描かれる図はより鮮明になり、ランダムなノイズによる干渉も少なくなります。長年、支配的な見解は、このノイズは単なる厄介ごとであり、より多くのデータを集めることによって単純に平滑化できる一時的な障害物に過ぎないというものでした。もし測定の偶然の偏りによってコンピュータが間違いを犯したとしても、解決策は明白だと想定されていました。つまり、単にもう一度測定すればよい、ということでした。

ある研究チームは、この直感が不完全であることを示しました。量子線形回帰（量子測定に基づいて値を予測することを学習する手法）の研究において、彼らは、これらの測定から生じるノイズが単に消え去るだけではないことを発見しました。むしろ、ノザは学習プロセスの振る舞いを根本的に変容させ、標準的な期待を裏切る予期せぬエラーのピークを生み出す可能性があるのです。研究者たちは、測定アウトカムの数が増えるにつれて、予測誤差が単に着実に減少していくわけではないことを発見しました。誤差は「トリプル・ディセント（三重降下）」と呼ばれる複雑なパターンを描いて上昇と下降を繰り返します。この現象は、ノイズ自体がある時には学習プロセスを助け、またある時には、より多くのデータでは解決できない深い、逃れられない罠を作り出すことを明らかにしています。

この研究は、量子デバイスが特徴量（異なる測定アウトカムの確率）を生成する特定のタイプの学習問題に焦点を当てています。その後、古典的なコンピュータが、これらの特徴量を通じて線を当てはめ、ターゲットとなる値を予測しようと試みます。研究者たちは、ランダムな量子測定と訓練データを用いてこのプロセスをシミュレーションし、測定アウトカムの数と、各状態が測定される回数を変化させました。彼らは、予測における誤差が特定の経路を辿ることを観察しました。まず、測定アウトカムの数が増えるにつれて、誤差は減少します。次に、最初のピークに達します。この最初のピークは、測定の設定が、量子状態に関するすべての情報を理論的に捉えるのに十分な複雑さを持つようになった時点、すなわち「情報完備性（informational completeness）」と呼ばれる点において発生します。この正確な瞬間、測定の数学的構造は不安定になり、誤差が急上昇します。この不安定性は古典統計学における既知の問題であり、問題を解くために十分なデータポイントが揃った直後に、解が極めて敏感になる現象です。研究者たちは、この最初のピークが、測定自体の幾何学的構造によって引き起こされる「古典的」な効果であることを確認しました。

しかし、物語はこれだけではありません。研究者がさらに多くの測定アウトカムを追加し続けても、誤差は単純に下がり続けることはありませんでした。誤差は再び上昇し、二つ目の明確なピークに達します。この第二のピークは、測定アウトカムの数が訓練例の数と一致したとき、すなわち「補間閾値（interpolation threshold）」と呼ばれる点において現れます。第一のピークとは異なり、これは純粋に「量子論的」な起源を持っています。これは、確率を推定するために使用される有限のショット数が、ランダムな変動を生み出し、偽の特徴量を作り出すことに起因します。これらの偽の特徴量は、真の量子状態には存在しません。それらは純粋なノイズです。アウトカムの数が訓練状態の数と一致するとき、学習アルゴリズムはこれらのノイズのみからなる特徴量に完璧に適合しようとします。アルゴリズムは、これらに巨大な重みを割り当て、基礎となるパターンではなく、ランダムなノイズを記憶（メモライズ）してしまいます。これが、第一のピークとは根本的に異なる、二つ目のエラーのスパイクを生み出します。

最も驚くべき発見は、これら二つのピークがより多くのデータに対してどのように反応するかという点です。幾何学的な原因による第一のピークは、訓練フェーズにおいてより多くのショットを取ることで抑制できます。もし研究者が各訓練状態に対する測定数を増やせば、ノイズは平均化され、第一のピークは平坦化されました。しかし、量子的な性質を持つ第二のピークは、異なる挙動を示しました。研究者がモデルを訓練するために膨大な数のショットを取ったとしても、この第二のピークは消失しませんでした。それは、訓練特徴量が完全な無限の精度で既知であるという理論的極限においてのみ、消失するのです。現実世界のあらゆるシナリオにおいて、データが有限である限り、このピークは残ります。研究者たちは、訓練ショットを追加することは、必ずしも万能な解決策ではなく、実際には、アルゴリズムがノイズへの適合に対してより確信を持つようになるため、このピークを悪化させることもあることを示しました。これは、単にデータを集めることが解決策にならないことを意味します。実際、量子領域においては、より多くのデータがモデルの過ちを定着させてしまうことがあるのです。

チームは、高度な数学的ツール、具体的には「ランダム行列理論」と呼ばれる数学分野を用いて、これらの誤差曲線の正確な形状を導き出しました。彼らは、ピークの高さと幅が、測定アウトカムの数、訓練状態の数、および取られたショット数のバランスに依存することを証明しました。また、「リッジ正則化（ridge regularization）」と呼ばれる、単一の特徴量に重要性を置きすぎないように小さなペナルティを加える手法が、これらのピークを滑らかにできることも示しました。これは、量子ノイズが根本的な不安定性を生み出すものの、適切な数学的制約を用いることで管理可能であることを示唆しています。この結果は、量子特徴量をあたかも完全に既知であるかのように扱うという考え方に異を唱えるものです。もし研究者がノイズを無視し、特徴量が正確であると仮定すれば、測定幾何学による不安定性を過小評価し、ノイズ自体から生じる新しい量子特有の不安定性を見落としてしまうことになります。

この研究は、量子システムにおける測定の精度と学習の安定性の間の、微妙ながらも決定的な関係を浮き彫りにしています。それは、予測への道が直線ではないことを示しています。システムが脆弱になる特定の閾値が存在し、その脆弱性の性質は、測定設定が単に完備するための複雑さを持っているのか、あるいはモデルがノイズに適合しようとしているのかによって変化します。研究者たちは、量子学習システムの設計には慎重なバランスが必要であると結論付けています。測定アウトカムの数とショット数を独立して増やすことはできません。測定アウトカムの数は、訓練セットのサイズおよび利用可能なショット予算と調整される必要があります。これらの要素が整合していない場合、たとえ測定自体がより精密になったとしても、測定アウトカムを増やすことが予測を悪化させる原因となり得ます。この研究は、これらの不安定性を理解するためのロードマップを提供しており、量子学習モデルがいつ苦戦するかを予測し、トリプル・ディセントの陥穽を回避するためにどのようにチューニングすべきかを示すものとなっています。