Going deep, reaching further: What can Boltzmann machines efficiently represent?

現代の人工知能という広大な風景の中で、数十年にわたり研究者を悩ませ続けている根強い謎がある。それは、なぜ多層の処理プロセスを持つディープニューラルネットワークが、より浅いネットワークよりも一貫して優れた性能を発揮するのかという問いである。数学的な定理は、最も単純なネットワークであっても理論的にはあらゆるパターンを模倣できることを長らく証明してきたが、これらの証明は、それを行う際の現実的なコストを無視していることが多い。それらは、浅いネットワークが複雑な問題を解決できる可能性があることを示唆しているが、それはもしそのネットワークが、宇宙の原子の数よりも多くのパラメータを必要とするような、不可能に巨大なサイズまで成長することを許された場合に限られる。この理論的な可能性と実用的な効率性の間のギャップこそが、機械学習の根本的な限界に関する新たな調査を突き動かしている中心的な問いである。この研究の背後にいる研究者たちは、すべての普遍的なモデルが等しく作られているという考えを超えて、何がモデルを真に効率的にするのかを理解しようと試みた。彼らは、2つの特定のアーキテクチャの特徴に焦点を当てた。一つは、データが通過する連続した層の数である「ネットワークの深さ」であり、もう一つは、単一の処理ユニットがいかに多くの変数を一度に考慮できるかを表す「相互作用の次数」である。

インスブルック大学の物理学者とそのバルセロナの共同研究者らによって行われたこの研究は、たとえ理論的な潜在能力が同じであったとしても、すべての機械学習モデルが等しく有能であるわけではないことを明らかにしている。研究チームは、標準的な計算複雑性の仮定が成立する限り、より深い（depthを持つ）モデルが、複雑な関数を効率的に表現する能力において明確な優位性を持つことを証明した。彼らは、モデルが内部設定の爆発的な増加を必要とせずに、どれほど多くの異なる問題を解決できるかを測定する「効率的到達範囲（efficient reach）」という概念を導入した。彼らの知見は、ディープ・ボルツマン・マシンのような深いモデルは、多項式階層が崩壊しない限り（これはコンピュータサイエンスにおいて広く起こり得ないとされているシナリオである）、浅いモデルでは効率的にシミュレートできない膨大な種類の複雑なパターンを効率的に表現できることを示している。対照的に、広く使用されている制限ボルツマン・マシンのような浅いモデルは、これらと同じ仮定の下では、効率的に解決可能な問題の非常に小さな集合に限定されている。研究者たちは、この制限が単なる些細な不便さではなく、根本的な障壁であることを示した。つまり、浅いモデルは、ディープモデルが扱う特定の種類の困難な計算タスクを効率的にシミュレートすることは、これらの問題の難しさに関する根本的な仮定が誤りであると証明されない限り、数学的に不可能であるということである。

これらの結論に達するために、著者らは物理学から借用したフレームワークを用いて、機械学習モデルを相互作用する粒子の系として扱った。彼らは、これらの系が最低エネルギー状態においてどのように情報を符号化するかを分析した。計算複雑性理論に根ざした厳密な数学的証明を適用することで、関数を効率的に表現する能力は、モデルの構造に直接結びついていることを示した。具体的には、深いモデルは単純な操作を組み合わせて複雑なものを作り出すことができるが、浅いモデルにはそれができないことを発見した。深いモデルは、以前の結果を再利用して新しいものを構築しながら、層を重ねるごとに複雑な表現を構築することができる。中間層を持たない浅いモデルは、複雑さ全体を一度のステップで記述しようとしなければならず、その結果、指数関数的なリソースの使用を強いることになる。研究チームは、この違いが厳格な階層を生み出すことを証明した。すなわち、浅いモデルの相互作用の次数が増加する（つまり、一度に考慮する変数の数が増える）につれて、その能力は向上するものの、決してディープモデルの効率性に追いつくことはない。

研究者たちはまた、浅いモデルが達成できる限界についても探求した。彼らは、たとえ浅いモデルが一度に3つ以上の変数間の相互作用を考慮することを許可したとしても、単純なペアワイズ（二体）相互作用を持つディープモデルの能力には及ばないことを発見した。これは、浅いモデルにおける効率の無限の梯子（ラダー）を生み出しており、相互作用の次数が一段上がるごとに、モデルはわずかに複雑な問題を解けるようになるが、この梯子の頂点は依然としてディープモデルの到達範囲よりも厳格に低い位置にある。この階層は、2つのデータの集合の積（内積）を2を法として計算するといった、悪名高いほど困難な特定の数学的関数に対してテストされた。研究によれば、ディープモデルはこの関数を効率的にシミュレートできる一方で、浅いモデルは、コンピュータサイエンスにおける特定の困難な問題に関する根本的な仮定が覆されない限り、それを実行できないことが示された。

これらの理論的な知見が実用面でも通用するかを確認するため、チームはこれらの困難な関数から生成されたデータを用いて、浅いモデルと深いモデルの両方を訓練する数値実験を行った。その結果、特定のシステムサイズにおいて、より深いモデル（特に3体相互作用を持つもの）は、浅いモデルと比較して、同じデータ量と計算予算を与えられた場合でも、基礎となるパターンを著しく速く、かつ正確に学習することが分かった。しかし、研究者たちは、この学習上の優位性は漸近的な成長（asymptotic growth）については確立されていないことを明示的に注記している。より大きな実験（n=16）においては、両方のモデルにおいてターゲットとなる構造を復元することに失敗した。これは、深さと高次の相互作用の理論的な利点が単なる抽象的な数学的好奇心ではないとしても、それを具体的な学習の利益へと変換できるかどうかは特定の条件に依存し、問題の規模が無限に大きくなるにつれて成功を保証するものではないことを示唆している。この研究は、なぜディープラーニングが一般的に優れた性能を発揮するのかという経験的な観察に対し、強固な理論的基盤を提供しており、それが単にデータの量や優れた訓練アルゴリズムの問題ではなく、モデル内の情報の構造化と処理方法の根本的な特性であることを説明している。

この研究の意義は、単にディープラーニングがなぜ機能するかを理解することにとどまらない。それは、人工知能システムの設計に対する新しい視点を提供するものである。異なるアーキテクチャの「効率的到達範囲」を特徴付けることで、本研究は、標準的な複雑性の仮定が成立する限り、どれほどチューニングを行っても浅いモデルには根本的に適さない特定の種類の問題が存在することを示唆している。これにより、研究者は、深さを必要とする問題に対して、浅いアーキテクチャを無理に適合させようとリソースを浪費することを避けることができる。さらに、本研究は相互作用の次数の役割を明確にしており、ユニットが考慮する変数の数を増やすことが助けにはなるものの、それは深さが提供する構成的な力（compositional power）の代わりにはならないことを示している。これらの知見は、ディープラーニングの成功が、浅いモデルよりもはるかに効率的に解の空間をナビゲートすることを可能にする構造的な優位性に根ざしていることを裏付けている。

結局のところ、この論文は、機械学習の効率性の本質に関する長年の疑問を解決している。それは、ディープモデルの優位性が現在のテクノロジーによる偶然の産物ではなく、広く受け入れられている複雑性の仮定の下で、浅いモデルにはできない方法で表現を構成できる能力に起因することを確立したものである。研究者たちは、これらのモデルができることとできないことの境界線を描き出し、ディープなアーキテクチャと浅いアーキテクチャの間の明確な隔たりを明らかにした。この研究は、単にディープラーニングがなぜ機能するかを説明するだけでなく、その力の正確な境界を定義し、今後の発展のためのガイドを提供している。特定のタスクが標準的な仮定の下で浅いモデルの効率的な到達範囲の外にあることを証明することで、本研究は、人工知能の限界と可能性を理解するための新しい基準を打ち立てている。