あなたは、複雑で高次元な物体（渦巻く銀河や多層ケーキのようなもの）を、単純な平面図しか理解できない友人に説明しようとしていると想像してください。これは、コンピュータサイエンスや数学の世界では「高次元近似問題」として知られています。何十年もの間、科学者たちは「次元の呪い」と呼ばれる悪名高い敵と戦ってきました。その名前は恐ろしく聞こえますが、考え方はシンプルです。問題の変数（あるいは次元）が増えるにつれて、それを正確に記述するために必要な情報の量が爆発的に増加するというものです。それは、100次元の物体を描こうとするようなものです。必要な筆致の数があまりにも速く増えていくため、作業を終わらせることが不可能に思えるのです。

長い間、コンピュータがこれらの問題をどれほど上手く解いているかを測る標準的な方法は、「パラメータ」を数えることでした。パラメータとは、機械についているノブ、ダイヤル、設定のようなものだと考えてください。もしある手法が、同じ結果を得るために、より少ない数のノブを使用できるなら、それはより効率的であると見なされます。近年、ニューラルネットワーク（画像認識や言語モデルを動かしているAIシステム）は、この呪いを打ち破っているように見えることから称賛されてきました。それらは、次元が増えてもノブの数が爆発しない方法で高次元の問題を解決しているように見えるため、多くの人々が、これこそが最も複雑な科学的問題を解き明かす魔法の鍵を見つけたのだと信じるようになりました。

しかし、熱狂の中でしばしば見落とされる落とし穴があります。現実の世界では、コンピュータは無限の精度で数値を保存できるわけではなく、それらを「0」と「1」の文字列、つまり「ビット」として保存します。その機械のあらゆるノブは、保存し計算するために特定の数のビットへとエンコードされる必要があります。この論文は、根本的な問いを投げかけます。もし、単にノブの数を数えるのをやめて、それらを保存するために実際に必要な情報の量、つまり「ビット」を数え始めたとしたら、ニューラルネットワークは依然として魔法のように見えるのでしょうか？著者であるTong Mao氏とJinchao Xu氏は、「メトリック・エントロピー」（形状や関数を記述するために必要な最小限の情報量を測定するもの）という概念を用いて、この問いを深く掘り下げ、ニューラルネットワークが本当に呪いに打ち勝ったのか、それとも単にコストを別の場所に隠しているだけなのかを検証しています。

---

ビット計上の大強奪事件

著者であるTong Mao氏とJinchao Xu氏は、探偵の帽子をかぶり、新しい角度から「次元の呪い」を調査することに決めました。彼らは、ある手法がいくつのパラメータ（ノブ）を使用するかを数える代わりに、「それらのノブを保存して良い答えを得るために、実際にどれだけのメモリ（ビット）が必要なのか？」と問いかけたのです。

彼らの調査を理解するために、あなたがロボットに滑らかな丘の様子を説明しようとしている場面を想像してみてください。

• 従来の方法（パラメータを数える）： 「この丘を説明するには100個の点が必要です」と言うかもしれません。もし新しい手法、例えばニューラルネットワークに切り替えて、「10個の点だけでいい」と言えば、あなたは勝利したと感じるでしょう。あなたは呪いに打ち勝ったのです！
• 新しい方法（ビットを数える）： しかし、待ってください。もしその10個の点が極めて敏感なものだったらどうでしょう？もし丘の形を正確に記述するために、その10個の各ポイントを、例えば1点につき1,000ビットという極端な精度で保存しなければならないとしたら？突然、あなたは10個の単位の情報を使っているのではなく、10,000個を使っていることになります。一方で、従来の方法は100個の点を使いましたが、それぞれはわずか10ビットで済みました。結局のところ、「従来」の方法の方が、実際にはより少ない総ビット数を使用していたことになります。

この論文は、長い間、私たちは「パラメータ数」によって騙されてきたと主張しています。私たちはニューラルネットワークがより少ないノブを使用しているのを見て、それらがより効率的であると仮定してきました。しかし、著者らが情報の通貨である「ビット」という観点から効率性を測定したとき、物語は変わりました。

「魔法」ではないもの

研究者たちは、ニューラルネットワークが有名であった2つの主要な「魔法」に着目しました。

1. 次元に依存しない収束率： いくつかの研究では、ニューラルネットワークは次元数が増えても性能が悪化することなく、特定の複雑な関数を近似できると主張されてきました。それはまるで、問題の規模そのものを無視する方法を見つけたかのようでした。
2. 超収束（Superconvergence）： これは、深層ニューラルネットワーク（多くの層を持つネットワーク）が、多項式や有限要素法のような伝統的な手法よりもはるかに速く滑らかな関数を近似できるという考え方です。それはまるで、彼らが競合を猛スピードで追い越していくように見えました。

著者たちの調査により、これらの「超能力」は、主に私たちの測定方法が生み出した錯覚であることが明らかになりました。

彼らが「メトリック・エントロピー」（近似しようとしている関数クラスの固有の複雑さを表す専門用語）を分析したところ、ニューラルネットワークが得意とする関数（Barron空間などのもの）は、伝統的な手法が苦戦する関数よりも、実は単に単純であるということが分かりました。ニューラルネットワークが特別なのではなく、そのネットワークがコピーするように求められている「絵」が、伝統的な芸術家がコピーしようとしていたものよりも詳細さが欠けているだけなのです。「次元に依存しない」スピードは、ネットワークが特別だからではなく、対象となるものが最初から容易であったために起こった現象です。

深層ネットワークの罠

最も驚くべき発見は、現在大きな注目を集めている「深層ニューラルネットワーク」に関するものです。これらは多くの層を持つネットワークです。論文は、深層ネットワークがパラメータ数（ノブ）の観点で見れば確かに速い誤差率を達成できるものの、そのスピードには「隠れた税金」が伴うことを示しています。

深層ネットワークは非常に複雑で敏感であるため、その内部の数値（重みやバイアス）は、エラーを避けるためにはるかに高い精度で保存される必要があります。著者らは、これらのパラメータを保存するために必要なビット数は、ネットワークが深くなるにつれて爆発的に増加することを証明しました。

これを次のように考えてみてください。浅いネットワークは頑丈な木製の橋のようなものです。たくさんの板（パラメータ）が必要ですが、それぞれの板は測定や保存が容易です。一方、深層ネットワークはガラスの橋のようなものです。使う板の数は少ないかもしれませんが、それぞれの板があまりにも脆く精密であるため、それを測定するにはレーザースキャナーが必要です。もし標準的なメジャー（有限の精度）でガラスの橋を作ろうとすれば、崩壊してしまいます。

論文は、そのガラスの橋を建設するために必要な総ビット数を数えると、「効率性」が消えてしまうことを示しています。ネットワークを安定させるために必要な追加のビットが、パラメータを少なくすることによる利点を相殺してしまうのです。実際、多くの標準的な問題において、深層ネットワークは多項式や有限要素法のような古典的な手法と同じか、あるいはそれ以上のビットを必要とすることになります。

結論：それは「ビットの呪い」である

では、ニューラルネットワークは次元の呪いに打ち勝ったのでしょうか？Mao氏とXu氏によれば、少なくとも私たちが考えていたような方法では、「ノー」です。

「呪い」とは、実は次元数に関するものではありません。それは「ビットの複雑性」に関するものです。関数をどれほど上手く近似できるかという根本的な限界は、その関数が実際にどれだけの情報（ビット）を含んでいるかによって決まります。これはメトリック・エントロピーによって支配されています。

• 関数が複雑であれば、どのような道具を使おうとも、それを記述するには多くのビットが必要です。
• 関数が単純であれば、より少ないビットが必要です。

ニューラルネットワークはゲームのルールを変えたのではなく、スコアの数え方を変えただけなのです。パラメータではなくビットというレンズを通してゲームを見ると、ニューラルネットワークの「優位性」はしばしば消失します。次元に依存しない収束率や超収束といった一見した利点は、多くの場合、ニューラルネットワークが、伝統的な手法がテストされるものよりも本質的に複雑さが低い（メトリック・エントロピーが低い）関数クラスに対してテストされているために起こる現象なのです。

なぜこれが重要なのか

この論文は、ニューラルネットワークが無用だと言っているわけではありません。評価の方法をもっと賢くする必要があると言っているのです。現実の世界では、コンピュータには有限のメモリがあります。無限の精度で保存することはできません。もしある手法が、パラメータ数が少ないために理論上は素晴らしく見えても、それらのパラメータを正確に保存するために膨大なメモリを必要とするならば、それは現実のアプリケーションにとって最善の選択ではないかもしれません。

著者らは、「次元の呪い」とは実際には「ビット複雑性の呪い」であると示唆しています。真の限界は、いくつの次元を持っているかではなく、問題を記述するためにいくつのビットが必要かということなのです。ノブを数えることからビットを数えることへと焦点を移すことで、これらの強力なツールが何ができ、何ができないのかについて、より明確で現実的な姿が見えてきます。これは、高次元の数学の世界では、常に細部にこそ本質があり、そしてその詳細はビットによって測定されるものであるということを思い出させてくれます。