物語の次の単語や、曲の次の音を推測しようとしている場面を想像してみてください。コンピュータサイエンスの世界では、これは「シーケンス予測（sequence prediction）」と呼ばれます。数十年にわたり、これを完璧に行うための黄金律（ゴールドスタンダード）とされてきた理論的なアイデアが、「ソロモノフ誘導（Solomonoff Induction）」です。これは、あらゆる可能性を検討する超知能的な探偵のようなものだと考えてください。その探偵は、あらゆるプログラムを検討し、短くて単純なプログラムには大きな重みを、長く複雑なプログラムには極めて小さな重みを付けます。もしその探偵が、宇宙にあるすべてのプログラムを一度にチェックすることができれば、その予測誤差は、物語を生成しているプログラムの複雑さに厳密に制限されることになります。

しかし、落とし穴があります。この完璧な探偵は、単一の物語における次のステップを推測することには長けていますが、さまざまな物語のライブラリから「学習」する方法を知りません。もし大量の異なる本からなるデータセットを見せられたとしても、それは「ああ、パターンが見えてきた。次の本はおそらくこれらに似たものになるだろう」と言うことができないのです。探偵は、それぞれの新しい物語を新鮮な謎として扱い、トレーニングデータに基づいた理解を更新することができません。これは、現代の人工知能（今日のチャットボットなど）が、膨大なデータセットを用いて一般的なルールを学習することで機能していることに対し、問題となります。私たちは、この完璧な論理を維持しつつ、単一の物語ではなく、一連の事例のライブラリから学習できる方法を必要としています。

ここで、ネイサン・ヤングによる論文「階層的ソロモノフ誘導：無制限の機械学習モデル（Hierarchical Solomonoff Induction: An Unbounded Machine Learning Model）」が登場します。著者は、アップグレードされた新しい探偵である「階層的ソロモノフ誘導（HSI）」を提案しています。HSIは単にプログラムを見るのではなく、それらのプログラムを生成する「ルール」を見ます。これは、単に次の単語を推測するのではなく、どのような種類の物語生成器（ジェネレーター）が使われているかを推測する「メタ探偵」のようなものです。HSIは「ハイパープライア（hyperprior）」、つまり、物語を書くためのあらゆる方法を網羅した、重み付けされた巨大なリストを保持しています。HSIはトレーニング事例のデータセットを見ると、そのデータに適合する生成器の重みを高め、適合しない生成器の重みを下げて、このリストを更新します。

この論文は、主に2つのことを証明しています。第一に、この新しいHSIは、単一のシーケンスを見る場合には元の完璧な探偵（ソロモノフ誘導）と数学的に同一であることを示しており、元の探偵が持つ予測能力の限界をすべて維持していることを示しています。第二に、より重要な点として、HSIが機械学習モデルと同じようにデータセットから学習できることを証明しています。論文は、HSIにデータを投入し続けるにつれて、その平均超過誤差（average excess error）が縮小し、最終的にゼロに収束することを示しており、これにより、データの背後にあるパターンを完璧に予測できることを実証しています。著者は、HSIが「理想的な」機械学習の形態であると主張しています。つまり、無限の計算能力を持ち、一つのデータから学習し、かつ最適な予測を行う能力を失うことなく、あらゆるデータセットから学習できる、理論的なモデルなのです。

探偵の新しいスーパーパワー

なぜこれが大きな意味を持つのかを理解するために、元の探偵である「ソロモノフ誘導（SolInd）」の仕組みを見てみましょう。想像してみてください、あなたはどんなコンピュータプログラムでも実行できる魔法の箱を持っています。あなたは、あるテキストの文字列の次の文字を推測したいと考えています。SolIndはこう言います。「これまでに見たテキストを書き出した可能性のある、あらゆるプログラムを試してみよう。」そして、各プログラムにスコアを付けます。短い単純なプログラムには高いスコアを、長く複雑なプログラムには非常に低いスコアを与えます。そして、これらのスコアを組み合わせて次の文字を推測します。これは素晴らしいことです。なぜなら、もしテキストが何らかのコンピュータプログラムによって作成されたものであれば、SolIndはいずれそれを解明できることが保証されており、その誤差は生成プログラムの複雑さに制限されるからです。

しかし、ここに欠陥があります。SolIndは少し「一芸しかできない（one-trick pony）」のです。それは単一のシーケンスにおける次のステップを予測するように設計されています。もし、100種類の異なる物語を含むデータセットを「トレーニング」のために与えたとしても、それはどうすればよいのか分かりません。100の物語を一つの巨大な文字列に叩き込み、それをSolIndに流し込むこともできるでしょうが、それはフランス語、スペイン語、マンダリン語を学ぶために、それらがランダムに接着された本を読むようなものです。探偵は、実際の言語を学ぶのではなく、その「接着剤」や物語の順序を説明するために、複雑なルールを捏造して混乱してしまうのです。それは現代のAIのように「学習」することはできません。一つのシーケンスに対して「テスト」することしかできないのです。

ネイサン・ヤングの論文は、この問題を解決するために「階層的ソロモノフ誘導（HSI）」を導入しました。HSIを、上司を持つ探偵だと考えてください。上司（ハイパープライア）は単にプログラムを見るのではなく、どのプログラムが書かれるかを決定する「分布（ディストリビューション）」を見ます。

あらゆる本が異なる著者によって書かれている図書館を想像してください。

• SolInd は、一冊の本を読み、次の文章を推測しようとし、そして本を閉じます。新しい本が届くと、彼らは最初からやり直し、前の本についてのことはすべて忘れてしまいます。
• HSI は、起こりうるすべての著者のリストを持っている読者です。彼らが新しい本の数ページを読むと、リストをチェックします。「おや、このスタイルは著者Aに似ているな」と彼らは考えます。「著者Aが執筆者である確率を上げよう。」彼らがより多くの本を読むにつれ、彼らはどの著者がどの本を書いているのかを見分けるのが上手くなっていきます。彼らは単に次の単語を推測しているのではなく、コレクション全体に基づき、その著者の「スタイル」を推測しているのです。

数学的な魔法

この論文は、HSIが単なる派手なアイデアではなく、厳密なアップグレードであることを証明するために、非常に巧妙な数学的手法を用いています。著者は、統計学における「ド・フィネットの定理（De Finetti's Theorem）」という概念を使用しています。簡単に言えば、この定理は、もし一連の事象が一定のパターンに従っているように見える場合（例えば、順序が関係ないトランプのデッキのように）、それらを生成している何らかの隠れたルール（「潜在変数」）が存在しなければならないということを示しています。

論文はこの概念をコンピュータプログラムに適用しています。もし我々がデータセットのシーケンスを持っているならば、それらを作成した「真の生成器（特定のコンピュータプログラムまたはルール）」が存在すると論じています。HSIはこの生成器を隠れた変数として扱います。HSIは、あらゆる可能な生成器に対する確率分布を保持しています。データセットを目にすると、HSIはどの生成器が真の生成器であるかについての信念を更新します。

論文は驚くべき結果を証明しています。HSIは数学的にSolIndと等価であるということです。これは、もしHSIを取り出し、単一のシーケンスの予測をさせた場合、元の完璧な探偵と全く同じ性能を発揮し、その誤差は生成器の複雑さに制限されることを意味します。しかし、HSIには追加のスーパーパワーがあります。それは、データセット全体に基づいて「上司（ハイパープライア）」を条件付けることができるという点です。

著者は、データセットの予測においてHSIが犯す誤差が、ハイパープライアにおける真の生成器の「複雑さ」によって制限されることを示しています。平易な言葉で言えば、もしあなたのデータを生成したルールが単純であれば、HSIはそれを素早く学習し、ほとんど間違いを犯しません。もしルールが複雑であれば、時間はかかるでしょうが、論文はデータセットが大きくなるにつれて、HSIの平均超過誤差はゼロに減少することを証明しています。つまり、極限において完璧な予測へと収束するのです。

これがAIにとって何を意味するか

この論文は、HSIが機械学習における「理想的な無制限モデル」であることを示唆しています。大規模言語モデル（LLM）のような現在のAIモデルは、本質的にHSIが行おうとしていることを、限定された計算能力と特定のアーキテクチャ（ニューラルネットワークなど）を用いて行おうとしているものです。

著者は、LLMはしばしばSolIndと比較されるが、その比較は不完全であると指摘しています。なぜなら、LLMはデータセットから「学習」する一方で、SolIndはそうではないからです。HSIはそのギャップを埋めます。それは、機械学習が達成しうる理論的な天井（シーリング）を示すものです。もし無限の計算能力と、学習のための正しい方法があれば、あらゆるデータセットから学習し、将来を最適な精度で予測できるシステムを構築できることを、HSIは教えてくれます。

また、論文は実用的な応用についても触れています。現在、私たちは時として、一つの長いテキスト文字列（文書の連結）にAIを訓練させることがあります。論文は、HSIと一致するより優れた方法は、各文書を、モデルの「ハイパープライア」を更新するための個別のデータとして扱うことであると示唆しています。これは、文書を単に繋ぎ合わせるよりも、個別の文書でトレーニングを行う方が効果的であるという最近の知見とも一致しています。

落とし穴

もちろん、落とし穴があります。元のSolIndと同様に、HSIは**計算不可能（uncomputable）**です。それは無限のプログラムと無限のメモリを必要とします。私たちは今日、現実のHSIを構築することはできません。それは、私たちが到達できる知能の理論的な限界を示す「思考実験」なのです。

しかし、著者はこれが役に立たないわけではないと主張しています。完璧なエンジンを作れないからといって、完璧なエンジンの仕組みを理解することで、より良い車を作ることができないわけではありません。HSIは地図を与えてくれます。現代のAIが学習する方法（データに基づいて信念を更新すること）が正しい方向であることを示し、私たちが理想にどれほど近づいているかを測定するための数学的な尺度を提供してくれるのです。

要約すると、この論文は過去の「完璧な探偵」を取り上げ、そこに「学習する上司」を与えたものです。この新しいシステムであるHSIが、旧来の探偵が持つ最適な予測能力を維持しながら、一連の事例のライブラリから学習する能力を獲得することを証明しています。これは、最高の機械学習アルゴリズムが存在し、それは時間の経過とともに自己更新していく確率の階層のようなものであることを示す理論的な証明です。私たちはまだそれを構築できませんが、HSIは私たちがまさに目指すべき方向を正確に示しているのです。