🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

本論文は、生生成モデルを生トークンの予測ではなく、自身の潜在表現の予測に学習させることが、階層的深さに対して一定のサンプル複雑性を実現し、従来の教師あり学習やトークンレベルの自己教師あり学習に比べて著しいデータ効率性の利点をもたらすことを、理論的かつ実証的に示す。

原著者： Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「トークンからではなく、自身の潜在変数から学ぶ：サンプル複雑性の理論」という論文を、平易な言葉と創造的な比喩を用いて解説します。

大きな問題：「データの大食い」

ロボットに英語を理解させることを想像してください。そのために、これまでに書かれたすべての本、ウェブサイト、ツイート（数兆語）をロボットに与えます。これが現在の AI モデル（エッセイを書いたり、あなたと会話したりするもの）が学習する方法です。これらは個々の単語（トークン）を見て、次の単語を推測しようとします。

しかし、人間の子どもは、そのデータのごく一部で流暢に話すことを学びます。彼らはインターネット全体を読む必要はありません。両親や友人と話すだけで十分です。

この論文は問いかけます：なぜ AI はこれほどデータに飢えているのか？ 著者らは、AI が間違ったものを学ぼうとしているからだと提案します。AI は、その文字が表す根本的な概念（潜在変数）を理解するのではなく、生の「ピクセル」や「文字」（トークン）をじっと見つめているのです。

比喩：ロシアの入れ子人形

彼らの理論を説明するために、著者らは**ランダム階層モデル（RHM）**というモデルを使用します。これをロシアの入れ子人形や家系図と想像してください。

葉（トークン）： 最も下層には、個々の文字や音があります。
中間層（潜在変数）： これらの文字が組み合わさって単語を形成し、それが句を形成し、さらに文を形成します。各レベルは「潜在変数」（隠れた概念）です。
頂点（ルート）： 最終的な意味、あるいは構造全体の「親」です。

古い方法（トークンレベルの学習）：
この家系図の構造を解き明かそうとしているが、最下層（葉）しか見ることが許されていないと想像してください。曾祖父母がどのように関連しているかを理解するには、葉までたどって、再び上へ戻る経路をたどらなければなりません。

問題： 木が深くなる（意味のレベルが増える）につれて、信号は弱まり続けます。摩天楼の底に立って、頂上からのささやきを聞こうとするようなものです。ノイズに飲み込まれてしまいます。
コスト： この方法で深い階層を学習するには、指数関数的な量のデータが必要です。木が 4 レベルあれば、数百万の例が必要になるかもしれません。10 レベルあれば、宇宙に存在する以上のデータが必要になるかもしれません。

新しい方法（自身の潜在変数から学ぶ）：
今度は、木の中間層を見ることが許されていると想像してください。次の文字を推測するのではなく、次の概念を推測します。

解決策： 2 レベルにいるなら、3 レベルを予測します。葉まですべて下まで見る必要はありません。信号は強く明確です。なぜなら、階層内の「隣り合わせ」の要素を扱っているからです。
結果： 木がどれだけ深くても、一定の量のデータで全体の構造を学習できます。数百万の例は不要です。パターンを一度か二度見るのに十分な量があればよいのです。

3 つの実験

著者らは単に数学を行ったのではなく、これが機能することを証明するために 3 つのものを作成しました。

クラスタリングアルゴリズム（探偵）：
彼らは、探偵のように機能する単純なコンピュータプログラムを作成しました。それは単語のグループを見て、どの単語が似て振る舞うか（類義語）を判断し、それらをグループ化して階層の次のレベルを形成します。
- 結果： 少量のデータで家系図全体を正常に再構築することに成功しました。これは、適切なレベルを見れば、作業は容易であることを証明しました。
スタック型ニューラルネットワーク（梯子）：
各層が小さなチームであるような深いニューラルネットワークを作成しました。最初のチームは生の文字を単語にグループ化します。2 番目のチームはそれらの単語を句にグループ化します。各チームは次のチームを教えます。
- 結果： このネットワークは、単純な探偵アルゴリズムと同じくらい効率的に学習しました。これは、内部表現を予測するように構成されていれば、深いネットワークは階層を効率的に学習できることを証明しました。
「Data2vec」分析（隠れた天才）：
彼らは、Data2vecと呼ばれる人気のある AI 手法を検討しました。この手法はすでに自身の内部表現を予測しようとしています。著者らは、Data2vec が「梯子」ネットワークと同じことを暗黙的に行っていることを示しました。
- 結果： Data2vec はすでに階層的学習者なのです！最近の他の理論が示唆するように複雑にスタックする必要はありません。それは自然と階層の層を自ら発見します。つまり、複雑な新しいアーキテクチャを構築する必要はなく、既存の手法を使用し、なぜそれらが機能するかを理解するだけでよいのです。

核心的な結論

この論文は、生データ（トークン）を予測することは非効率的であると主張しています。なぜなら、信号は長い距離にわたって希釈されてしまうからです。自身の内部概念（潜在変数）を予測することは効率的です。なぜなら、信号は強く保たれるからです。

トークン学習： 机の上のほこりを見て 1000 ピースのパズルを解こうとするようなものです。正しいピースを見つけるために百万回の試行が必要です。
潜在変数学習： パズル箱の絵を見るようなものです。数回の試行で解くことができます。

著者らは、生物学的学習者（人間など）がこれほどデータ効率的である理由は、おそらく私達の脳が生 sensory 入力を単に記憶するのではなく、世界の自身の内部モデルを常に予測しているからだと結論付けています。「自身の潜在変数から学ぶ」ことに AI のトレーニングをシフトさせることで、はるかに少ないデータで学習する、より賢い AI を構築できる可能性があります。

技術的サマリー：トークンからではなく、自身の潜在表現から学ぶ：サンプル複雑性理論

問題提起

拡散モデルや大規模言語モデル（LLM）を含む生成モデルは、驚くべき経験的成功を収めているが、生物学的学習者が必要とする量よりも桁違いに多い訓練データに依存している。最先端の LLM は $10^{13}$ ～ $10^{14}$ トークンで訓練されており、これは子供が成人レベルの能力に達するために必要な暴露量を大幅に上回る。マルチモーダリティやグラウンディングといった仮説が提案されてきたが、本研究は、学習が生のトークンのレベルではなく、抽象的な潜在空間においてより効率的であるという仮説を検証する。

具体的には、本論文は、データ2vec や JEPA などの自身の潜在表現を予測する自己教師あり学習（SSL）手法と、マスク言語モデリングや拡散モデルなどの生のトークンを予測する手法との間の、理論的ギャップを明らかにすることを扱っている。主要な問いは以下の通りである：

トークンレベルの予測と比較して、自身の潜在表現を予測することによって、データ効率はどの程度向上するか？
多スケール階層（例：H-JEPA）にそのような手法を明示的に積み重ねることには、理論的な利点があるか？

これらの問いに答えるため、著者らは、深さ $L$ の隠れた潜在変数の木を介して可視トークンを生成する簡略化された確率的文脈自由文法（PCFG）である**ランダム階層モデル（RHM）**を利用する。RHM は、構成的構造のサンプル複雑性解析を可能にする。

手法

著者らは、RHM の潜在階層を学習するための 3 つの異なるアプローチを分析する：

反復的潜在クラスタリング（ILC）： モデルが階層をレベルごとに回復させるアルゴリズム的アプローチ。各レベル $\ell$ において、アルゴリズムはトークンのタプルの経験的コンテキストベクトルを推定し、それらをクラスタリングして類義語（同じ親を共有するタプル）を特定する。これによりレベル $\ell+1$ の潜在ラベルが構築され、それが次のレベルの入力として機能する。
スタック型潜在クラスタリング（SLC）ネットワーク： ILC アルゴリズムを反映する微分可能なエンドツーエンドのニューラルアーキテクチャ。これは $L-1$ 個のモジュールのスタックで構成され、各モジュールには、コンテキストベクトルを推定するために「いとこトークン」を予測する予測器と、コントラスト目標を通じて予測ベクトルを離散潜在コードにマッピングするクラスタリング器が含まれる。ネットワークは勾配降下法で訓練され、モジュール間の停止勾配による局所学習則またはグローバルな誤差逆伝播のオプションが用意されている。
data2vec の理論的解析： 著者らは、マスクされた入力に対する潜在表現を予測するために教師 - 生徒セットアップを使用する人気のある SSL 手法 data2vec を分析する。教師のターゲットが暗黙的に学習された潜在情報を運ぶという理論的枠組みを提案し、これにより生徒が帰納的に階層的潜在予測を実行できるようにする。

主要な貢献と結果

1. サンプル複雑性の境界

本論文は、トークンレベルの目的と潜在予測の目的との間に、サンプル複雑性の厳密な分離を確立する：

トークンレベル SSL（教師ありまたはマスク）： 深さ $L$ の潜在木を回復するために、トークンレベルの目的は $P \sim m^{L+1}$ （ $m$ は記号あたりの生成規則の数）に比例するサンプル数を必要とする。これは深さ $L$ に対して指数関数的である。なぜなら、信号は階層全体を伝播する必要があり、未解決の規則がそれぞれ相関信号を $m$ 倍の因子で減衰させるからである。
潜在予測（ILC、SLC、data2vec）： 著者らは、自身の潜在表現を予測することがサンプル複雑性を $P \sim m^3$ $P \sim m^{3}$ （対数因子まで）に減少させることを証明する。このスケーリングは深さ $L$ に依存しない。
- メカニズム： 一度レベルが回復されると、条件付け対象と予測ターゲットの両方がその潜在レベルに持ち上げられる。各後のレベルでの問題は、最初のステップと同じ統計的強度を持つ局所的な類義語クラスタリング問題となり、ノイズの指数関数的な蓄積を回避する。

2. アルゴリズム的およびニューラル検証

ILC： 数値実験により、反復的クラスタリングアルゴリズムが $L$ に依存しない $m^3$ に比例する精度で、完全な非ルート階層を回復することが確認された。
SLC： エンドツーエンドで訓練された SLC ネットワークは、同じ $m^3$ のスケーリングを達成する。注目すべきは、著者らが、モジュール間の停止勾配とグローバルな誤差逆伝播なしに厳密な局所学習則を使用した場合でも、このスケーリングが成り立つことを示したことであり、これは生物学的妥当性を示唆している。
data2vec： 著者らは data2vec の最初のサンプル複雑性解析を提供する。経験的結果は、RHM 上の data2vec も $m^3$ に比例してスケーリングすることを示している。理論的には、data2vec が暗黙的に階層的潜在予測を実行すると主張する。教師が重みを更新するにつれて、生徒に対するターゲットは逐次的に高レベルの潜在表現を取り込み、明示的なアーキテクチャの積み重ねなしに予測タスクを階層に沿って効果的に持ち上げる。

3. 階層的積み重ねへの示唆

結果は、潜在予測モジュールの明示的な積み重ね（H-JEPA のようなもの）が largely 冗長であることを示唆している。単一の潜在予測モジュール（data2vec のようなもの）は、多スケール階層構造を暗黙的に発見し利用する能力を持ち、複雑で手動で積み重ねられたアーキテクチャを必要とせずに最適な $m^3$ のサンプル複雑性を達成する。

重要性

本論文は、「トークンレベルの予測は最適ではない」という直観を、堅固な定量的基盤の上に置く。自身の潜在表現から学ぶことが、トークンレベルの目的に対してサンプル効率において指数関数的な利益をもたらすことを実証することで、この研究は生成モデルにおける潜在空間予測への移行に対する理論的正当性を提供する。

さらに、data2vec の分析は、最先端の自己教師あり手法がすでに暗黙的に階層的である可能性を示唆し、明示的な階層的監督スキームの必要性に疑問を投げかける。著者らは、自然言語や画像にスケーリングする前に、新しいアーキテクチャを設計し理論的に理解するために、RHM のような合成データモデルを開発することが不可欠であると結論づける。

この研究はまた、局所更新や予測符号化などの生物学的に妥当な学習則が最適なサンプル複雑性を達成する可能性を浮き彫りにし、機械学習の効率性と生物学的学習の制約の間のギャップを埋めている。