🤖 machine learning

On the Power of Foundation Models

本論文は圏論を用いて、プロンプトベースの学習は表現可能なタスクに厳密に限られる一方、事前学習タスクによって定義される圏内において微調整を施した十分な能力を持つ基盤モデルは理論上あらゆる下流タスクを解決し、構造的対応を通じて未見のオブジェクトへも一般化し得ることを示す。

原著者： Yang Yuan

公開日 2026-04-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yang Yuan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「基盤モデルの力」に関する論文を、平易な言葉と創造的なアナロジーを用いて解説します。

大きな問い：スーパーブレインはすべてをこなせるか？

宇宙のすべての本を読み、無限の学習時間を持ち、練習テストで決して間違えない学生がいると想像してください。著者たちは、シンプルな問いを投げかけます：「この学生が練習テストで完璧であれば、彼に投げかけられるあらゆる新しい問題を自動的に解決できるでしょうか？」

AI の世界において、この「学生」は基盤モデル（ChatGPT や画像生成モデルの背後にあるようなもの）です。「練習テスト」はプレテキストタスク（文の次の単語を予測することや、画像がどのように回転したかを推測することなど）と呼ばれます。

この論文は、データ量やコンピュータの規模に関する既存の理論ではこの問いに答えられないと主張します。代わりに、著者たちは圏論（構造の「文法」と考えてください）と呼ばれる数学の一分野を用いて、これらのモデルが何ができ、何ができないかを明らかにしました。

彼らは、これらのモデルが新しいことを学ぶ方法について、主に 2 つの規則を発見しました。

規則 #1：「プロンプト」の限界（図書館カードのアナロジー）

シナリオ：モデルに新しい仕事（例えば、写真から猫を特定する作業）をさせたいが、再学習はしたくないとします。その代わり、特定の指示や「プロンプト」（「猫を探してください」と書かれた図書館カードのようなもの）を与えるだけです。

発見：モデルが新しい仕事を解決できるのは、その仕事が元のトレーニングの構造の中にすでに「隠されている」場合に限られます。

アナロジー：モデルを図書館だと想像してください。

プレテキストタスク（トレーニング）は、図書館が本をどのように整理したかです。もし図書館が本を「色」だけで整理していたなら、本は赤、青、緑で分類されています。
プロンプトチューニングは、司書に「歴史の本を探してもらえますか？」と頼むようなものです。
結果：図書館が「色」だけで整理されていた場合、司書は世界最高の記憶力を持っていても、歴史の本を見つけることはできません。「歴史」というカテゴリは、図書館の構造そのものに存在しないからです。
論文の証明：著者たちは、トレーニングタスク（画像の回転を推測するなど）がモデルに「回転」のことだけを教えている場合、モデルをプロンプトで「セグメンテーション（物体を切り抜く）」のような複雑なタスクに指示しても機能しないことを証明しています。なぜなら、「切り抜く」という概念は、その図書館の構造に組み込まれていないからです。

結論：モデルにチェスだけを教えた場合、単にプロンプトを与えてサッカーをさせることはできません。新しいタスクは、古い構造で表現可能でなければなりません。

規則 #2：「ファインチューニング」の力（マスターキーのアナロジー）

シナリオ：新しい仕事用の小さなデータセットを使って、モデルに少しだけ新しい学習（ファインチューニング）を行ってもよいとします。

発見：これははるかに強力です。モデルが初期トレーニング中に世界の「構造」を十分に学習していれば、新しいタスクをすべて学習できます。ただし、そのためには情報を結びつけるための十分なリソース（データと計算能力）を与える必要があります。

アナロジー：モデルを、特定の建物（プレテキストタスク）の鍵穴に合うように切り抜かれたマスターキーだと想像してください。

ファインチューニングは、そのマスターキーを少し削って、別の建物の新しい扉に合うようにすることです。
結果：マスターキーが最初の建物の鍵の本質を捉えていれば、それを形変えて世界のほぼすべての扉を開けることができます。
論文の証明：著者たちは、モデルが「理想的」である場合（トレーニング構造を完璧に学習している場合）、それは下流のあらゆるタスクを解決するために必要なすべての情報を含んでいることを示しています。新しいタスクのトレーニングデータは、その情報をどのように形変えるべきかを示すガイドとして機能するに過ぎません。

結論：ファインチューニングはプロンプトの「表現可能性」によって制限されません。基盤が強ければ、モデルはほぼ何でも適応させることができます。

規則 #3：「魔法の橋」（翻訳者のアナロジー）

シナリオ：テキストを理解するモデルと画像を理解するモデルを組み合わせる場合（マルチモーダル学習）、何が起こるでしょうか？

発見：この論文は「一般化定理」を提示します。それは、2 つの異なる世界（例えばテキストと画像）の間に完璧な橋（数学的写像）を築けば、一方の世界の構造が他方に保存されることを述べています。

アナロジー：「テキスト」を「画像」に完璧に翻訳する辞書を持っていると想像してください。

テキストの世界には、「アボカドの形をした椅子（Avocado Chair）」という概念があります。この物体は現実世界には存在せず、トレーニングデータにその写真も存在しないかもしれません。
しかし、テキストの世界には「アボカド」と「椅子」を組み合わせる論理的な構造があり、その辞書（モデル）が画像世界へ翻訳する際にその構造を完璧に保存しているなら...
結果：モデルは、一度も見たことのない「アボカドの椅子」の完璧な画像を「幻覚（ハルシネーション）」として生成したり、生成したりできます。それは画像を記憶したからではなく、単語間の関係性を理解し、その構造を画像世界に適用したからです。

論文の証明：これが、DALL-E 2 や CLIP のようなモデルがトレーニングセットに存在しないものの画像を作成できる理由を説明しています。それらは単にコピーしているのではなく、言語の構造的論理を用いて新しい画像を構築しているのです。

論文の主張のまとめ

プロンプティングには限界がある：モデルに、トレーニング方法にすでに「組み込まれている」ことしかさせることはできません。トレーニングが新しいタスクの構造を教えていなければ、単純なプロンプトでは機能しません。
ファインチューニングは強力である：少しの追加学習を行えば、良い構造を学習したモデルは、ほぼあらゆるタスクを解決するように適応させることができます。
構造は新しいものを生み出す：ある領域（例えばテキスト）の構造を別の領域（例えば画像）に完璧に写像することで、モデルは（アボカドの椅子のように）これまで存在しなかったものを生成できます。それは単に画像を記憶しているのではなく、構造の論理的規則に従っているからです。

著者たちは、特定のネットワークのサイズやデータ量について話しているのではなく、タスク自体の論理的構造について話していると強調しています。彼らは数学を用いて、トレーニングタスクの「形状」が、モデルが最終的に何ができるかの「形状」を決定することを証明しています。

ヤン・ユアンによる論文「On the Power of Foundation Models」の詳細な技術的要約を以下に示す。

1. 問題定義

本論文は、基盤モデルの時代における根本的な問いに答えるものである：無限の高品質データ、無限の計算資源、そして完璧な学習アルゴリズム（前処理タスクにおけるゼロの汎化誤差を保証する）を備えた無限に大きなモデルが与えられた場合、そのようなモデルは任意の下流タスクを解決できるか？

深層学習の既存の理論（表現、最適化、汎化）は、通常、特定のデータ分布、ネットワークアーキテクチャ、または有限の資源を仮定しているため、この問いに答えるには不十分である。著者らは、限界がモデルの学習能力にあるのではなく、むしろタスク自体の構造的表現にあると主張する。核心的な問題は、前処理（pretext）タスクによって誘導される構造に基づいて、どの下流タスクが基盤モデルによって解決可能かを決定することである。

2. 手法：圏論的枠組み

著者らは、基盤モデルを分析するための主要な数学的道具として圏論を採用している。このアプローチは、特定のニューラルネットワークアーキテクチャや損失関数ではなく、データポイント間の構造的関係に焦点を当てる「モデル非依存」の視点を提供する。

定義された主要概念：

基盤モデル誘導圏（ $C_f$ ）： データを表現に写す基盤モデル $f: D \to H$ $f : D \to H$ は、以下の圏を誘導する：
- 対象： 表現同値によるデータポイント（すなわち、 $f(X) = f(X')$ ならば $X \sim X'$ ）。
- 射：「データ非依存の読み出し」 $k_f$ と、前処理タスクの操作から導かれる合成写像（例えば、対照学習における特徴空間内での並進、または言語モデルにおけるトークンの付加）によって定義される。
ヨネダ埋め込み（ $h_C$ ）： 本論文はヨネダの補題を用いて、モデルの表現 $f(X)$ を表現可能関手 $h_C(X) = \text{Hom}_C(X, \cdot)$ として解釈する。これは内部特徴空間を関手の圏（ $C^\vee$ ）に写像し、データ構造関係を効果的に符号化する。
タスク表現： 下流タスクは関手 $T \in C^\vee$ として定義される。タスクを解決するとは、モデルが $T(X)$ と同型な出力を生成できることを意味する。

3. 主要な貢献と結果

本論文は、プロンプトチューニングとファインチューニングという 2 つの適応戦略の下での基盤モデルの能力に関する 3 つの主要な定理を確立している。

A. プロンプトチューニングの限界（定理 3）

結果： 基盤モデルは、プロンプトチューニングを用いて下流タスク $T$ を解決できる必要十分条件は、そのタスク $T$ が前処理タスクによって誘導される圏において表現可能であることである。
含意： プロンプトチューニングは、前処理タスクの構造的豊かさによって厳密に制限される。前処理タスク（例えば、回転予測）が単純な群構造のみを誘導する場合、モデルはプロンプトのみでは複雑な下流タスク（例えば、セマンティックセグメンテーション）を解決できない。これはモデルのサイズに関係ない。
系 1： 具体的には、回転予測の前処理タスクは、誘導される圏が必要な構造的複雑さを欠いているため、プロンプティングを通じて分類やセグメンテーションなどのコンテンツレベルのタスクを解決する能力を保証しない。

B. ファインチューニングの威力（定理 5）

結果： プロンプトチューニングとは異なり、ファインチューニングにはそのような構造的制限はない。基盤モデルが前処理タスクを解決するために必要な最小限の能力（対称性まで）を持ち、かつ下流タスクに対して十分な資源（データと計算）が提供されれば、理論的には圏 $C^\vee$ 内で定義された任意の下流タスクを解決できる。
メカニズム： ファインチューニングは、事前学習された表現空間を特定のターゲットタスク空間に写像する拡張関手（ヨネダの拡張定理による）をモデルに学習させることを可能にする。
意義： これは、基盤モデルの「ボトルネック」がファインチューニング能力そのものではなく、前処理タスクの質にあることを示唆している。豊かな前処理タスクは豊かな圏 $C$ を創出し、それによって解決可能な下流タスクの空間が拡大する。

C. 汎化とマルチモーダル学習（定理 6 および 7）

結果： 本論文は、構造的学習のための汎化定理を提示する。2 つの圏（例えば、テキストと画像）間に「特徴整合関手」が存在する場合、ソース圏の構造的情報はターゲット圏の特徴空間に保持される。
「未見」の物体への応用： これは、CLIP や DALL-E 2 のようなモデルが、訓練データに存在しない物体（例えば、「アボカドの椅子」）を生成または認識できる理由を説明する。モデルはテキスト圏と画像圏の間の**構造的関係（射）**を学習する。「アボカドの椅子」というテキストがテキスト圏内で有効な合成である場合、特徴整合関手はこの構造を、画像圏内の対応する（おそらく未見の）物体に写像する。
合成定理（定理 7）： この枠組みは圏の連鎖に拡張され、言語 A $\to$ 言語 B $\to$ 画像のように、関手を合成することでマルチモーダルモデルが異なるドメインを接続する方法を説明する。

4. 意義と影響

データ/アーキテクチャから構造への転換： 本論文は、理論的焦点をデータの量やネットワークの深さから、タスクの代数的構造へと移行させる。基盤モデルの「力」は単なるパラメータ数ではなく、それが誘導する圏によって決定されると提唱する。
前処理設計の理論的正当化： **自己教師あり学習（SSL）**のための厳密な数学的枠組みを提供する。なぜ特定の前処理タスクが他よりも優れているのかを説明する：それらはより豊かな射を持つ圏を誘導し、より広範な下流タスクを可能にするからである。
「ゼロショット」能力の説明： ヨネダに基づく枠組みは、基盤モデルが単なる統計的相関ではなく、圏内の構造的合成として未見の概念を扱うことで、どのように未見の概念へ汎化（構造的汎化）するかを形式的に説明する。
プロンプティングとファインチューニングの区別： プロンプトエンジニアリング（表現可能性によって制限される）とファインチューニング（資源と事前学習された圏の豊かさによってのみ制限される）の間の理論的境界を明確にする。

結論

本論文は、無限の資源が与えられた場合でも、基盤モデルのタスク解決能力は、事前学習中に学習された圏論的構造によって根本的に制約されると主張する。プロンプトチューニングは、この圏内で構造的に表現可能なタスクに制限されるのに対し、ファインチューニングはその構造的空間内の任意のタスクを解き放つことができる。さらに、この枠組みは、マルチモーダル学習が本質的に異なる圏間の関手の整合であり、構造的合成を通じて新規かつ未見の物体の生成と認識を可能にすることを示している。