🤖 machine learning

Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns

本論文は、トランスフォーマーモデルにおける創発的能力が、タスクに関連する疎なアテンションパターンの急激な学習の結果として、学習過程において確率的に発生すること、および、より大規模なモデルは学習効率の向上によってこれらのパターンをより早期に獲得することを実証している。

原著者： Vatsal Baherwani, Zixi Chen, Shikai Qiu, Andrew Gordon Wilson, Pavel Izmailov

公開日 2026-06-25✓ Author reviewed ⓘ

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vatsal Baherwani, Zixi Chen, Shikai Qiu, Andrew Gordon Wilson, Pavel Izmailov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で超スマートなロボットに読み書きを教えていると想像してください。あなたは、学期が進むにつれて成績が少しずつ向上していく学生のように、ロボットも徐々に上達していくことを期待しています。しかし、現代のAIでは、奇妙なことが起こります。ロボットが突然「コツを掴む」のです。ある瞬間まではタスクに失敗していたのに、次の瞬間にはそれを完璧に解いているのです。これは「創発的能力（emergent capability）」と呼ばれます。

この論文は、なぜこれらの突然のブレイクスルーが起こるのかを調査しています。著者たちは、それは滑らかで着実な上昇ではないと主張しています。むしろ、それはロボットが暗い部屋の中で特定の隠されたスイッチを探しているようなものです。一度そのスイッチを切り替えると、すべてが一変します。

以下に、彼らの発見を簡単な比喩を用いて解説します。

1. 「ライトスイッチ」の瞬間

AIの脳を、大量のライトスイッチ（これらは「アテンション・ヘッド」と呼ばれます）で満たされた巨大な部屋だと考えてください。ほとんどの時間、ロボットは暗闇の中で手探りをしています。ロボットは、「文章をコピーする」ことや、「誰が飲み物を渡したかを見極める」ことといった特定のタスクに対して、どのスイッチが明かりを制御しているのかを知りません。

論文は、これらの能力がゆっくりと現れるのではないことを示しています。それらは突如として現れます。

ランダム性: 少し異なる初期値（ランダムシード）を持つ10台の同一のロボットを訓練した場合、あるロボットは10日目に正しいスイッチを見つけ、別のロボットは100日目に見つけ、中には最後まで見つけられないものさえあります。
大きな跳躍: 一度ロボットが正しいスイッチを見つけると、パフォーマンスは少しずつ上がるのではなく、急上昇します。それは、スイッチをオンにした瞬間に、洪水のような光が差し込むようなものです。

2. 秘密は「眼差し」にある

ロボットはどうやって何をすべきかを知るのでしょうか？それは、正しいものを見ることを学ぶのです。
AIの用語では、これは「アテンション・パターンを学習すること」と呼ばれます。あなたが物語を読みながら次の単語を予想しようとしている場面を想像してください。賢い読者は、前の文章を振り返って見ることを知っています。混乱している読者は、ランダムな単語を見てしまいます。

著者たちは、この「突然のブレイクスルー」は、ロボットが未来を予測するために過去の正しい単語を凝視することを学んだ瞬間に起こることを発見しました。

証拠: 彼らは、まだタスクを学習していないロボットに対し、手動で「正しい単語を見る」ように強制する（「パッチング」と呼ばれる手法を使用）テストを行いました。すると、自然に「学習」していなかったにもかかわらず、ロボットはタスクを完璧に解くことができました。これは、「正しいものを見る方法を学ぶこと」がボトルネックであることを証明しています。

3. 「探索」の難しさ

なぜスイッチを見つけるのにこれほど時間がかかるのでしょうか？著者たちは、これをテストするために2つの「訓練ゲーム」（合成タスク）を作成しました。

スパース・マップ・ゲーム: 特定の点だけが接続されている巨大なグリッドを想像してください。ロボットは、どの点がどの点とつながっているかを突き止めなければなりません。
セル・オートマトン・ゲーム: 各セルが隣接するセルに基づいて変化する、細胞の列を想像してください。

彼らは、この「探索」を極めて困難にしている主な要因が2つあることを発見しました。

コンテキスト長（長い廊下）: もしロボットが手がかりを見つけるために、非常に長い言葉の廊下を遡って見なければならない場合、道に迷ってしまいます。コンテキストが長ければ長いほど、正しいスイッチを見つけるのは難しくなります。
スパース性（干し草の山の中の針）: もしロボットが情報の99%を無視して、わずか1%（スパースなパターン）に集中しなければならない場合、苦戦します。それは、巨大な干し草の山の中から特定の針を見つけるようなものです。もし干し草が巨大で針が極めて小さいなら、ロボットは一生見つけられないかもしれません。

4. たくさんの「目」は助けになるが、サイズが重要

論文では、ロボットがこれらのスイッチをより早く見つけるのを助ける方法についてもテストしています。

より多くのヘッド（より多くの目）: ロボットに多くの「アテンション・ヘッド」（より多くの目のペア）を与えることは、助けになります。それは、一人の人間が部屋を探す代わりに、チームで部屋を探すようなものです。目の数が多いほど、誰かが素早くスイッチを見つける確率が高まります。
大きな目 vs たくさんの目: 興味深いことに、個々の「目」を大きくすること（容量を増やすこと）は、単に「目の数を増やすこと」ほどは効果がありませんでした。ただし、目が仕事をこなすのに十分な大きさであれば、という条件付きですが。

5. 仕事に応じた異なるツール

最後に、彼らは「標準的なロボットのデザイン（Transformer）は最善の道具なのか？」と問いかけました。

彼らは、標準的な「振り返る」メカニ way を持たない MLP-Mixer という異なるデザインを試しました。
結果: 「スパース・マップ」ゲーム（特定の、疎な接続を見つけるゲーム）において、MLP-Mixerは標準的なロボットよりも10倍速く、ほぼ瞬時にスイッチを見つけ出しました。
しかし、「セル・オートマトン」ゲーム（特定の順序で隣接するものを見る必要があるゲーム）においては、標準的なロボットの方が依然として優れていました。

結論

この論文は、AIが突然賢くなる「魔法」は、魔法などではないと結論づけています。それは、モデルがどのように注意を集中させるか（正しく、しばしば疎な情報に焦点を当てる方法）を学ぶことに苦戦するという、機械的なプロセスなのです。

より大きなモデルは、これらのフォーカス・パターンをより速く、より確実に発見します。
より長いコンテキストは、それを見つけることをより困難にします。
アーキテクチャの変更（「目」を増やしたり、情報の混ぜ方を変えたりすること）は、この探索を大幅に加速させることができます。

要するに、創発とは滑らかな曲線ではなく、ロボットがようやく「どこを見るべきか」を理解した瞬間に訪れる、一連の突然の「アハー！（分かった！）」という瞬間なのです。

技術要約：学習におけるスパースなアテンション・パターンの獲得による、突発的な能力の発現

問題提起

ニューラルスケーリング則は、トランスフォーマーのモデルパラメータが増加するにつれて、事前学習の損失が滑らかに改善することを予測している。しかし、インコンテキスト学習や構文獲得といったダウンストリームの能力は、特定のモデルスケールにおいて突如として現れ、さらに重要なことに、モデルの初期値（シード）に依存して確率的に出現することが観察されている。先行研究では、出現がシード間でランダムであり、かつ不連続な性質を持つことが確立されているが、この現象の根本的なメカニズムは依然として不明である。具体的には、モデル内でどのような内部変化が起こっているのか、なぜ大規模なモデルの方がこれらの能力をより確実に獲得するのか、そして必要な内部表現の学習の難易度を決定する要因は何なのかが解明されていない。

手法

著者らは、事前学習済み言語モデルに対するメカニスティックな解析と、合成タスクを用いた制御された学習実験を組み合わせた二段構えのアプローチを採用している。

1. 事前学習済みモデルの解析（Pythiaスイート）:

モデル: 本研究では、Pythiaスイートの言語モデル（14Mから410Mパラメータ）を使用し、複数のランダムな初期化シードを用いる。
タスク: 文字列の反復、インコンテキストでの反復、パターン補完、および間接目的語の特定などの能力を評価する。
出現の検出: 「出現点」を、モデルの貪欲な予測が正解（ground truth）と一致した最初の学習ステップと定義する。チェックポイント間のステップを特定するために二分探索を用いる。
因果的アブレーション（活性化パッチング）: 出現のメカニズムを特定するため、因果的な介入を行う。タスクを解決していない「出現前」のモデルを用い、タスクを解決した「出現後」のモデルから特定のヘッドのアテンションマップをパッチング（移植）する。その結果として生じる正しいトークンの確率の変化（ $\Delta p$ ）を測定し、「因果的アテンションヘッド」を特定する。

2. 合成タスクの学習:
自然言語のノイズを除去してアテンション学習の影響を分離するため、既知の正解アテンションパターンを持つ2つの合成データセットを用いてトランスフォーマーを学習させる。

線形写像（Linear Map）: モデルが、直前の状態のスパースな部分集合のパリティを計算するタスク（ $f(x) = Ax \mod 2$ ）。正解のアテンションパターンは、スパース行列 $A$ によって定義される。
セル・オートマトン（Cellular Automata）: モデルが、局所的なセルのウィンドウとルックアップテーブルの規則に基づいて次の状態を予測するタスク。 $N > 1$ のルールの場合、モデルはコンテキストから有効なルールを推論する必要がある。
変数: コンテキスト長（状態サイズ $S$ 、軌跡長 $T$ ）、アテンションパターンのスパース性（ $s/S$ ）、およびアーキテクチャのハイパーパラメータ（ヘッド数 $H$ 、ヘッド次元 $d_{head}$ ）を系統的に変化させる。
介入: 正解のアテンションパターンをロジットに人工的に加える「アテンション・バイアス介入」を行い、パターンの学習が唯一のボトルネックであるかどうかをテストする。

3. アーキテクチャの比較:
標準的なトランスフォーマーを、代替的なトークン混合メカニズム（MLP-Mixer、Mamba、Gated DeltaNet、RWKV）と比較する。

主な知見

1. アテンション学習によるランダムかつ突発的な出現:

能力は学習を通じて確率的に出現する。固定されたモデルスケールにおいて、ある初期化シードはタスクを解決するが、他のシードは完全に失敗することもある。
出現は、タスクに関連するアテンションパターンの急激な学習と一致する。例えば、反復タスクにおいて、モデルの正しいトークンの確率が急上昇するのは、特定のヘッドがユニフォームなアテンションから、解釈可能な「コピー」および「前トークン」のパターンへと遷移する時である。
因果的証拠: 少数の因果的ヘッド（例： $K=16$ ）のアテンションパターンを出現前のモデルにパッチングすると、パフォーマンスの差の大部分が回復する。これは、これらの特定のアテンションパターンの学習が、能力出現のボトルネックであることを証明している。

2. 学習の難易度を決定する要因:

コンテキスト長とスパース性: 合成タスクにおいて、アテンションパターンの学習の難易度は、コンテキスト長とパターンのスパース性によって共同で決定される。
- スパース性: 中程度のスパース性（極端にスパースでも極端に高密度でもない状態）が最も学習が困難である。
- コンテキスト長: コンテキスト長（状態サイズ）が増加するにつれて、学習は著しく困難になる。大きな状態サイズ（例： $S=512$ ）では、モデルは進展を見せることができず、長い損失のプラトー（停滞）に陥ることが多い。
アテンション・バイアス: 正解のアテンションパターンへのバイアスを適用すると、損失のプラトーが完全に消失し、即座に収束する。これは、ボトルネックが「計算」ではなく、正しいアテンションパターンを「探索」することにあることを裏付けている。

3. アーキテクチャのスケーリングと代替案:

ヘッドの増強: ヘッドの数を増やすことは、合成タスクの両方において一貫してパフォーマンスを向上させる。これは、より多くのヘッドが、正しいスパースなパターンを発見するための候補を提供することを示唆している。
ヘッド次元: トレードオフが存在する。ヘッド次元を増やすことは有効であるが、最小限の容量が必要である。線形写像タスクでは、多くのヘッドと小さな次元（ $H=128, d_{head}=1$ ）を持つモデルが成功するが、セル・オートマトンタスクでは、ルール情報を保持するために最小限のヘッド次元が必要となる。
MLP-Mixer: 線形写像タスク（複雑で固定された位置パターンを学習する必要がある）において、MLP-Mixerはトランスフォーマーよりも桁違いに優れた性能を示し、大幅に速く学習する。しかし、MLP-Mixerはセル・オートマトンタスクでは性能が劣る。これは、ドット積アテンションほど効率的にコンテキスト依存のトークン混合パターンをパラメータ化できないためと考えられる。
深さ: 深さ（レイヤー数）をスケールアップすることは、線形写像タスクの性能を低下させる（スパースなパターンの合成が困難であるためと思われる）が、マルチルール・セル・オートマトンタスクには役立つ。

4. プレ・プリトレーニング:
予備的な実験により、合成形式言語（Dyck）やニューラル・セル・オートマトンでのプレ・プリトレーニングが、インコンテキスト能力の出現を加速させる可能性があることが示唆されているが、結果はタスクやシードによって異なる。

意義と主張

本論文は、いわゆる「創発的な能力の蜃気楼（mirage）」に対するメカニスティックな説明を提示していると主張している。著者らは以下の通り述べている：

出現は連続的なスケーリング現象ではない。 それは、スパースなアテンションパターンの急激な学習によって引き起こされる、一連の離散的な相転移である。
ボトルネックはアテンションの学習である。 高次元空間において正しいスパースなアテンションパターンを見つけ出す難しさが、能力がいつ、どのように出現するかを決定する。
大規模なモデルがより頻繁に成功するのは、 一般的な意味で「より良い」表現を学習するからではなく、増加した探索能力（より多くのヘッド）によって、学習のより早い段階で正しいスパースなアテンションパターンを発見できる確率が高いためである。
アーキテクチャ設計が重要である。 トークン混合メカニズムの選択（例：ドット積アテンション vs MLP）は、特定のパターンの学習効率に大きな影響を与える。

著者らは、将来の研究は、アテンション介入や帰納バイアスを用いてスパースなアテンションパターンの学習を促進する（これにより、能力出現のボトルネックを取り除く）データセットおよびアーキテクチャの設計に焦点を当てるべきであると結論づけている。また、現在の知見が1Bパラメータ未満のモデルおよび初歩的な能力に限定されていること、そして大規模モデルや複雑な推論タスクへの一般化は依然として未解決の課題であることを謙虚に述べている。