コンピュータが何十億もの文章を読み、物語の次の単語を推測しようとすることで言葉を学ぶ世界を想像してみてください。これを行うために、彼らは「トランスフォーマー」と呼ばれる、脳のような特別な構造を使用します。トランスフォーマーを、生のデータが底辺から入り、各フロアで処理され、スマートな予測となって頂上から出てくる多層階の工場と考えてみてください。これらの工場が最もよく機能するためには、非常に深く、時には数十階建てである必要があります。しかし、ここにはトリッキーな問題があります。もしオリジナルの設計図を使って工場を高くしすぎると、下のフロアの作業員に指示が届かなくなってしまうのです。上のフロアからの信号は非常に弱くなり、機械全体が、これまで見た平均的な単語をただコピーするだけの退屈なループに陥ってしまいます。これは、メッセージが伝わる過程で内容がひどく混乱し、最終的に全員が同じフレーズを繰り返してしまう「伝言ゲーム」のようなものです。

これから読む論文は、なぜ「Post-Norm」と呼ばれる特定の工場設計においてこのようなことが起こるのかを掘り下げています。この設計では、作業員は自分の仕事を終えてメインのコンベアベルトに加えた「後」に、「健康診断（正規化）」を受けます。著者らは、このセットアップには2つの致命的な欠陥があることを発見しました。第一に、工場が開業した直後、過去の様子を見る方法（アテンション）が、意図せずして全員の仕事を全く同じもの、まるでクローンの群衆のように見せてしまいます。第二に、一度全員が同じようになってしまうと、メッセージを後ろへ伝えるための内部ルール（勾配）が、指示をどんどん縮小させ、完全に消滅させてしまうのです。その結果、新しいことを何も学べず、ただ単調な一つの音を響かせ続けるだけの機械になってしまいます。著者らは単に推測したのではなく、クローンがどのように形成されるかを証明するための数学的モデルを構築し、そして48階建ての工場で、それがリアルタイムで起こる様子を観察するために実験を行いました。

偉大なるクローン工場：なぜ深いAIは行き詰まるのか

48階建ての巨大な超高層ビルを想像してみてください。そこでは、各フロアのチームが物語を理解しようと奮闘しています。これは「Post-Norm トランスフォーマー」と呼ばれるタイプのAIモデルです。目標は、最上階が文章の次の単語を予測することです。これを行うために、情報は下から上へと流れ、指示（勾配）は、作業員に改善方法を教えるために上から下へと流れます。

しかし、ここに落とし穴があります。この特定の超高層ビル設計では、下のフロアの作業員は「無視」されているのです。論文では、これが2幕構成の劇のように、悲劇が展開される2つの明確な段階を経て起こると説明しています。

第1幕：開業日の「クローン」現象

工場の開業直後を想像してください。作業員は新鮮な状態であり、マネージャーたち（AIのアテンション・メカニズム）はどのように連携するかを模索しています。Post-Normのビルでは、マネージャーたちには奇妙な癖があります。彼らは皆のアイデアを平均化してしまう傾向があるのです。

著者らは、開始直後の「アテンション」ブランチが、**プレフィックス平均化演算子（prefix-averaging operator）**として機能することを発見しました。これは、生徒一人ひとりのユニークな意見を聞く代わりに、これまでに言われたことの平均を取り、それを全員にコピーさせる教師のようなものです。このビルは非常に高いため（48レイヤー）、信号が上に移動するにつれて、この平均化が何度も繰り返されます。信号が最上階に到達する頃には、すべての作業員の出力はほぼ同一に見えます。彼らは皆、クローンになってしまったのです。

論文は、これが学習が始まる前であっても起こることを示しています。それは、鏡の塔を建てた場合、最初の反射の時点で既にすべてが同じに見えてしまうようなものです。著者らはこれを測定し、「アテンション」の部分が主な原因であり、作業員をクローンへと押しやっていることを突き止めました。工場のもう一方の部分である「FFN（フィードフォワード・ネットワーク）」は、押し戻して個性を保とうとしますが、それはハリケーンを止めようとする穏やかな微風のようなもので、クローン化を止めるには力不足なのです。

第2幕：消えゆく囁き

さて、工場が稼働し、作業員たちがすでにクローンになったと想像してください。上のフロアのマネージャーたちは、「おい、みんな同じに見えるぞ！これを修正しなければ！」と気づきます。彼らは行動を変えるために、下のフロアへとメッセージを送ります。これが「バックワード・パス」、あるいは「勾配」です。

しかし、ここでPost-Normのデザインが彼らを裏切ります。このビルでは、作業員がタスクを終えるたびに、「健康診断（RMSNorm）」が行われ、その出力の大きさに応じて仕事の規模が調整されます。作業員が問題を解決しようと試みるにつれ、彼らの出力はどんどん大きくなっていきます。すると、健康診断マシンは、この巨大な出力を管理可能なサイズに抑えるために縮小させます。

問題は、この縮小が作業員がメインのコンベアベルトに自分の仕事を加えた「後」に行われることです。そのため、「修正」のメッセージが後ろへと伝わろうとする際、そのメッセージはこの縮小マシンを通過しなければなりません。著者らは、作業員の出力が増大するにつれ、このマシンが「修正」メッセージを極めて強力に縮小させ、下のフロアに到達する頃にはメッセージが消滅してしまうことを発見しました。それは、48階建ての廊下に向かって修正の叫び声を上げているようなものですが、フロアごとに防音壁が厚くなっていくため、下の階に届く頃には、誰も聞き取れないほどの囁き声になってしまうのです。

下のフロアは指示を聞くことができないため、クローンであることを止めることができません。工場は「高類似性レジーム（high-similarity regime）」と呼ばれる状態に陥り、そこでできることは、学習データの中で最も一般的な単語を予測することだけになります。これは、AIによる「頻度分布（frequency distribution）」です。それは、「何を言えばいいかわからないので、今まで聞いた中で最もポピュラーな言葉を言っておこう」というAIの言い分なのです。

実験：崩壊を見守る

これが単なる理論ではないことを証明するために、著者らは48階建てのPost-Norm工場を構築し、C4と呼ばれる大規模なデータセットでトレーニングを行いました。彼らはトレーニングが進む様子を注意深く観察しました。

1. クローンの増殖： 彼らは作業員の出力がいかに似通っているかを測定しました。数学的予測通り、開始直後に類似性が急上昇し、「プレフィックス平均化」アテンションが全員をクローンに変えていることが確認されました。
2. 縮小： 彼らは「縮小係数（RMSNorm バックワード係数）」を追跡しました。トレーニングが進み、作業員の出力が増大するにつれ、この係数が1を下回るのを確認しました。これは、工場が修復信号を積極的に縮小させていることを意味します。
3. 消えゆく勾配： 彼らは下のフロアを観察し、勾配（学習信号）が数桁も低下しているのを見ました。下のフロアは、実質的に上のフロアの指示に対して盲目状態にありました。
4. 行き止まり： 最後に、彼らはロス（予測の悪さ）をチェックしました。工場が崩壊すると、ロスは改善を止め、最も一般的な単語を単に推測するマシンにおける理論的な最小値である「頻度ロス（frequency loss）」に留まりました。

なぜPre-Normは異なるのか

「なぜすべてのAI工場がこの問題を抱えていないのか？」と思うかもしれません。論文は、代替設計である「Pre-Norm」が、作業員がコンベアベルトに仕事を加える「前」に健康診断を行うことで、この問題を解決していると説明しています。Pre- Normでは、縮小マシンは新しい仕事のみに影響を与え、コンベアベルト全体には影響を与えません。これにより、「修正」のメッセージが押しつぶされることなく廊下を伝わり、下のフロアが目覚めた状態で学習を続けられるようになるのです。

まとめ

この論文は、単に「Post-Normは悪い」と言っているわけではありません。なぜそれが失敗するのかという、明確な二部構成の物語を提示しています。第一に、アテンション・メカニズムが開始直後に誤ってクローンの群衆を作り出します。第二に、そのアーキテクチャのルールが、一度形成されたクローンを解くためのメッセージの逆伝播を不可能にします。工場は、知っている最も一般的な言葉を繰り返すだけのループに陥り、変化するための指示が底に届かない限り、どれほどトレーニングを重ねても目を覚ますことはできません。

著者らはこの点について非常に確信を持っています。彼らには、その挙動を裏付ける数学的証明があり、48レイヤーのモデルからの実験データもその予測と完璧に一致しています。彼らはさらに、アテンションから「平均化」の部分を取り除けばクローン化が止まることを示し、アテンション・メカニズムこそがこの物語の真犯人であることを証明しました。ですから、もしあなたが深く、賢いAIを構築したいのであれば、工場の設計が、作業員を静かで同一的な群衆へと変えてしまわないよう注意する必要があるのです。