レゴブロックの巨大なタワーを想像してみてください。何千もの、小さくて全く同じレゴブロックを使って、超高層ビルを建てようとしているところです。人工知能の世界において、これらの「ブロック」は情報を処理する数学的なレイヤー（層）であり、「超高層ビル」は猫の写真を認識したり物語を書いたりといった複雑なタスクを学習するために設計されたディープニューラルネットワークです。建物が深ければ深いほど、より複雑な問題を解決できるようになります。しかし、ここには落とし穴があります。層をどんどん積み上げていくにつれて、底から頂上へと伝わる信号が、かき消されたり、歪んだり、あるいは完全に失われてしまうことがよくあるのです。これは、100人の人々に秘密のメッセージをささやき伝えるようなものです。最後にメッセージが届く頃には、内容はめちゃくちゃになっているか、消えてしまっています。

これを解決するために、エンジニアたちは「スキップ接続（skip connection）」と呼ばれる巧妙なトリックを考案しました。これは、レゴのタワーの真ん中に超高速のエレベーターシャフトを建設することを考えてみてください。メッセージをすべてのブロックを通り抜けて這わせる代わりに、エレベーターによって、ノイズが多くて乱雑な中間部分を飛び越えさせ、安全に頂上に着地させるのです。これにより、信号の強さが保たれます。しかし、この論文が調査している隠れた問題があります。たとえメッセージの「音量」が大きく保たれていたとしても、その「内容」が平坦化されている可能性があるのです。メッセージが移動する過程で、レゴブロックのあらゆる色が単一のグレーの色合いに変わっていく様子を想像してみてください。メッセージ自体は存在していますが、その豊かさと多様性は失われています。数学的には、これは「ランク崩壊（rank collapse）」と呼ばれ、ネットワークが世界を多くの異なる方向から見る能力を失い、狭く退屈な視点に陥ってしまうことを意味します。

「Transforming Rank」と題されたこの論文は、現代のAIの設計図を深く掘り下げ、これらのレゴタワーのデザインがいかにして「色の喪失」に影響を与えるかを解明しています。Katie Everett率いるMITの研究チームは、ネットワークを探偵小説のように扱い、スキップ接続、正規化層（信号が爆発するのを防ぐもの）、そして数学的操作の具体的な配置がどのように連携しているのかを検証しています。彼らは、有名な「エレベーターシャフト（スキップ接続）」が単に信号のボリュームを維持するだけでなく、実は信号の「多様性」をも救っていることを発見しました。つまり、すべてをグレーに変えてしまうようなネットワークの部分を回避するように信号をルーティングすることで、多様性を守っているのです。しかし、厄けもあります。もしエレベーターに頼りすぎると、建物は「深く思考するタワー」としての機能を停止し、互いに会話をしない独立した浅い部屋の集まりになってしまいます。論文は、エレベラーの配置とタワー内部の「廊下」の幅が、AIの精神を色彩豊かにし、数百層もの深さになっても学習能力を維持するための秘訣であることを示し、これらの力のバランスをどのように取るべきかを正確に描き出しています。

レゴタワーの大謎解き

では、ディープニューラルネットワークを退屈なグレーの塊に変えないためにはどうすればよいのでしょうか？著者たちは、AIのスカイスクレイパーにおける標準的な「部屋」である「フィードフォワード・ブロック（feedforward block）」に着目することにしました。典型的な部屋では、情報が入ってきて、引き伸ばされ、フィルター（活性化関数）を通して絞り込まれ、再び押しつぶされます。問題は、この引き伸ばして絞り込むプロセスが、使うたびに細部が失われていくフォトコピー機のようなものであることです。文書を100回コピーすれば、テキストはやがはや判読不能になります。ニューラルネットワークにおいて、これは、層が深くなるにつれて「ランク（情報が取れる方向の多さの尺度）」が低下することを意味します。

論文は、あの有名なエレベーターシャフトである「スキップ接続」を再検証することから始まります。多くの人々は、エレベーターは単に信号が静かになりすぎたり、大きくなりすぎたりするのを防ぐためのものだと考えていました。しかし、著者たちは、その真のスーパーパワーは「ランク」を救うことにあることを示しています。信号が乱雑な「引き伸ばしと絞り込み」の部屋をバイパスしてエレベーターを直通することで、ネットワークは多様性を保持します。しかし、注意が必要です。もしエレベーターが強力すぎて、乱雑な部屋が弱すぎる場合、信号はそこから新しいことを一切学習しません。単に部屋を飛び越えてしまうのです。その場合、ネットワークは一つの深い思考者として前層の積み重ねを構築するのではなく、人々がそれぞれ自分の考えを叫んでいる「アンサンブル（集合体）」のように振る舞ってしまいます。著者たちは、エレベーターと乱雑な部屋の間のバランスは、エレベーターに対して部屋の貢献がどの程度大きいかという単純な比率によって制御されていることを見出しました。

特製ソース：ノーマライザー（正規化器）を置く場所

この論文の最大の発見の一つは、「正規化（normalization）」、つまりネットワーク内の数値が暴走するのを防ぐステップに関するものです。長い間、エンジニアたちはこのステップを、乱雑な部屋の前（Pre-Norm）に置くべきか、エレベーターの後（Post-Norm）に置くべきかで議論してきました。この論文は、この選択が単に数値を安定させるためのものではなく、エレベーター対部屋の比率を制御するマスタースイッチであることを明らかにしています。

もしノーマライザーをエレベーターの「後（Post-Norm）」に置くと、それは毎回信号のサイズをリセットします。これにより、部屋とエレベーターの比率は常に一定に保たれます。その結果はどうなるでしょうか？信号は層を経るごとに多様性を失い続け、最終的にタワー全体がグレーの塊へと崩壊します。著者たちは、「プロジェクション（投影）」部分（特定の方向を取り除く機能）が真の悪役であるという説を明確に否定しました。シミュレーションの結果、その部分を取り除いたとしても、崩壊は依然として起こることが示されました。真の犯人は、信号の回復を妨げる「一定の比率」なのです。

一方で、ノーマライザーを乱雑な部屋の「前（Pre-Norm）」に置くと、信号はタワーを上昇するにつれて成長することが許されます。信号が大きくなるにつれて、エレベーターと比較した際の乱雑な部屋の貢献度は相対的に小さくなります。つまり、深くなるにつれて比率が変化していくのです。初期の層では多少の多様性を失いますが、比率が変化し続けるため、後の層では減少が止まります。ランクは消失せず、「底」に到達して維持されます。これが、現代の巨大なAIモデル（コードを書いたりチャットしたりするもの）が、ほぼ常にPre-Normを使用している理由です。Pre-Normは、深い層が少し「活動的」でなくなることを意味しても、ネットワークが崩壊するのを防いでくれるのです。

二つの行列のマジックトリック

また、この論文は、なぜこれらのタワーの「乱雑な部屋」に、単一ではなく「二つの」数学的操作が含まれているのかという謎も解いています。通常、部屋は信号を4倍に広げ、フィルターを適用し、再び押しつぶします。なぜ一度に行わないのでしょうか？

著者たちは、もし行列が一つしかない場合、信号に「平均スパイク（mean spike）」が生じることを発見しました。信号が部屋を通るたびに、偶然にも同じ方向にわずかな「グレーのノイズ」が加わると想像してください。これを100回繰り返すと、その微小なノイズは巨大で支配的なスパイクへと成長し、他のあらゆる色を押し退けてしまいます。信号は単一の退屈な線になってしまうのです。

しかし、二つの行列を使用すると、二番目の行列が魔法のミキサーのように機能します。それは成長し続けるスパイクを取り込み、それをかき混ぜて分散させることで、ノイズが支配的にならないようにします。これにより、信号は色彩豊かさを保ち、崩壊を防ぐことができます。論文は、現代のTransformerが二つの行列を使用している理由が、単にパワーを増すためではなく、ネットワークが単一の方向に固執しないようにノイズを脱相関（デコリレーション）させるためであることを示しています。

幅の拡張閾値

最後に、論文は「乱雑な部屋」の中の「廊下」をどれほど広くすべきかについても考察しています。彼らは、マルチェンコ・パストゥール（Marchenko-Pastur）の法則と呼ばれる数学的法則に基づいた特定の閾値を見つけ出しました。もし廊下が狭すぎると、フィルター（活性化関数）が多くの方向を殺してしまい、信号が行き詰まってしまいます。しかし、廊下を一定の幅（例えば入力の4倍）まで広げれば、信号がフィルターを生き残るための十分なスペースが得られます。著者たちは、ReLUのような一般的なフィルターの場合、多様性を保つためには少なくとも2倍の拡張が必要であるが、現実世界のモデルで使用されている標準的な4倍の拡張はより安全であり、信号を非常に良好な状態に保つことを計算で示しました。

全体像：三方向のトレードオフ

結局のところ、この論文はアーキテクチャ設計を繊細なバランス調整のプロセスとして描いています。そこには、あなたの注意を引こうとする3つの要素があります。

1. ランク崩壊： 信号がグレーになり、多様性を失うこと。
2. アンサンブル挙動： 信号が学習プロセスをスキップし、浅い部屋の集まりのように振る舞うこと。
3. パラメータ数： 問題を解決するために、より多くの「レンガ」（二つ目の行列や広い廊下など）を追加するコスト。

著者たちは、最良のデザインとはこのトレードオフを巧みに操るものであると示唆しています。スキップ接続を使用して危険な部分を回避させつつ、信号が依然として学習できるように「ブランチ対スキップ」の比率を調整します。信号を部屋の中で色彩豊かに保つために二つの行列を用います。そして、信号が自然に成長できるようにPre-Normを使用し、比率が崩壊パターンに陥るのを防ぎます。

論文は、CIFAR-10データセット（画像認識の標準的なテスト）を用いたシミュレーションと測定を通じて、これらの概念を裏付けています。初期のランクが崩壊したネットワークは学習に失敗しましたが、適度なレベルのランクを維持できたネットワークは成功しました。これは、現代のAIの「秘伝のソース」が、単にモデルを大きくすることではなく、ネットワークの深く暗い深淵を信号が旅する間、その多様性を生かし続けるために内部の配管を注意深く設計することにあることを示唆しています。