あなたはロボットに物語を書かせる方法を教えようとしていると想像してください。あなたは、非常に小さな脳を持つ、とても小さなロボットから始めます。それは基礎を素早く学びますが、傑作を書くにはあまりにも単純すぎます。性能を向上させるために、単に小さなロボットを捨てて、ゼロから巨大なものを作ることもできますが、それには膨大な時間がかかり、電気代も莫大になります。あるいは、小さなロボットの脳を「成長」させ、新しいニューロンを追加して、より幅広く、より賢くすることもできます。これは**モデル拡張（model expansion）**と呼ばれます。

脳を成長させる際に難しいのは、新しい部分が古い部分とどのように対話すればよいかを知らないことです。ただ新しいセクションをボルト留めするだけでは、古い脳がそれを無視したり、あるいは新しい脳が、古い脳が懸命に築き上げた記憶を誤ってかき乱したりするかもしれません。それは、廊下を接続せずに家に新しい翼（増築部分）を付け加えるようなものです。新しい部屋はそこにありますが、誰も中に入ることができず、最悪の場合、家全体が揺れ始めてしまいます。科学者たちは、古いスキルを維持しながら新しいスキルを学習できるようにするために、これら新旧の脳の部分を繋ぐ完璧な「接着剤」を見つけようとしてきました。この論文は、その完璧な接着剤を見つけることについてのものです。

---

脳をブーストするレシピ：AIを成長させる新しい方法

Tech-AarvamのRamasubramanian B氏によるこの論文の著者は、AIモデル（ロボットの脳）をオフラインで成長させるための巧妙な「レシピ」を考案しました。AIが実行中に成長する方法を学ぶのを待つのではなく、ゲストが到着する前にシェフが材料の下準備をするように、彼らは事前に重労働を済ませてしまいます。彼らの目標は、小さなモデルを取り上げ、これまでの進歩を失うことなく、より幅広く拡張することです。

AIモデルを、バケツの水を列に沿って渡していく作業員のチームだと考えてください。モデルの「幅」とは、その列に何人の人がいるかということです。列に新しい人を追加するとき、新しい人々がバケツをどのように持ち、一滴もこぼさずにパスするかを正確に理解していなければなりません。論文は、これを行うための3つの特定の材料があることを示唆しています。それは、特別な回転のトリック、異なるタスクのための異なる成長ルール、そして新しい作業員への穏やかな「ウォームアップ」です。

1. 魔法の回転：SRIO

主役はSRIO（Small Residual Integration Operator）と呼ばれるものです。想像してみてください、古い脳の一部と新しい脳の一部が、2つの異なる言語であるとします。新しいニューロンを追加すると、彼らは少し異なる方言を話します。もし単にそれらをプラグインするだけなら、古いニューロンは新しいニューロンを理解できず、新しいニューロンは古いニューロンによって混乱してしまうかもしれません。

SRIOは、データの回転（ローテーション）を精密に行う翻訳者のように機能します。これは情報自体を変えるのではなく、新しいデータの「方向」を回転させ、古いデータと完璧に一致するように調整します。具体的には、新しいニューロンの「平均的な」方向を古いものへと回転させます。これにより、古い重み（脳の記憶）が新しい入力をより強く読み取れるようになります。著者は、この回転が「クローズドフォーム（閉形式）」の数学的解、つまりAIがゆっくりと学習する必要があるものではなく、即座に計算できる固定された公式であることを発見しました。それは、新しい部屋をどのように回転させれば古い廊下に接続できるかを正確に教えてくれる、既製の地図を持っているようなものです。

2. 仕事に応じた異なるルール

論文では、脳のすべての部分を同じように扱うことはできないことが判明しました。AIには主に2種類の作業員がいます。**Attention（アテンション）**作業員（何に注意を払うかを決定する人）と、**FFN（フィードフォワードネットワーク）**作業員（情報を処理する人）です。

• Attention作業員に対して： 著者は「凸展開（convex expansion）」を用いました。既存の作業員を取り上げ、2つの色を混ぜて新しい色合いを作るように、彼らのスキルを混ぜ合わせて新しい作業員を作り出すイメージです。これにより、古いものからスムーズにブレンドされた新しい作業員が生まれます。
• FFN作業員に対して： 彼らは「タイル状のコピー（tiled copy）」を用いました。これは、一人の作業員を取り上げ、新しいスペースを埋めるために彼をコピーすることです。これらの作業員は特定の機能を扱うため、ブレンドするよりも直接コピーする方が効果的です。

論文は、アテンションにはブレンドを、FFFにはコピーという、これら2つの戦略を組み合わせる方法が、すべてに対して一つの方法を使うよりもはるかに優れていることを示しています。

3. 穏やかなウォームアップ

完璧な回転と適切な展開があったとしても、新しい作業員があまりに熱心すぎて、すぐに古い作業員の上書きをしてしまうかもしれません。これを修正するために、著者は**スカラー・ウォームアップ・ゲート（scalar warmup gate）**を追加しました。これは音量調節ノブのようなものです。新しい作業員が最初に加わるとき、彼らのボリュームはゼロまで完全に下げられています。短期間（約4,000万語のトレーニング）をかけて、ボリュームは徐々に上げていきます。これにより、古い脳がその役割を果たし続けながら、新しい脳が混乱を引き起こすことなく、どのように貢献できるかをゆっくりと学べるようになります。

彼らが発見したこと

著者は、モデルの幅を256から384に成長させることで、このレシピをテストしました。彼らは自分たちの手法を、特別なことを何もせずに行う方法（単にランダムな新しい部分を追加する）と、LiGOと呼ばれる別の手法（成長ルールを進行中に学習しようとするもの）と比較しました。

結果は明白でした：

• 「何もしない」アプローチによる学習損失（training loss）は 4.2527 でした。
• LiGOのアプローチ（彼らのコードで再実装されたもの）による損失は 4.2606 でした。
• 彼らのフルレシピ（SRIO + 特定の展開 + ウォームアップ）は、4.2111 の損失を達成しました。

AIトレーニングの世界では、この「損失」の数値が低いほど、モデルのミスが少ないことを意味します。したがって、彼らの手法は明確な勝者であり、他の手法を顕著な差で上回りました。彼らはまた、この方法がモデルを何度も成長させ、2,400万パラメータから1億2,000万パラメータまで拡大する場合でも機能することを示し、これが繰り返し使用できるレシピであることを証明しました。

彼らが除外したもの

論文では、他のアイデアが機能するかどうかを確認するために、いくつかのテストも行いました。彼らは回転演算子の異なるサイズ（MediumおよびLargeバージョン）を試しましたが、"Small"バージョン（SRIO）が同等か、あるいはより優れており、かつはるかにシンプルであることを発見しました。また、AIがトレーニング中に回転ルールを学習すべきか（「学習」モード）、それとも固定された数学的公式を使用すべきか（「静的」モード）についてもテストしました。その結果、静的な事前計算された公式は、AIが学習しようとするものと同等にうまく機能したため、AIに成長の方法を教えるために時間を浪費する必要はないことがわかりました。

なぜ重要なのか

この手法の素晴らしさは、それがオフラインであることです。複雑な数学や回転は、モデルの再学習が始まる前に行われます。一度モデルが成長すると、特別な回転のトリックはモデルの重みの中に「折り畳まれ」、消えてしまいます。これは、AIを実行するために追加の計算能力を必要としないことを意味します。それは単に、元のモデルよりも少し大きく、より賢いバージョンであり、より速く、より安価に学習したものです。

要約すると、著者は、壁を壊したり居住者を混乱させたりすることなく、家に新しい部屋を追加する方法を見つけました。精密な数学的回転を使い、適切な展開戦略を混ぜ合わせ、ボリュームをゆっくりと上げることで、AIモデルを効率的に成長させ、モデルの知性を保ったまま、時間とエネルギーを節約できることを示しました。