Can Model Merging Improve Aggregation in DiLoCo?
本論文は、Iso-Cのマージ手法にネステロフ・モーメンタムを適応させた手法（IsoLoCo）が、特にローカルワーカーの数が増加する状況において、低通信量の分散学習における既存のDiLoCo手法を大幅に上回る性能を示すことで、モデルマージと分散学習の間の溝を埋めるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大で超スマートなAIの脳を訓練しようとしていると想像してください。これを行うには、膨大な計算能力が必要です。通常、企業は「データ並列（data-parallel）」という手法を用います。これは、何百ものコンピュータを横一列に並べ、すべてが全く同じタスクに対して同時に働き、常に互いに更新情報を叫び合うような仕組みです。これは高速ですが、すべてのコンピュータを繋ぐ高価で高速なケーブルを必要とします。もし一台でも遅いコンピュータがあったり、ケーブルが弱かったりすると、列全体が待機しなければなりません。
問題点：「アイランド（島）」方式
コストを抑え、より弱い接続を利用するために、研究者たちはDiLoCoと呼ばれる手法を開発しました。これは、単一の列を作る代わりに、多くの独立したコンピュータの「アイランド（島）」を作るイメージです。
- 各アイランドは、しばらくの間（例えば30ステップ）、独自のバージョンのAI脳を独立して訓練します。
- 彼らはこの30ステップの間、互いに通信しません。
- 30ステップ後、彼らは学んだことの要約（「擬似勾配」）を中央ハブに送ります。
- ハブはこれらの要約を平均化し、メインの脳を更新します。
グリッチ（不具合）：
論文では、この「アイランド」方式における欠陥が見つかりました。アイランド（ワーカー）の数が増えたり、通信する前の訓練時間が長くなったりすると、AIが混乱し始めます。これは、会話をせずにグループで一つの絵を描こうとしているようなものです。もし、互いに話さないまま長く描きすぎると、それぞれが異なるものを描き始めてしまい、いざそれらを組み合わせようとした時に、結果がめちゃくちゃになってしまうのです。技術的な言葉で言えば、異なるアイランドからの「更新（アップデート）」が互いに衝突し始め、AIの性能を低下させてしまうのです。
インスピレーション：エキスパートモデルの統合
これとは別に、別の研究グループが**モデル・マージング（モデル統合）**の研究を行っていました。イタリア料理を学んだ専門家シェフと、日本料理を学んだもう一人の専門家シェフがいると想像してください。あなたは、両方ができる一人のシェフを求めています。
- 従来の方法： 単に彼らのレシピを平均化することです。これは、材料が衝突する場合（例：醤油と生クリームを混ぜるなど）によく失敗します。
- 新しい方法（タスク・アリスメティック）： レシピ全体を平均化するのではなく、エキスパートの最終的なレシピと元のベースとなるレシピとの「差分」に着目します。そして、その差分だけを慎重に組み合わせます。
論文の大きな「アハ体験（発見）」は、DiLoCoは実はモデル・マージングと同じことを、ループの中で行っているのだと気づいたことでした。
- 「ベースモデル」は、全員が最後に通信した時のAIの脳です。
- 「アイランド」は、独自に訓練を行ったエキスパートたちです。
- 彼らが送り返す「更新」は、「差分（またはタスクベクトル）」です。
論文は、DiLoCoが多くのアイランドを持つと混乱する理由は、モデル・マージングが混乱する理由と同じであると主張しています。すなわち、「干渉（インターフェレンス）」です。異なるアイランドからの更新が、互いに争い合っているのです。
解決策：IsoLoCo
著者たちは、DiLoCoを修正するために、モデル・マージングの世界から「最高のレシピ」を借りることにしました。彼らはいくつかの統合手法をテストし、**Iso-C（等方性マージング）**と呼ばれる手法が最も優れていることを見出しました。
Iso-Cは、更新に対する「調和器（ハーモナイザー）」のようなものだと考えてください。アイランドが更新を送り返してくる時：
- 調和器は、更新の「形」を観察します。
- もし一つのアイランドが、特定の数学的な方向に向かって、あまりにも大きな声で叫んでいる（強く主張している）場合、調和器はそのボリュームを下げて平均に合わせます。
- これにより、特定のアイランドが支配的になったり、他のアイランドと衝突したりすることを防ぎ、より滑らかでバランスの取れた統合を実現します。
彼らはこの「調和器」に、「慣性（モメンタメント）」機能（例：道がデコボコでもスピードを維持し続けるランナーのようなもの）を加え、IsoLoCoと呼ぶ新しい手法を作り上げました。
結果
論文では、異なるサイズのAIモデルと、異なる数のアイランド（1から128まで）を用いてテストを行いました。
- 勝者： IsoLoCoは、一貫してオリジナルのDiLoCoの手法を上回りました。
- 格差： アイランドの数が増えるほど、IsoLoCoの優位性は大きくなりました。128個のアイランドがある場合、元の手法はかなり混乱してしまいましたが、IsoLoлоはクリーンで効率的な状態を維持しました。
- スピード： 彼らはまた、数学的なショートカット（ニュートン・シュルツ反復）を用いたIsoLoCoの「高速モード」を作成し、品質を損なうことなくプロセスを大幅に高速化しました。
まとめ
この論文は、分散型AIトレーニングを「エキスパートの統合」問題として扱うことで、コンピュータ同士の衝突を防ぐ高度な数学的トリックを使用できることを示しています。これにより、大規模なAIモデルを、性能を損なうことなく、多くの弱く接続されたコンピュータ群を用いて、より安価かつスケーラブルに訓練することが可能になります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。