🤖 AI

Decentralised AI Training and Inference with BlockTrain

本論文は、モデルを独立して最適化されるブロックへと分割することで、中央集権的なアクセラレータ・クラスターを必要とすることなく、分散したリソース制約のあるネットワーク全体での効率的な学習と高スループットな推論を可能にし、最先端AIへのアクセスを民主化する分散型トレーニング・プロトコルであるSpheroid BlockTrainを導入するものである。

原著者： Peter Toth

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peter Toth

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、とてつもなく賢い、巨大な百科事典を作りたいと考えています。現代のAIの世界では、その一般的な方法は、世界で最も強力なコンピュータが詰まった巨大な倉庫を所有する、超富裕層の建設会社（ハイパースケーラー）を雇うことです。彼らは一つの場所で、一度に百科事典全体を構築します。もしその倉庫を持っていなければ、百科事典作りを手伝うことはできません。

Spheroid Labsの「BlockTrain」は、これとは異なる方法を提案しています。一つの巨大な倉庫で一つの大きなチームが作業する代わりに、世界中の近隣コミュニティを想像してください。そこでは、何千人もの人々が、それぞれ自分の家庭用コンピュータを使って、百科事典のわずか「一つの小さな章」を作るのです。

この論文が、以下の比喩を用いて、この新しい手法をどのように説明しているかを解説します。

1. 問題点：「巨大な倉庫」というボトルネック

現在、高度なAIのトレーニングには膨大な計算能力が必要であり、そのため、ごく一部の大企業しか手がけることができません。これは、10億ドルの工場を持つ会社だけが摩天楼を建てられると言っているようなものです。これにより、他の誰も参加できなくなっています。論文は、もし「建物全体」を一つの場所で作ろうとし続けるならば、真の分散化は決して達成できないと主張しています。

2. 解決策：「章ごとのアプローチ」

BlockTrainは、ゲームのルールを変えます。すべてのコンピュータに百科事典の「全体」をメモリに保持させるのではなく（それは家庭用コンピュータには不可能です）、AIモデルをブロックと呼ばれる小さく独立した断片に分割します。

比喩： AIモデルを長いリレーレースだと考えてください。従来の方法では、すべてのランナーがバトンの束全体を運ばなければなりませんでした。BlockTrainでは、レースが各区間に分割されます。各ランナー（ワーカーのコンピュータ）は、自分自身の特定の区間だけを運びます。
仕組み： 各コンピュータは、特定のローカルなパズルを解くために、自分自身の「ブロック」（AIの小さなセクション）をトレーニングします。彼らは自分の仕事をこなすために、全体の姿を見る必要はありません。ただ、自分の特定のパートを正しく行うだけでよいのです。

3. 秘訣：「パズルのノイズ除去」

論文では、DiffusionBlocksと呼ばれる特定の技術を使用しています。

比喩： ある写真がどのようなものかを推測しようとしている場面を想像してください。ただし、誰かがその写真の上に「静止画のノイズ（砂嵐）」を被せてしまった状態です。
- 従来のAIでは、一度に写真全体を推測しようとします。
- BlockTrainでは、「ノイズ」は段階的に取り除かれます。最初のブロックは、重くてぼやけたノイズ（全体像）を取り除くことを学びます。次のブロックは、中程度のノイズを取り除きます。最後のブロックは、微細な塵を取り除きます。
魔法の正体： 各コンピュータは、自分自身の「特定の種類のノイズ」を取り除く方法を学ぶだけで済みます。他のブロックのノイズをどう取り除くかを知る必要はありません。これにより、仕事が家庭用コンピュータでも扱えるほど小さくなります。

4. パズルを組み立てる

すべての隣人がそれぞれの章をトレーニングし終えたら、彼らは更新内容を中央の「アグリゲーター（集約器）」に送ります。

組み立て： システムは、ブロック1、ブロック2、ブロック3を取り出し、レゴブロックのようにカチッと組み合わせます。
結果： 個々のコンピュータがモデル全体を一度も保持したことはなくても、組み立てられた最終的なモデルは、テキストを読み書きできるほど賢くなります。論文では、実際のテキスト（WikiText）を用いたテストにおいて、この組み立てられたモデルが、巨大なデータセンターでトレーニングされたモデルとほぼ同等の性能を示したこと（特定の誤差尺度において1.359対1.32）を示しています。

5. 「交通渋滞」テスト（現実世界の速度）

研究者たちは、このシステムを単一のコンピュータでテストしただけでなく、インターネットを介してテストしました。

実験： 同じ建物内にいる場合や、国をまたいでいる場合など、異なる場所に接続されたコンピュータを繋ぎ、「章」が紛失したり遅延したりせずに送受信できるかを確認しました。
結果： それは成功しました。彼らは公開インターネットを通じて「章」（データ）の移動に成功しました。インターネットの遅延や低速な接続があったとしても、システムは学習を継続できました。これは、コンピュータ間に超高速の専用光ファイバーがなくても、チャンク（塊）が十分に小さければ、通常のインターネットで十分であるということを証明しました。

6. 「ワン・トリップ」配送（推論）

通常、分散型AIに質問をする際、質問は「伝言ゲーム」のように、一つひとつのコンピュータを順番に通らなければならず、非常に時間がかかります。

BlockTrainのトリック： 論文によれば、彼らのシステムは異なるとのことです。モデルが組み立てられた後は、ネットワークを通じて、一回のパスで文章全体を生成できます。
比喩： メモを一行ずつ順番に人に回していくのではなく、BlockTrainはシート全体を列に渡し、その列が一気にシート全体を処理するようなものです。これにより、回答を得るスピードが大幅に向上します。

まとめとしての主張

論文は、実験に基づいた3つの具体的な主張を行っています。

学習できる： この「ブロック・バイ・ブロック」の手法を用いて、実際のテキストで本物のAIをトレーニングすることができ、巨大な中央集権型モデルとほぼ同等の賢さを獲得できる。
移動できる： 公開インターネット（標準的なウェブ接続）を使用してトレーニングデータを送信しても、進展を得ることができる。
提供できる： 完成したモデルを異なるコンピュータ上で実行して質問に答えることができ、巨大なコンピュータがすべてを保持することなく効率的に実行できる。

論文が主張していないこと：

これが今日、商業利用できる段階にあるとは主張していません。
これがすべてのセキュリティやインセンティブの問題（人々への報酬の支払い方など）を解決するとは主張していません。
これが医療診断やその他の具体的な現実世界のアプリケーションですぐに機能するとは主張していません。
これはあくまで、この特定の「ブロック」手法を用いてモデルをトレーニングし、提供するための技術的な能力に焦点を当てたものです。

要約すると、BlockTrainは、一つの部屋にいる一つの巨大な脳ではなく、何千もの小さな独立した脳が協力して、巨大なAIの脳を構築するための設計図なのです。

技術要約: Spheroid BlockTrain

1. 問題提起

現在のAIトレーニングの最前線は、高密度で中央制御されたアクセラレータ・クラスターへの構造的な依存によって制約されている。このモデルはハイパースケーラーや大規模な中央集権型研究所に有利に働き、特権的なインフラ、希少な資本、および特定のデータセンター地理へのアクセスを持たない独立系またはオープンなAI活動に対して障壁を生み出している。

既存の分散型アプローチ（例：Federated Averaging, Local SGD, DiLoCo, Petals）は、その多くが標準的な学習問題――すなわちフルモデルのレプリカまたはパイプライン・ステージの学習――を維持しており、単にシステム的なラッパーを変更しているに過ぎない。これらの手法は依然として、ワーカーがフルモデル、フルオプティマイザ状態、またはネットワーク全体の同期されたビューを保持することを要求する。その結果、フルオプティマイザ状態がコンシューマーグレードのハードウェアのメモリ容量を超えるという核心的なボトルネックに対処できていない。標準的なバックプロパゲーションは本質的にグローバルであり、初期層のエラー信号は、後続のすべての層のフォワードおよびバックワード計算に依存する。そのため、信頼性の低いエッジデバイス間でナイーブにシャーディングを行うと、中央集権的な同期パターンへと逆戻りしてしまう。

2. 手法: Spheroid BlockTrain

Spheroid BlockTrainは、学習ユニット自体をローカル化し、学習目的をハードウェア・ネットワークの粒度と一致させるプロトコルを提案する。その核心となる原理は、**「目的とハードウェアの整合性（objective-hardware alignment）」**である。自然なハードウェア単位とは、一つのブロック・レプリカを所有するワーカーであり、自然な学習目的とは、ブロック単位のローカルな損失関数である。

コア・アーキテクチャ

モデル分割: モデルは、 $B$ 個のブロックに分割された残差デノイジング・スタック（ $F_\theta = F_{\theta_B} \circ \dots \circ F_{\theta_1}$ ）として定義される。
ブロック局所的目的関数: 標準的なバックプロパゲーションの代わりに、各ワーカーはグローバルなターゲットから導出されたローカルなデノイジング目的関数を学習する。これは DiffusionBlocks に基づいており、残差ブロックをデノイジング・トラジェトリー（軌跡）のステップとして再解釈するものである。
- ターゲット $y$ に対し、ブロック固有の間隔からノイズレベル $\sigma$ がサンプリングされる。
- ブロックは、ノイズを含んだターゲット $z_\sigma = y + \sigma\epsilon$ と条件付け入力 $x$ を与えられた状態で、ターゲットの語彙に対するロジットを予測する。
- 損失関数は、EDM (Elucidating the Design Space of Diffusion-Based Modeling) プリコンディショニングを利用した、ロジットに対する重み付きクロスエントロピーである。
推論: 推論は構成的（compositional）である。システムは高分散のガウスノイズから開始し、減少していくノイズ・スケジュールに従ってステップを進める。各ステップにおいて、特定のブロックがロジットを予測し、それらは状態を洗練させるために期待埋め込み（expected embedding）へと投影される。このプロセスは、埋め込み空間におけるオイラー・サンプラーに類似している。
分散実行:
- ワーカーは、自身に割り当てられたブロック・レプリカ（ $\theta_{b,k}$ ）および共有インターフェース・パラメータのみを学習する。
- 更新は、ブロックレベルの平均化（フルモデルのall-reduceではない）を介して集約される。
- 非同期更新: システムは、デッドラインに基づく更新受理を採用している。ワーカーは更新を提出し、アグリゲーターはデッドライン $\tau$ までに到着した更新を受け入れる。これにより、帯域幅よりも参加率を優先する。

主要な技術的調整

シグマ範囲: 著者らは、低い最小シグマ範囲（ $\sigma \in [0, 2]$ ）が「ターゲット・リーク（target leakage）」を引き起こすことを特定した。これは、ローカルなデノイジング・クロスエントロピーは極めて良好に見えるものの、推論が崩壊する現象である。高い最小範囲（ $\sigma \in [1, 10]$ ）を設定することで、コンテキスト条件付きのデノイジングを強制し、学習を安定化させた。
メカニクスの移植: 本プロトコルは、Sakana DiffusionBlocks のメカニクス（対数正規シグマ分割、EDM プリコンディショニング、重み付き CE）を、単純な埋め込み MSE 近似を超えて、バイトレベルの WikiText へと正常に移植することに成功した。

3. 主要な貢献

プロトコルの定式化: フルモデルの同期学習を、ブロック局所的なデノイジング目的関数、レプリカ平均化、および非同期デッドラインに基づく更新受理に置き換えた Spheroid BlockTrain を定義した。
実テキストへの実装: Sakana スタイルの DiffusionBlocks をバイトレベルの WikiText へと正常に移植し、ローカルな目的関数がグローバルなテキスト生成の品質を駆動できることを示した。
失敗モードの特定: 低シグマの学習がショートカット（ターゲット・リーク）を生み出し、from-noise 推論を破壊するという決定的な失敗モードを特定・解決した。これは、高い最小シグマ範囲を強制することで解決された。
表現力分析: ブロックの表現力が主要な品質制御ノブであることを示した。4つのローカル層を持つトランスフォーマー・ブロックは、アクティブなワーカーのメモリを最小限に抑えつつ、フルモデルのリファレンスに対して約 0.04 のクロスエントロピー（CE）以内の性能を達成した。
システム検証: 以下の3つの異なる環境を実装し、テストした：
- 単一 GPU 非同期シミュレータ。
- 6つのブロック・ワーカーを用いた、共有 8xA100 ノードでの実行。
- ローカルおよびパブリック IP WAN ネットワークを介した HTTP/TCP トランスポートの証明。
分散サービング・ベンチマーク: 推論サービングを測定し、フル出力シーケンスがブロック・スタックの単一の走査（traversal）で生成される「ワン・スイープ（one-sweep）」レジームを確立した。これは、自己回帰的なベースラインにおけるトークンごとの WAN ラウンドトリップとは対照的である。

4. 実験結果

学習の品質と効率

単一 GPU ロングラン: $B=3$ かつブロックあたり 4 層の設定を使用し、WikiText バイトにおいて CE 1.359 (PPL 3.89) に到達した。これは、エンドツーエンドの Transformer リファレンス（~1.32 CE）に対し、わずか ~0.04 CE の差である。
メモリ・プロファイル: アクティブなワーカーは、たった一つのブロックのみを学習する。最適な構成において、アクティブな AdamW 状態の占有量は 0.198 GiB であり、フルモデル・スタックの 100.54 GiB と比較して劇的に小さい。
共有ワーカー実行: 8xA100 ノード上で 6 つのワーカー（ブロックごとに 2 つのレプリカ）を用いた実行では、CE 1.385 (PPL 3.99) に達し、同一ブロックの更新を平均化することが、単一の組み立てられたモデルを効果的に学習することを裏付けた。
固定深度スイープ: 容量あたりのローカルな目的関数の能力が高まるにつれて品質が単調に向上した。これは、ローカルな予測器が割り当てられた軌跡の断片を解決するのに十分な表現力を持つ必要があることを検証している。

トランスポートと非同期性

仮想非同期: 単一 GPU シミュレータにおいて、「マイルド」な非同期レジーム（参加率 90%）は、ロックステップに近い品質を維持した。「WAN」レジーム（参加率 42%）では品質は低下したが、初期状態からは依然として大幅に改善した。
HTTP/TCP トランスポート:
- 同一ノード内: 10.23 GB のシリアライズされたチェックポイント／更新を移動し、CE 1.576 に到達。
- パブリック IP WAN: 3 ホストによる実行では 15.22 GB のトラフィックを移動し、完全な参加条件下で 12 ラウンドにわたり CE を 5.580 から 1.811 まで改善した。
結論: 分散型の品質は、ブロック単位のタイムリーな参加に依存する。デッドラインが有用な作業を捕捉できるほど緩ければ、WAN 学習は実行可能である。

推論サービング

ワン・スイープ・レジーム: 現在の BlockTrain の経路は、ブロック・スタックの単一の走査を通じて、フル出力シーケンスを精緻化する。
スループット: 3 つのパブリックネットワーク GPU ホスト（GH200 + 2x A100）を用いたベンチマークにおいて、最大 75.80B パラメータ の論理的な fp16 形状をサーブした。
比較: 一致するプレーンな自己回帰的 TCP ベースラインは、生成されるトークンごとに完全なパイプライン走査を必要とする。BlockTrain は、WAN 走査をシーケンス全体にわたって償却するため、長いシーケンスにおいて大幅に高い実効トークンスループットを実現する。

5. 意義と主張

本論文は、限定的ではあるが具体的な主張を行う。すなわち、**「BlockTrain は、実用的な実テキスト学習パス、パブリック IP 学習トランスポートパス、およびワン・スイープ・サービングパスを備えている」**ということである。

その意義は、分散型 AI のパラダイムを、フルモデルのレプリカを配布することから、ブロック局所的な目的関数を配布することへとシフトさせた点にある。これにより、以下が可能となる：

メモリのスケーラビリティ: 各ワーカーが扱いやすいスライスのみを保持するため、フルオプティマイザ状態がコンシューマー GPU よりも大きいモデルの学習が可能になる。
目的とハードウェアの整合性: 学習目的がハードウェア単位に局所化されているため、ネットワーク全体を通じたグローバルなバックプロパゲーションを必要としない。
サービングの経済性: 推論パスがトークンごとの WAN ラウンドトリップを回避するため、長いシーケンスに対する分散サービングを経済的に実行可能にする。

著者らは、示されたモデルサイズにおけるバイトレベルの WikiText への適用範囲が限定的であることを明示している。また、この小さな CE 差（0.04）がより大規模なスケールでも永続的に維持されるとは主張しておらず、プロトコルの検証、セキュリティ、またはインセンティブ層についても、今後の課題として残している。本研究の貢献は、ブロック局所的なデノイジングによる分散事前学習が、技術的に可能であり効果的であることを示す、技術的な「ML/システム・スパイン（背骨）」の実証にある。