技術的サマリー：分散学習は計算ガバナンスを損なうか？

問題提起

現在の提案されている計算ガバナンス枠組み（米国大統領令14110号、EU AI法、カリフォルニア州SB 53、およびScherら2025年の提案など）は、最先端AIモデルの学習には大規模で中央集権的なデータセンタークラスターが必要であるという仮定に依存しています。これらの規制は、通常、特定の計算スループット閾値（例：$10^{24}$から$10^{26}$ FLOPs）またはハードウェア構成（例：16個のH100相当を超えるクラスター）を超えるクラスターに対して、報告と監視を義務付けています。

特定された核心的な問題は、分散学習アルゴリズム、特にDiLoCo（分散低通信）ファミリーの最近の進展が、開発者にこれらの規制を回避することを可能にする可能性があるという点です。最先端規模の学習実行を、数千のより小規模で地理的に分散したノードに分割することにより（各ノードは規制報告閾値を下回る）、開発者は理論上、電力消費、物理的占有面積、またはクラスターサイズに基づく検知メカニズムをトリガーすることなく、大規模な学習を実施できる可能性があります。本論文は、厳格な制約（一般消費者向けインターネット、閾値未満のハードウェア）の下で、そのような「不正な分散学習」が実行可能かどうかを調査し、現在および提案されている対抗措置の有効性を評価します。

手法

著者らは、分散学習による回避の実行可能性を評価するための包括的な効率モデルと対話型シミュレーターを開発しました。手法には以下が含まれます：

1. 脅威モデル： シミュレーションは、制限条件下でLlama 3.1-405BまたはDeepSeek-V3に匹敵するモデルの学習を試みる、リソースに恵まれた開発者を想定します：

   • ハードウェア： ノードは$\le$ 16個のH100相当（Scherら2025年が提案した閾値）に制限されます。
   • ネットワーク： 100 Mbpsの帯域幅と100 msの遅延を有する一般消費者向けインターネット（データセンター間接続よりも桁違いに遅い）。
   • 時間： 制限的なガバナンスシナリオにおける成長率の仮定から導き出された、最大2年（740日）の学習期間。
   • 検知： 規制当局は電力、熱、衛星画像、およびネットワークトラフィックを積極的に監視します。

2. 効率指標： シミュレーターは2つの主要指標を計算します：

   • ローカル等価計算量（$C_{local}$）： 分散による非効率性（$\eta$）を調整した名义上の計算スループット。
   • 品質調整済み計算量（$C_{quality}$）： メモリ制約および過学習に起因する非最適なモデルサイズを考慮するため、Chinchilla最適化ペナルティ（$\chi$）でさらに調整された$C_{local}$。

3. 非効率要因（$\eta$）： このモデルは、分散学習に固有の4つの特定のペナルティを考慮します：

   • 同期間隔ペナルティ（$\eta_H$）： 複製が同期する前にローカルステップ（$H$）を実行することによる損失で、勾配のドリフトを引き起こします。
   • 圧縮品質（$\eta_{comp}$）： 帯域幅を節約するために勾配を圧縮することによる損失（Covenant-72Bの結果に基づき150倍の圧縮でモデル化）。
   • 複製の発散（$\eta_{rep}$）： 異なるデータサブセットで学習された複製間で勾配を平均化することによる損失。
   • 活性化品質ペナルティ（$\eta_{act}$）： ノード間でのパイプライン並列化を使用する際に活性化を圧縮することによる損失。

4. ハードウェア選定： このモデルは、NVIDIA A100 80GB、GH200、および各種TPU/Ascend構成を含む、さまざまな閾値未満の構成を評価し、通信オーバーヘッドを最小化するためにメモリ対計算量の比率が高いハードウェアを推奨します。

主要な貢献と結果

1. 回避の実行可能性

シミュレーションは、提案された規制閾値を下回るハードウェア構成を使用して、分散学習が最先端規模の計算量（$>10^{24}$ FLOPs）を達成できることを示しています。

• 回避のコスト： 本論文は、開発者が以下を回避できるコストを推定しています：
  • Scherら（2025）の閾値（$10^{24}$ FLOPs）：約160万ドル。
  • EU AI法の閾値（$10^{25}$ FLOPs）：約3,100万ドル。
  • カリフォルニア州SB 53の閾値（$10^{26}$ FLOPs）：約38億ドル。
• ノード数： GPT-4（$10^{25}$ FLOPs）の計算量レベルを達成するには、約101個の閾値未満ノードが必要であり、Llama 3.1-405B（$10^{25}$ FLOPs）には625個のノードが必要です。
• ネットワーク制約： 低帯域幅（100 Mbps）であっても、分散学習は実行可能です。中央集権的な学習と比較してコストが約3倍に増加しますが、これは意欲的なアクターにとって決定的な障壁ではありません。

2. ハードウェアおよびアーキテクチャの最適化

この研究は、メモリ対計算量の比率が回避にとって決定的な要因であることを特定しています。高メモリ（例：50個のA100 80GB）を持つノードは、ノードあたりのより大きなモデルを可能にし、パイプライン並列化および関連する活性化圧縮ペナルティの必要性を減らします。シミュレーターは、非常に大規模なスケールでモデルをメモリに収容するためにパイプライン並列（PP）DiLoCoの使用が必要になることを示していますが、これにより効率性のペナルティが生じます。

3. 対抗措置の評価

本論文は、回避を検出または防止するためのさまざまな対抗措置を評価します：

• 非効率的な措置：
  • 帯域幅制限： 全球的に施行することは非現実的であり、高速インターネットのコストはハードウェアコストと比較して無視できます。
  • インターネットトラフィック監視： DiLoCoのトラフィックは低容量（<40 Mbps）であり、ジッター、可変レートストリーミング、およびVPNを介して容易に偽装できます。
• 効果的な措置：
  • チップ追跡および登録： チップの保有および移転の報告を義務化します。分散学習は、同じ計算量を達成するために中央集権的な学習よりも多くの総ハードウェアを必要とするため、チップの大部分を追跡する登録制度は回避を困難にします。
  • 内部告発者プログラム： 分散運用は、数百の場所での調達、設置、および保守のために、はるかに大規模な労働力を必要とし、内部告発のための「攻撃対象領域」を増加させます。
  • メモリ閾値： 本論文は、計算スループット閾値に加えて、クラスターの定義にアクセラレータメモリ閾値（例：1,280 GB HBM）を含めるよう修正案を提案しています。これにより、回避者はより小さなモデルを使用せざるを得なくなります（深刻な過学習を引き起こす）、またはモデルをより多くのノードにシャード化せざるを得なくなり、コストと運用の複雑さが約50%増加します。
  • 査察および諜報活動： 従来の財務および物理的査察は、上記の技術的措置と組み合わされた場合、依然として有効です。

意義と主張

本論文は、クラスターサイズまたは計算スループット閾値のみに依存する現在の計算ガバナンス提案が、分散学習によって根本的に損なわれていると主張しています。著者らは、特定の対抗措置がなければ、規制は最先端モデルが不正に開発され得る「執行ギャップ」を生み出すと論じています。

この研究の意義は以下の点にあります：

1. 脆弱性の特定： アルゴリズムの進展（DiLoCo）が、現在のガバナンス枠組みの静的な仮定を凌駕していることを実証すること。
2. リスクの定量化： 特定の現実世界の規制を回避するために必要な具体的なコスト見積もりとハードウェア構成を提供すること。
3. 堅牢な解決策の提案： チップ登録制度、メモリベースの閾値、および内部告発者プログラムの組み合わせが必要であると論じること。著者らは、単一の措置が完璧ではないものの、それらの組み合わせは回避のコストと複雑さを監視可能性を回復させるレベルまで引き上げると強調しています。

本論文は、分散回避の増加したコストは現在「経済的に耐えがたい」ものであるが、規制上のボトルネックが厳格化すれば受け入れ可能になる可能性があるとして結論付けています。したがって、ガバナンス基準は、脅威が完全に現実化するのを待つことなく、直ちにそのような回避に対して堅牢に設計されなければなりません。