技術的概要：思考の隠れたコスト

問題提起

現在の大規模言語モデル（LLM）に関する環境報告は、単一の最終モデルの事前学習におけるエネルギーおよび炭素コストに狭く焦点を当てています。このアプローチは、現代の開発ライフサイクルの大部分を不可視化してしまいます。モデルのパイプラインが、中間学習、長文脈拡張、合成データ生成、教師あり微調整（SFT）、選好最適化（DPO）、強化学習（RL）を含むように進化すると、環境フットプリントは著しく拡大しました。さらに、「推論」モデルの登場は、検証可能な報酬を伴う強化学習（RLVR）に大きく依存しており、標準的な事前学習中心の報告では捉えられていない計算集約的なワークロード（特にロールアウト生成）をもたらしています。加えて、先行研究は開発コスト（実験、失敗した実行、アブレーション）が甚大であることを示唆していますが、複雑な多段階パイプラインにおけるこれらのコストの程度は未だ定量化されていません。

手法

著者らは、命令追従型（「Instruct」）と推論型（「Think」）の両方のバリエーションでリリースされた Olmo 3 ファミリのモデル（7B および 32B パラメータ）の詳細な環境会計を提供します。

• 範囲: 本研究は、データ生成、事前学習、中間学習、長文脈拡張、およびすべてのポストトレーニング段階（SFT、DPO、RLVR）を含む開発パイプライン全体を網羅しています。これには、最終的なトレーニング実行と、それに先行する開発イテレーション（ハイパーパラメータ探索、アブレーション、失敗した実行）の両方が含まれます。
• ハードウェアおよびインフラ: トレーニングは、NVIDIA H100-80GB GPU を使用した Jupiter クラスタ（Cirrascale、テキサス州）で行われました。データ生成には、AMD MI250X GPU を搭載した Frontier スーパーコンピュータ が利用されました。
• エネルギーおよび排出量計算:
  • 電力: 総データセンター電力（$P_{DC}$）は、$P_{GPU} \times 1.74 \times PUE$ として計算されます。1.74 という係数は、GPU 以外のサーバーおよび IT インフラのオーバーヘッドを考慮したものであり（Epoch AI、2025 年に基づく）、GPU 電力を PUE だけで乗算する以前の手法を改善したものです。
  • 炭素: 排出量は $CO_2e = P_{DC} \times CI$ として計算され、ここで炭素強度（CI）は 0.332 kg CO2/kWh です。
  • 水: 消費量は $Water = P_{DC} \times (WUE_{onsite} + WUE_{offsite})$ として計算されます。データセンターは閉ループ冷却を採用しており（$WUE_{onsite} = 0$）、すべての水消費は電力生成に起因するもの（$WUE_{offsite} = 1.29$ L/kWh）として算定されます。
  • 埋蔵排出量: ハードウェア製造の影響は、4 年間の寿命にわたって償却されます。
• 比較: 本研究は、共通のベースモデルを共有しつつポストトレーニング戦略において分岐する「Think」（推論）バリアントと「Instruct」バリアントを比較します。

主要な貢献

1. 初の詳細なポストトレーニング内訳: 本論文は、特定のポストトレーニング段階（SFT、DPO、RL）および合成データ生成の環境コストを測定・報告する初の試みであり、段階間およびモデルバリアント間での直接比較を可能にします。
2. 「思考」コストの定量化: 著者らは、推論モデルが命令調整モデルよりもポストトレーニングに際してはるかに高コストであることを実証しました。これは特に RLVR ロールアウト生成によって駆動されています。
3. 開発コスト見積もりの改訂: 本研究は、開発コスト（実験および失敗した実行）の推定値を、以前報告されていた総計算量の約 50% から 82.2% に更新しました。これにより、最終的な実行のみを報告することは、真の影響を約 5 倍過小評価していることが浮き彫りになりました。
4. 水帰属分析: 本論文は、この特定の設定における水消費が、データセンター冷却ではなく、完全に電力生成インフラによって駆動されていることを明確にしました。これは、AI ワークロードの冷却に水使用の主な原因を帰する一般的な議論に挑戦するものです。

結果

総環境影響

Olmo 3 シリーズの開発（最終実行、開発イテレーション、データ生成を含む）は、以下の結果をもたらしました：

• エネルギー: データセンターエネルギー約 12.3 GWh。
• 炭素: 約 4,251 tCO2eq（1 年間の米国世帯約 847 軒分の電力に相当）。
• 水: 約 15,887 kL（平均的な米国人が 1 年間に使用する水量の約 140 年に相当）。
• 計算: 総 GPU 時間約 1,320 万時間。

推論のコスト（Think vs Instruct）

• エネルギー格差: 32B「Think」モデルのポストトレーニング段階は、32B「Instruct」モデルよりも 17 倍 多いデータセンターエネルギーを消費します。
• 要因: この格差は RLVR ロールアウト生成 によって駆動されています。32B Think モデルにおいて、RLVR ロールアウト生成はポストトレーニングエネルギーの 87% を占めています。
• メカニズム: RLVR 生成器（自己回帰推論）は GPU あたり約 600W で動作しますが、トレーナーは 130–220W で動作します。生成器は大規模推論と機能的に同一ですが、多くのイテレーションにわたって極めて長いトレース（平均 10,000 トークン超、最大 32,768）を生成する必要があります。
• トークン量: 32B Think モデルの RLVR トレーナーは約 187 億トークンを処理するのに対し、Instruct バリアントでは約 5.64 億トークンです（33 倍の差）。

開発コスト

• 割合: 開発活動（ハイパーパラメータ探索、アブレーション、失敗した実行）は、総 GPU 時間の 82.2%、総 GPU エネルギーの 80.9%（データ生成を除く）を占めました。
• 段階ごとの変動: ポストトレーニング段階は特に反復作業が多くなります。ポストトレーニング段階の開発割合は 91% を超えており（例：中間学習/データ混合で 97.5%、DPO で 97.1%）、高い値を示しています。
• 比較: これは、事前学習中心のパイプラインに関する先行研究（Morrison et al., 2025）で報告されていた約 50% の開発割合から、大幅な増加を表しています。

水消費

• 源泉: 水消費の 100% は、データセンターが閉ループ冷却を採用していた（$WUE_{onsite} = 0$）ため、電力生成（$WUE_{offsite}$）に起因すると算定されました。
• 含意: この設定では、水コストはエネルギー消費に厳密に比例するため、冷却インフラの変更ではなく、エネルギー使用量の削減が水への影響を減らすための主要な手段であることを示唆しています。

意義と主張

本論文は、事前学習コストのみを報告する現在の標準が、正確な環境会計には不十分であると主張しています。パイプラインがより複雑になり、推論モデルがデファクトスタンダードのパラダイムとなるにつれて、ポストトレーニングおよび開発の「隠れたコスト」は急速に増大しています。

• 透明性: 著者らは、開発ライフサイクル全体を測定に基づいて正確に会計することは、規制ガイドラインを策定し、研究コミュニティが AI の環境フットプリントを削減するための効果的な戦略を開発するために不可欠であると主張しています。
• 実現可能性: このような詳細な報告は非現実的であるという主張とは対照的に、著者らは複数の段階およびバリアントにわたってコストを分解することが可能であることを実証しています。
• 政策提言: 本論文は以下の 4 つの提言で結論付けています：
  1. 事前学習だけでなく、ポストトレーニングおよびデータ生成を含むパイプライン全体のコストを報告すること。
  2. 開発コストを含めること（少なくとも乗数として）。
  3. データセンターの効率性指標（PUE、WUE、冷却方式、電源構成）を開示すること。
  4. GPU 製造業者は製造影響（埋蔵排出量）を開示すること。

本論文は、現代の AI の真の環境フットプリントを理解するための基礎的な一歩として位置づけられており、「思考のコスト」が持続可能性基準において対処されなければならない急速に増大する要因であることを強調しています。