A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

急速に進化する人工知能の世界において、人間の言語を驚くほど流暢に理解し、生成することができる新世代のコンピュータプログラムが登場しました。これらのシステムは、しばしば「基盤モデル」と呼ばれ、膨大な量のテキストをニューラルネットワークとして知られる複雑な数学的構造に投入することで構築されます。この分野における支配的な考え方は、「大きいことは良いことである」というものでした。モデルがより多くのデータを目にし、その内部構造が大きければ大きいほど、モデルはより賢くなるという考えです。この規模への追求は、特定の訓練なしに、消費したテキスト内のパターンを認識するだけでタスクを実行できる、数十億のパラメータを持つモデルを生み出しました。しかし、このサイズの追求には隠れたコストが伴います。これらのモデルの訓練に必要とされる膨大な計算能力は、莫大な量の電力を消費し、そのエネルギー使用による環境への影響は切実な懸念事項となっています。世界が気候変動に直面する中で、これらデジタル巨人の真のカーボンフットプリントを理解することは、もはや単なる技術的な詳細ではなく、それらが社会にもたらす価値を評価するための不可欠な要素となっています。

アブダビのテクノロジー・イノベーション・インスティテュートとパリのライトオン（LightOn）の研究チームは、通常の数字の先を見据えることにしました。彼らは、単一のモデルの訓練に使用された電力量を数えるだけでなく、「Noor（ヌール）」と呼ばれるプロジェクトの完全なエンド・ツー・エンドの会計を実施しました。このプロジェクトは、15億から130億のパラメータの範囲を持つ、アラビア語のためにこれまでに作成された中で最大の言語モデルを構築することを目的としていました。研究者たちは、データの収集という最初のステップから、将来人々がこれらのモデルを使用する瞬間まで、これらのモデルを生み出すために支払われる総体的な環境価格を知りたいと考えました。彼らは、膨大なデータセットの保存、設計を正しく行うために必要な予備実験、メインの訓練プロセス、さらには国際的なチームが協力するために必要となった移動を含む、あらゆるエネルギー消費源を追跡しました。彼らの目標は、このような野心的な取り組みによって発生する炭素排出量の全貌を描き出すことでした。

旅はデータから始まりました。モデルにアラビア語を教えるために、チームは1500億語を含むカスタムコレクションを組み立てなければなりませんでした。これには、大量のウェブデータをダウンロードし、低品質なコンテンツを除去し、コンピュータが読み取れるように整理する作業が含まれます。これらのテラバイト単位の情報を保存し移動させることは、実際の訓練が始まる前から、かなりのエネルギーを必要としました。研究者たちは、データの保存と転送、およびデータのクリーニングと準備のための予備作業に使用されたエネルギーが、プロジェクトの総エネルギー使用量の相当部分を占めていることを算出しました。彼らは、データの準備を行う努力は些細な付随作業ではなく、全体的な環境コストの主要な要因であることを突き止めました。

データが準備されると、チームはコンピュータが文章内の次の単語を予測することを学ぶ訓練フェーズへと移行しました。これはプロセスの中で最もエネルギー集約的な部分です。チームは、強力なスーパーコンピュータを使用して、サイズが段階的に大きくなる4つの異なるモデルを訓練しました。彼らは、この訓練による炭素排出量が、コンピュータがどこに設置されているかに大きく依存することを発見しました。非常にクリーンな電気で稼働しているルクセンブルクのデータセンターを使用したとき、排出量は驚くほど低くなりました。しかし、アラビア首長国連邦にある独自のハイパフォーマンス・コンピューティング・クラスターを使用したときは、現地の電力構成に炭素集約的なソースが多く含まれていたため、排出量ははるかに高くなりました。この研究は、計算作業が行われる場所は、行われる作業量と同じくらい重要であることを示しました。合計すると、4つのモデルの訓練が最も多くのエネルギーを消費しましたが、それは唯一の要因ではありませんでした。

研究者たちはまた、プロジェクトにおける人間的な要素についても調査しました。チームはフランスとアラブ首長国連邦に働く科学者で構成されており、ワークショップやブレインストーミング・セッションを開催するために両国間を移動する必要がありました。彼らはこれらのフライトによる炭素排出量を算出し、それがプロジェクトの総フットプリントの大きな塊を占めていることを発見しました。実際、移動だけでプロジェクトの総炭素排出量のほぼ5分の1を占めていました。この発見は、重要なのはコンピュータの稼働時間だけであるという一般的な仮定に異を唱えるものでした。研究は、データセンターがより効率的になり、電力がよりクリーンになる世界において、人間の移動やその他の間接的なコストによる排出量が、プロジェクトの環境への影響の支配的な部分になる可能性があることを強調しました。

将来を見据えて、チームはこれらのモデルが実際に人々によって使用される際に何が起こるかも推定しました。彼らは、ユーザーのプロンプトに応じてテキストを生成するために必要なエネルギーを算出しました。もしこれらのモデルが広く使用されれば、日常的な使用中に消費されるエネルギーは、最終的に最初に訓練された際に使用されたエネルギーを上回る可能性があることを彼らは発見しました。これは極めて重要な洞察です。なぜなら、訓練は一度限りのものですが、使用は数百万回行われる可能性があるからです。研究者たちは、もしモデルがクリーンなエネルギーで駆動するコンピュータ上で展開されれば、その影響は低いものの、化石燃料で駆動するグリッド上で稼働すれば、環境コストは非常に高くなる可能性があると指摘しました。

Noorプロジェクトの最終的な集計は、36.5トンの二酸化炭素換算でした。これを比較するために、アメリカの平均的な人物は年間で約20トンの炭素排出量を発生させることを考えると、この研究プロジェクト全体で、一人の人物の2年分を少し上回る排出量が生み出されたことになります。これは産業汚染と比較すれば小さく見えるかもしれませんが、単一の研究活動としては重大なことです。研究は、このフットプリントの最大の要因は、訓練に使用された電力の炭素集約度であったと結論付けました。計算をよりクリーンなエネルギーを使用する場所で行うことを選択していれば、チームは総フットプリントを半分以上削減できたと推定しています。

この論文は、大規模言語モデルの構築を止めるべきだと示唆しているのではなく、どのように構築するかについて、より思慮深くあるべきだと主張しています。研究者たちは、将来のプロジェクトにおいて、訓練時間だけでなく、すべての排出源を体系的に追跡すべきであると推奨しています。彼らは、クリーンなエネルギーを持つデータセンターを選択し、不必要な移動を最小限に抑え、より効率的なコンピュータ・ハードウェアを使用することが、環境コストを劇的に下げることができると提案しています。また、技術が向上し、訓練プロセスがより効率的になるにつれて、焦点は移動やモデルの長期的な使用といった他のコストへと移行しなければならないと強調しています。包括的な視点を持つことで、科学界は地球への影響を注意深く見守りながら、人工知能を進展させ続けることができるのです。