🤖 AI

GAR: Carbon-Aware Routing for LLM Inference via Constrained Optimization

本論文は、LLM 推論における CO2 排出量を最小化するため、精度と遅延のサービスレベル目標を厳密に遵守しつつ、リクエストを異種モデルへ動的にルーティングする制約付き多目的最適化フレームワークであるグリーン・アウェア・ルーティング（GAR）を導入する。

原著者： Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha, Tirthankar Dasgupta

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Disha Sheshanarayana, Rajat Subhra Pal, Manjira Sinha, Tirthankar Dasgupta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、さまざまなサイズのトラックの車隊を使って荷物を（質問への回答を）配送する繁忙な配送サービスを運営していると想像してください。あるトラックは小さく燃料効率が良いものの、遅かったり重い荷物の運搬が苦手だったりします。一方、他のトラックは巨大で強力なスーパートラックであり、どんなものでも瞬時に対応できますが、明日があるかのように燃料を大量に消費します。

人工知能の世界において、これらの「トラック」は大規模言語モデル（LLM）です。現在、ユーザーが質問をすると、システムは通常、速度またはコストのみに基づいてトラックを選択します。そのトラックがどれだけの「炭素汚染」を発生させるかにはほとんど関心を払いません。しかしながら、「燃料」（電力）は一日の特定の時間帯や特定の場所において、より汚染度が高くなっています。

共有された論文は、GAR（Green-Aware Routing：環境意識型ルーティング）と呼ばれる新しいシステムを紹介しています。GAR を、速度と価格だけでなく、すべての配送の環境への影響も考慮する超スマートな交通管理者と想像してください。

GAR の仕組みを、簡単な概念に分解して説明します。

1. 問題：最も「汚い」トラックがデフォルトであることが多い

現在、質問をすると、システムは安全策として最も大きく強力なトラック、あるいは時間を節約するために最も速いトラックにそれを送るかもしれません。

問題点: 場合によっては、より小さなトラックでも同じように仕事をこなせるにもかかわらず、システムは、すでに大きく汚染を発生させるトラックを送ってしまってからでないと、そのことに気づきません。
グリッド要因: 電力網を川のように想像してください。時には水がきれいで（風力や太陽光などの再生可能エネルギー）、時には泥だらけ（化石燃料）です。「泥だらけ」の時間は、一日の時間帯や場所によって変化します。GAR はこれを理解しています。GAR は、「泥だらけ」のトラックを水がきれいな時にのみ送ろうとします。あるいは、より良い方法として、水が泥だらけの時に「きれいな」トラックを送ります。

2. 解決策：「環境意識型」の交通管理者

GAR は、トラックを選ぶ前に以下の 3 つの要素を検討する意思決定者です。

仕事を正しくこなせるか？（精度）
十分に速いか？（遅延）
どれだけの汚染を発生させるか？（炭素排出量）

システムは、数学的な制約という特別なルールセットを使用して、遅すぎたり精度が低すぎたりするトラックを決して選ばないようにします。しかし、十分に速く正確なトラックの中から、最も少ない量の汚染を発生させるものを選択します。

3. 意思決定の仕組み（「軽量予測器」）

GAR は、実際にトラックを走らせてそれが機能するかを確認する時間を浪費したくありません。それは遅すぎるからです。代わりに、過去のデータで訓練された水晶玉（軽量推定器）を使用して、以下を推測します。

「この質問を 7B モデルに送れば、答えは正しくなるか？」
「どれくらいの時間がかかるか？」
「その特定の移動が今、どれだけの炭素を発生させるか？」

これらの推測は 1 ミリ秒未満で行われます。これらの推測に基づき、GAR は品質基準を満たしつつ、最も「環境に優しい」オプションを選択します。

4. 「ローリング予算」（炭素財布）

月間の汚染予算があると想像してください。汚染を月末まで溜め込むことはできず、毎日制限内に収める必要があります。

GAR-PD（スマート管理者）: これは GAR の最も高度なバージョンです。最後の 100 回の配送の「スライドウィンドウ」を保持します。チームが最近炭素を多用していた場合、システムは自動的に厳格化し、よりクリーンなトラックの選択を強制します。チームが非常に環境に配慮していた場合、少しの柔軟性を許容します。これはリアルタイムで収支を調整します。

5. 結果：より少ない煙でより多くのことを達成

著者らは、このシステムを、数学の問題、科学のクイズ、読解力など 6 つの異なる種類の困難なタスクと、小規模から巨大まで 5 つの異なる AI モデルの車隊でテストしました。

最大の勝者: 標準的な「最大のトラック」アプローチ（最大の LLM）は非常に正確でしたが、膨大な量の汚染（リクエストあたり 2.75 グラムの CO2）を発生させました。
「最小のトラック」アプローチ: これは多くの汚染を節約しましたが、答えを誤ることが多すぎました。
GAR-PD: これは絶妙なバランス点でした。最大のトラックとほぼ同じくらい（97%）正解を得ながら、汚染を**74%**削減しました。速く、正確で、かつ環境に優しいことを同時に達成しました。

要約の比喩

フードデリバリーを注文することを想像してください。

古い方法: 最高の食べ物を望むため、遠く離れていてガスを大量に消費するバイクを使用している最も有名で高価なレストランから常に注文します。
GAR の方法: スマートアプリに「20 分以内に届き、美味しいハンバーガーが欲しい」と尋ねます。アプリは天候（グリッドがきれいか？）を確認し、レストラン（どれがそれをこなせるか？）を確認し、電気バイクを使用し近くにあるものを選びます。同じ美味しいハンバーガーが手に入りますが、地球はより幸せになります。

要約すると: GAR は、「地球を救う」ことを二次的な考慮事項ではなく主要な目標として扱う、AI リクエストをルーティングする新しい方法です。これにより、世界を燃やし尽くすことなく、賢い回答を得られることが保証されます。

技術概要：LLM 推論のためのグリーン対応ルーティング（GAR）

1. 問題定義

大規模言語モデル（LLM）の大規模展開には、異種モデルプール全体で応答品質、テール遅延、計算コストをバランスさせるルーティングアーキテクチャが必要である。既存のルーティングフレームワークは、精度と遅延の最適化（しばしば金銭的コストを二次的なものとして扱う）に焦点を当てているが、環境への影響はほとんど無視されている。これは重要なギャップである。なぜなら：

グリッドの炭素強度の変動性： 再生可能エネルギーの入手可能性と化石燃料への依存度により、炭素強度は地域や時間帯によって最大 10 倍もの幅で変動する。
モデルの異質性： エネルギー消費は、アーキテクチャの選択、パラメータのスケーリング、トークン生成パターンに基づいて劇的に変化する。
目的の不一致： 金銭的コストや遅延のみの最適化は、複数のモデルが同等の精度を提供する場合でも、システム的に高炭素の期間や炭素集約的な地域へトラフィックを誘導する可能性がある。

現在のシステムは、通常、炭素排出量を事後の測定と報告のみで扱い、炭素最小化を正式なサービスレベル保証と並ぶ主要な最適化目的として扱う、リアルタイムかつリクエストごとのルーティング決定を欠いている。

2. 手法：グリーン対応ルーティング（GAR）

本論文は、明示的な精度フロアと p95 遅延のサービスレベル目標（SLO）を満たしつつ、リクエストごとの CO2 排出量を最小化するように設計された、制約付き多目的最適化フレームワークであるGARを導入する。

2.1 問題定式化

時刻 $t$ に到着するクエリ $x$ に対して、ルーターはモデルプール $\mathcal{M}$ を管理する。推論前に、システムは以下の軽量予測を生成する：

正解率（ $\hat{p}_m$ ）： 正解である確率。
遅延（ $\hat{\ell}_{m,p95}$ ）： 推定される p95 応答時間。
排出量（ $\hat{c}_m$ ）： 推定される CO2。 $energy(m, tokens) \times grid\_intensity(t, region)$ として計算される。

このフレームワークは、データセット固有の精度フロア $\tau_d(x)$ と p95 遅延目標 $L$ を満たすすべてのモデルを含む実行可能集合 $F(x, t)$ を定義する。この集合内において、ルーターは予測排出量を最小化するモデルを選択する。堅牢性を確保するため、炭素および遅延の推定値には安全マージンが適用される。

2.2 ローリング炭素予算

ストリーミングワークロードにおいて、GAR は過去 $W$ リクエストの実現排出量のスライドウィンドウを維持する。これにより、平均排出量をリクエストごとの予算 $B$ 内に抑え、長期的な炭素債務の蓄積を防ぎつつ、短期的な柔軟性を可能にする。

2.3 アルゴリズムとポリシー

本論文は、このフレームワークを実用化するためのいくつかの戦略を提案する：

GAR-PD（オンライン双対法）： Shalev-Shwartz & Singer (2007) に着想を得たアルゴリズムで、炭素対応ルーティングをオンラインラグランジュ問題として扱う。制約の満足と環境最適化のバランスを取るために、双対変数 $\lambda_t$ （シャドウプライス）を使用する。選択目的関数は、品質の損失、遅延、炭素排出量の加重和を最小化し、実現排出量のローリングウィンドウ合計に基づいて動的に更新される。
GAR-Fixed： リクエストごとの炭素上限を厳格に強制する。上限により実行可能集合が空になった場合、利用可能な最低炭素モデルにフォールバックする。
GAR- $\epsilon$ ： 実行可能集合内で最高性能のモデルから $\epsilon$ 以内の精度を維持しつつ、炭素を最小化する。
GAR-Target： 望ましいマクロ精度レベルに一致するように、バイナリサーチを通じてデータセットごとの目標精度フロアを設定し、これらの目標を満たす最低炭素モデルへルーティングする。

2.4 実装詳細

このフレームワークは、歴史データ上で訓練された軽量な事前ルーティング推定器に依存している（精度にはロジスティック回帰、遅延には分位回帰、炭素には線形モデルを使用）。これらの予測器は並列に実行され、クエリあたり 1 ミリ秒未満で完了し、追加の推論パスなしにリアルタイムの意思決定を可能にする。

3. 主要な貢献

定式化： 本論文は、炭素対応ルーティングを制約付き多目的最適化問題として定式化し、正式な品質保証を伴う LLM 提供におけるリクエストごとの CO2 最小化のための最初の原理的フレームワークを提供する。
アルゴリズム開発： ローリング炭素予算のための実用的なオンライン双対法ルーティングアルゴリズムGAR-PD、および多様な展開シナリオ向けのヒューリスティック変種（GAR-Fixed、GAR- $\epsilon$ 、GAR-Target）を開発する。
適応的最適化： 著者は、精度の低下を制限しつつ高い実行可能性カバレッジを達成する適応的制約最適化技術を確立し、ユーザーエクスペリエンスを損なうことなく大幅な排出量削減を可能にする。
実証的検証： 異種 LLM プール（7B–70B）を用いた標準 NLP ベンチマーク（MMLU、HellaSwag、GSM8K、WinoGrande、SQuAD、ARC）全体での包括的な実験により、フレームワークの有効性を示す。

4. 実験結果

評価では、GAR をルールベースのベースライン（最大/最小 LLM）、精度最適化ベースライン（AccMax）、およびオラクル上限と比較する。

パフォーマンスのトレードオフ： GAR-PD は、0.737のマクロ精度と0.712 g CO2/リクエストを達成する。
- 最大 LLM（精度 0.741、2.750 g/リクエスト）と比較して、GAR-PD は同等の精度を維持しながら排出量を**74%**削減する。
- 最小 LLM（精度 0.592、0.476 g/リクエスト）と比較して、GAR-PD はわずかな炭素増加に対して精度を15 パーセントポイント向上させる。
- GAR-PD は、最適解（Oracle-Feasible）の少なくとも**97%**を達成する。
アブレーション研究： 構成要素を削除するとパフォーマンスが大幅に低下する：
- 炭素推定器を削除すると、排出量が 152% 増加する（1.794 g/リクエスト）。
- 実行可能性ゲートを削除すると、精度が 9.5 ポイント低下し、CO2 が 23% 増加する。
- 遅延推定器を削除すると、平均遅延が 147% 跳ね上がり、SLO を違反する。
パレート最適性： GAR-PD は、精度-CO2 のトレードオフフロンティア上で強力な位置を占め、実用的でありながらパレートフロンティアを密に追跡する。

5. 意義と主張

本論文は、GAR が持続可能な LLM 推論への実用的かつ理論的に裏付けられたアプローチを提供すると主張する。炭素を事後の考慮事項ではなく主要な最適化目的として扱うことで、このフレームワークは、サービス品質や信頼性を犠牲にすることなく、AI インフラの炭素フットプリントを大幅に削減できることを実証する。

著者はこの作業を基礎研究として位置づけている。彼らは明示的に限界を認め、炭素強度のモデリングは数時間遅れる可能性がある公開グリッドデータに依存していること、および現在のフレームワークは金銭的コストの考慮を除外していることを指摘している。将来の作業として、リアルタイム炭素 API の統合、トレーニング時のシナリオへのフレームワークの拡張、および動的モデルアンサンブル管理の調査が提案されている。