論文要約：コード生成における SLM とプロンプトエンジニアリングの環境影響評価

本論文は、クラウドホスト型の大規模言語モデル（LLM）から、ローカルに展開されるオープンソースの小型言語モデル（SLM）への移行が、AI 支援コーディングの民主化を促進する一方で、環境負荷の分散化（デセントラリゼーション）をもたらすという課題を扱っています。開発者がローカル環境で SLM を使用する際、その環境負荷（エネルギー消費や炭素排出量）が可視化されていない現状に対し、プロンプトエンジニアリング戦略がコード生成の精度と持続可能性に与える影響を体系的に実証分析した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

近年、GitHub Copilot や ChatGPT などのクラウド型 LLM に加え、ローカルで実行可能なオープンソース SLM（10 億〜数百億パラメータ規模）が普及しています。これにより、データプライバシーやベンダー依存からの脱却が可能になりましたが、環境負荷の責任がクラウドデータセンターから個々の開発者のハードウェアと地域電力網へ転嫁されました。

• 課題: 開発者は、モデル選択やプロンプト戦略（Chain-of-Thought など）が、推論時のエネルギー消費や炭素排出量にどのような影響を与えるかについて、体系的な知見を持っていません。
• ギャップ: 既存の研究は主に精度（Accuracy）に焦点を当てており、コード生成における「プロンプト戦略」と「環境コスト（エネルギー、CO2 排出量）」のトレードオフを定量化した研究は存在しませんでした。

2. 研究方法 (Methodology)

本研究は、6 つのプロンプト戦略と 11 種類のオープンソース SLM（1B〜34B パラメータ）を用いた大規模な実証実験を行いました。

2.1 評価対象

• モデル: 11 種類のオープンソースモデル（Llama3.2, Qwen, CodeGemma, Phi4, DeepSeek-Coder, GPT-OSS, Gemma3, CodeLlama など）。
  • サイズ別：Tiny (1B-3B), Small (7B-16B), Medium (20B-34B)
  • 特性別：汎用モデル vs コード特化モデル、推論能力あり/なし
• プロンプト戦略 (6 種類):
  1. Direct: 直接的な指示（ベースライン）
  2. Chain-of-Thought (CoT): 思考の連鎖による段階的推論
  3. Program-of-Thought (PoT): 生成されたコードを実行して中間結果を検証
  4. Self-Consistency: 複数の推論経路を生成し、多数決で回答を選択
  5. Least-to-Most: 問題を部分問題に分解し、順次解決
  6. ReAct: 推論、行動、観察の反復ループ
• ベンチマーク: HumanEval+ および MBPP+（コード生成タスク）。
• ハードウェア環境: 2 種類の異なる構成（Machine 1: Xeon Silver + A100 GPU, Machine 2: Xeon Gold + L40S GPU）で実験。
• 地域要因: カナダの 2 つの州（アルバータ州とオンタリオ州）で実験を行い、電力網の炭素強度（Grid Carbon Intensity: GCI）の違いを評価。

2.2 評価指標

• 精度: Pass@1（1 回の実行で正解する割合）
• 環境指標: エネルギー消費量 (kWh)、二酸化炭素排出量 (kgCO2eq)
• 効率指標: 推論時間、トークン使用量
• ツール: CodeCarbon を用いて、ハードウェア消費電力と地域ごとの GCI を組み合わせて排出量を算出。

3. 主要な貢献 (Key Contributions)

1. 初の体系的な実証研究: SLM におけるコード生成の「精度」と「環境持続可能性」のトレードオフを、複数のプロンプト戦略とモデル規模で定量化した最初の研究。
2. 精度と環境負荷の分離 (Decoupling): 高い精度を得るために必ずしも高い環境コストがかかるわけではないことを示し、環境最適化が精度低下なしに可能であることを実証。
3. グリッド炭素強度の支配的役割: ハードウェアの性能差よりも、使用電力の「地域ごとの炭素強度」が排出量に与える影響が圧倒的に大きいことを発見。
4. グリーンなプロンプトエンジニアリングの指針: 開発者が環境負荷を考慮したプロンプト設計を行うための定量的基盤を提供。

4. 主要な結果 (Key Results)

4.1 精度と排出量の関係 (RQ1)

• モデルのサイズ（パラメータ数）と精度、または排出量は単調な関係にありません。
• 小さなモデル（例：Qwen3:1.7B）が、より大きなモデル（例：CodeLlama:34B）よりも高い精度を示すケースがあり、これは推論能力に依存します。
• 1 クエリあたりの CO2 排出量はモデルサイズに弱く依存し、推論効率やランタイム設定に大きく左右されます。

4.2 プロンプト戦略の影響 (RQ2)

• Chain-of-Thought (CoT) の優位性: CoT は、複雑な戦略（Self-Consistency や ReAct など）と比較して、ほぼ同等の精度を維持しつつ、エネルギー消費と CO2 排出量を約 80% 削減しました。
• 複雑な戦略のコスト: Self-Consistency は精度が最も高い（65.75%）ものの、エネルギー消費と排出量が CoT の約 5 倍に達し、コスト対効果が低いです。
• トレードオフ: 単純な Direct プロンプトは環境コストが最も低いですが、精度は CoT よりやや劣ります。CoT は「精度と効率のバランス（パレートフロンティア）」において最も優れた戦略です。

4.3 ハードウェアと地域の影響 (RQ3)

• グリッド炭素強度 (GCI) の決定力: 電力消費量（Energy）が 113% 増加したハードウェア環境（オンタリオ州）でも、GCI が低い（再生可能エネルギー比率が高い）ため、CO2 排出量は 78% 削減されました。
• 逆に、電力消費が少なくても GCI が高い地域（アルバータ州）では排出量が増加します。
• 結論: 環境負荷を減らすためには、ハードウェアのアップグレードよりも、「クリーンな電力が供給されている地域で実行する」ことの方が効果的である可能性があります。

4.4 トークン数と持続可能性 (RQ4)

• トークン数との相関: トークン数とエネルギー消費/排出量の相関は中程度（R² ≈ 0.4-0.5）でした。
• 推論時間の重要性: 排出量を最も強く予測する指標は「トークン数」ではなく**「推論時間」**でした。同じトークン数でも、推論時間が短ければエネルギー消費は少なくなります。
• 精度と環境コストの非相関: 精度（Pass@1）と環境コスト（エネルギー/CO2）の間には有意な相関が見られませんでした。

4.5 追加的知見

• 出力形式の信頼性: 非常に小さなモデル（StarCoder2:3B など）は、構造化された出力（JSON など）を生成する際に高いエラー率を示し、再試行による追加の環境コストを招く可能性があります。
• CpCA (Carbon per Correct Answer): 正解 1 件あたりの炭素排出量を算出したところ、CoT が最も効率的な戦略であることが確認されました。

5. 意義と結論 (Significance & Conclusion)

本研究は、AI 支援コーディングの持続可能性において、以下の重要な示唆を与えます。

1. 開発者への提言:

   • 精度のみを追求するのではなく、**「ワットあたりの精度 (Accuracy-per-watt)」**を最適化すべきです。
   • 複雑な推論フレームワーク（Self-Consistency など）は、SLM においては過剰なコストを招くため、CoT のようなシンプルな戦略が推奨されます。
   • 環境負荷を最小化するには、モデルやプロンプトの選択に加え、実行地域の電力事情（GCI）を考慮することが不可欠です。

2. 将来の研究方向:

   • 標準化された持続可能性ベンチマークの確立。
   • リアルタイムの炭素信号に基づいた適応的戦略選択。
   • 開発者ツールへの「1 プロンプトあたりの排出量」表示機能の統合。

結論として、コード生成の環境負荷はモデルの規模や複雑な推論に依存するのではなく、**「プロンプト設計の簡素化」と「クリーンエネルギー源へのアクセス」**によって大幅に改善可能であることが実証されました。