Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

現代の私たちの生活を動かしているソフトウェアが、人間の手だけでなく、人工知能によって書かれている世界を想像してみてください。大規模言語モデルとして知られるこれらのデジタルアシスタントは、コードを書くことに非常に熟達しており、今や何百万もの開発者の日常的なワークフローの一部となっています。彼らはプログラミングの一文を完成させたり、壊れた関数をデバッグしたり、あるいは単純な記述から小さなプログラムを構築したりすることができます。しかし、この便利さには隠れたコストが伴います。これらのモデルが思考するたびに、膨大な量の電力を消費し、私たちが守ろうとしている環境そのものを脅かす、増大するカーボンフットプリントの一因となっているのです。これらのツールの需要が高まるにつれ、科学者たちは極めて重要な問いを投げかけています。どうすれば、地球を焼き尽くすことなく、これらをより速く、より安価にできるのだろうか？

これに答えるため、研究者たちは最近、これらの人工的な知能を別の種類のコンピュータ・ハードウェアに移したときに、どのように振る舞うかをテストすることを目的とした調査を行いました。長年、開発者たちは、ビデオゲーム用に設計された特殊なグラフィックス・チップ上でこれらのモデルを実行することは、標準的なコンピュータ・プロセッサ上で実行するよりもはるかに高速であることを知っていました。しかし、速度は物語の半分に過ぎません。チームは、この高速なハードウェアへの切り替えがエネルギーも節約するのか、そしてより重要なことに、モデルが生成するコードの質を変えてしまうのかを知りたいと考えました。彼らはまた、プロンプティングにおける巧妙なテクニック、つまり、モデルにタスクを依頼する前に、いくつかの例を与えるという手法についても好奇心を抱きました。モデルに作業のサンプルを見せることは、エネルギーを節約する助けとなるのでしょうか、それとも単にプロセスを長くするだけなのでしょうか。

研究者たちは5つの異なるオープンソースのコーディング・モデルを取り上げ、厳格なテストを実施しました。彼らは、2つの非常に異なるマシン上で同じ一連のプログラミング・チャレンジを実行しました。一つは標準的なコンピュータ・プロセッサ、もう一つは強力なグラフィックス・カードのクラスターです。彼らは、各実行でどれだけのエネルギーが消費されたか、どれくらいの時間がかかったか、そして生成されたコードが実際に機能するかどうかを正確に測定しました。また、モデルに助けを求める2つの方法についても比較しました。第一の方法では、モデルに例を与えない「ゼロショット」アプローチを用いました。第二の方法では、モデルの思考を導くために、類似したタスクの例を3つ先に提供する「スリーショット」アプローチを用いました。

結果は衝撃的であり、速度と安定性の間の明確なトレードオフを明らかにしました。モデルを強力なグラフィックス・ハードウェアに移行させたとき、速度の差は想像を絶するものでした。コードを生成する時間は90パーセント以上減少し、数秒かかっていたプロセスが、わずか数分の一の秒へと短縮されました。この劇的なスピードアップは、エネルギー使用量の大幅な減少にもつながり、一部のタスクでは標準的なプロセッサよりも90パーセント近く少ない電力しか消費しませんでした。これは効率性の明白な勝利でした。しかし、研究者が生成されたコードの質に目を向けたとき、物語はより複雑になりました。

モデルに例を与えずに作業を依頼した場合、高速なハードウェアへの切り替えによって、彼らの振る舞いは予測不能になりました。グラフィックス・チップは標準的なプロセッサとは異なる方法で情報を処理するため、設定が全く同じであるにもかかわらず、モデルは構造的に異なるコードを作成したり、単に機能しなかったりすることがありました。それはまるで、同じ人に二つの異なる部屋で物語を書くよう頼んだとき、全く異なる結末を提示されるようなものでした。この不一致は、モデルが自力で解決しようとする状況において最も深刻でした。

この不安定さに対する解決策は、驚くほど単純なものであることが分かりました。研究者がコードを書く前に3つの例を提供したとき、モデルの振る舞いは劇的に変化しました。モデルははるかに一貫性を持ち、どのコンピュータで実行していても信頼できる結果を生み出すようになりました。さらに、この例を示す手法はエネルギーも節約しました。モデルに明確な経路を示すことで、例を提供しない場合にアウトプットを乱雑にしがちな、不要なお喋りや長い説明を生成することを回避できたのです。この「スリーショット」アプローチは、プロセスから余分なものを削ぎ落とし、一部のテストではエネルギー消費を20パーセント以上削減し、コード生成をより速く、より正確なものにしました。

この研究は、単に高速なハードウェアを購入するだけでは、人工知能におけるエネルギーと品質の問題を解決するには不十分であることを最終的に示唆しています。強力なグラフィックス・カードへの移行はプロセスを信じられないほど効率的にしますが、それ自体がより良い結果を保証するわけではありません。実際、適切なガイダンスがなければ、そのスピードは信頼性を犠牲にする可能性があります。見出された最も効果的な戦略は、この両方を組み合わせることでした。すなわち、スピードのために強力なハードウェアを使用しつつ、モデルに従わせるためのいくつかの例を伴うプロンプティング・スタイルと組み合わせることです。このアプローチは、エネルギー使用量を低く抑えただけでなく、生成されるコードが安定し、正しいものであることも確実にしました。

結局のところ、この研究は、グリーンな人工知能の未来は、どのようなマシンを使うかだけでなく、どのように質問をするかにかかっていることを強調しています。これらのモデルとの対話方法を注意深く設計することで、私たちは仕事の質や地球の健康を犠牲にすることなく、そのスピードを活用することができるのです。前進するための道筋は、単に大きく、より速いコンピュータを構築することではなく、私たちが使うツールと、私たちに与えられる指示との間の適切なバランスを見つけることなのです。