The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

現代のコンピューティングの世界では、新しい形のインテリジェンスが台頭しています。単に一つの質問に答えるのではなく、これらのシステムは自律的なエージェントとして機能します。彼らは広範な目標を受け取り、それを一連のステップに分解し、他のツールを呼び出し、失敗した場合にはやり直します。この「オーケストレーション」として知られるプロセスは、巨大なデータセンターから、デスクや車両に置かれた小型で強力なコンピュータへと移行しています。これらのエッジデバイスは、複雑な人工知能をローカルで実行するように設計されており、時間と帯域幅を節約します。しかし、これらのシステムが普及するにつれ、ある重要な疑問が生じています。それは、これらが実際にどれほどのエネルギーを消費しているのかという点です。研究者や規制当局にとって、特定のタスクにかかる正確なエネルギーコストを知ることは不可欠です。それが、効率性を測定し、新しい環境法への準拠を確実にし、これらのローカルシステムがクラウドと比較して本当に電力を節約できているのかを理解するための唯一の方法だからです。

研究チームは最近、この仕事に利用可能な最も高度なハードウェア、すなわち主要なテクノロジー企業が特定のNVIDIA製チップを使用して構築した新世代のデスクトップコンピュータに注目しました。彼らは、これらのマシンがエージェントの作業中にシステムの各パーツがどれだけのエネルギーを使用したかを正確に報告できるかどうかを確認したいと考えました。そこで彼らが発見したのは、重大な盲点でした。これらのコンピュータは驚異的な速さと能力を備えていますが、中央プロセッサの自身のエネルギー使用量に関する報告に関しては、完全に沈黙しているのです。研究者たちは、ハードウェアにはこのエネルギーを内部的に測定する能力があるものの、マシンを実行するソフトウェアがユーザーに対してこの情報を意図的に隠していることを発見しました。

調査は、ASUS Ascent GX10と呼ばれるデスクトップシステムに焦点を当てました。これは、GB10として知られる強力なチップを使用しています。このチップは、AIエージェントの複雑な計画やツールの呼び出しを処理する中央プロセッサと、視覚的タスクの重労働を担うグラフィックスプロセッサを組み合わせたものです。研究者たちは、コンピュータにエネルギーデータを要求するあらゆる方法に対して徹底的な監査を行いました。彼らは、エンジニアが電力を監視するために使用する標準的なインターフェースをチェックし、車の走行距離計のように、時間の経過に伴うエネルギー使用量を追跡するカウンターを探しました。その結果、グラフィックスプロセッサは電力使用量を報告している一方で、中央プロセッサは全くそのようなデータを提供していないことが判明しました。CPU用のカウンターも、チップに供給される電気系統の電力モニターも、数字を明らかにできる標準的なシステム管理ツールも存在しませんでした。

この状況は、データがマシンの中に実際に存在しているという点で、特に衝撃的です。チップの内部ファームウェアは、システムを冷却し効率を維持するために電力の流れを管理しており、すでにプロセッサの各部分が消費するエネルギーを計算しています。それは、メインプロセッサのコアがどれだけのエネルギーを使用し、より小さな効率コアがどれだけ使い、グラフィックスチップがどれだけ消費しているかの集計を継続的に行っています。しかし、メーカーはこの情報を共有しないことを選択しています。研究者がチップの開発元に対し、このデータを公開する計画があるかどうかを尋ねたところ、そのような計画はないという回答がありました。これは、コンピュータがタスクを完了するためにどれだけのエネルギーを消費しているかを正確に把握している一方で、利用者にはそれを見ることができないということを意味します。

このギャップが重要である理由は、これらのAIエージェントの動作が中央プロセッサに大きく依存しているからです。計画、リトライ、そしてツールの調整は、グラフィックスチップだけでなく、CPU上で行われます。これまでの研究では、このオーケストレーション作業がAIシステムの総エネルギー消費量のほぼ半分を占めることがあることが示されています。CPUのエネルギー使用量を測定する方法がなければ、エージェントを実行する真のコストを知ることは不可能です。研究者は異なるソフトウェア設計を比較してどちらがより効率的かを知ることはできず、企業は環境規制を遵守していることを証明することもできません。今日、数値を手に入れる唯一の方法は、コンピュータ全体を外部の電力メーターに接続することですが、それだけではマシン全体の合計しか分からず、CPUの仕事がメモリ、冷却ファン、グラフィックスチップと混ざり合ってしまいます。それは、車全体の燃料計だけを見て、単一のエンジンがどれだけの燃料を使用しているかを突き止めようとするようなものです。

研究者たちは、これが物理的なチップ自体の制限ではなく、それを制御するソフトウェアによる決定であることを確認しました。彼らは、内部ファームウェアがエンジニアが使用する標準的な通信チャネルを通じてこれらの数値を公開できる能力を持っている証拠を見つけましたが、このチャネルは現在オフになっています。また、別のメーカーの類似したコンピュータであるAcer Veritonをテストしたところ、その特定のボードでは、コミュニティ製のツールを使用して隠されたデータにアクセスできることが分かり、情報が存在しており、ハードウェアがそれを共有する能力を持っていることが証明されました。これら2つのマシンの違いは、欠落しているデータが技術的な不可能さの結果ではなく、製品としての選択の結果であることを示唆しています。

論文は、明確な進むべき道を提示して締めくくられています。この問題を解決するための技術はすでに整っています。コンピュータの内部システムはデータを共有する準備ができており、それを読み取るためのソフトウェアツールはオープンソースコミュニティによって構築されています。必要なのは、メーカーがコンピュータのファームウェアを更新し、この情報を閲覧可能にするためのスイッチをオンにすることだけです。それが実現するまで、市場にある最も高度なエッジAIコンピュータは、エネルギーのブラックボックスであり続けます。急速に成長し、持続可能性への圧力が高まっている分野において、行われている作業のエネルギーコストを測定できないことは、根本的な障害です。研究者たちは、これらのシステムが科学的および規制上の目的で真に有用であるためには、エネルギー使用量を見る能力が、プロセッサの温度や速度を見る能力と同じように、基本的な要件として扱われなければならないと主張しています。