Provenance-Aware Evaluation of Cloud and Local Large Language Models for Cybersecurity Workloads
本論文は、あるサイバーセキュリティ推論プロジェクトを監査し、会計上の恒等式が測定値に偽装されていることや次元の不一致を含むプロベナンス（由来）の欠陥により、公表されたクラウド対ローカルのエネルギー比較が無効であることを実証し、それによって将来の評価のための厳格かつプロベナンスを考慮したプロトコルを確立するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のデジタル世界において、大規模言語モデルはセキュリティチームにとって強力なツールとなっており、フィッシングメールの選別やソフトウェアの脆弱性の解説、サイバー攻撃への対応などを支援しています。これらの人工知能システムは、文章内の次の単語を予測することによって機能しますが、その過程で電力を消費します。組織がこれらのモデルを自社サーバーで運用すべきか、それとも巨大なクラウドプロバイダーから借りるべきかを決定する際、ある重要な問いが生じます。それは、どちらの選択肢が環境にとってより優れているのかという問いです。これに答えるためには、研究者はリクエストごとに使用されるエネルギーを測定しなければなりません。しかし、エネルギーの測定は、単にメーターを読み取ることほど単純ではありません。どのハードウェアが使用され、それがどれくらいの時間稼働し、どのような特定のタصفを実行したのかを正確に知る必要があるからです。どこからその数字が導かれ、どのように計算されたのかという明確な記録がなければ、二つの異なるシステムを比較することは、車の速度計の数値と、自転車がおそらくどのくらいの速さで走るかという推測を比較するようなものです。
オークランド工科大学の研究チームは、すでに完了している特定のサイバーセキュリティプロジェクトを詳細に調査することで、この問題の解明を試みました。彼らは新しい実験を行ったり、新しい機器で電力を測定したりしたわけではありません。代わりに、監査人のように振る舞い、既存のファイル、ログ、およびレポートを精査して、元の研究で行われたエネルギーに関する主張が実際に信頼できるものかどうかを確認しました。彼らの目的は、すべての数値をそのソースまで遡り、そのデータが現実の直接的な観察によるものか、あるいは仮定に基づいた計算によるものかを確認することでした。彼らは、その研究が二つの全く異なるものを比較しようとしていることを発見しました。一つは内部の仕組みが隠されているクラウドサービスであり、もう一つは研究者がプロセスを把握できてはいるものの、データの記録方法において根本的な間違いを犯していたローカルコンピュータです。
研究者たちは、クラウド部分のエネルギー数値は、電力の測定値ではなかったことを発見しました。360件の記録を含むクラウドのスプレッドシートにおいて、すべてのエネルギー値は、生成されたモデルの総単語数に固定の数値を掛け合わせることで導き出されていました。これは、エネルギーの数値が物理的な測定値ではなく、テキストに適用された数学的な同一性（ルール）であったことを意味します。クラウドプロバイダーは、これらのリクエストに対してサーバーが実際にどれだけの電力を使用したかというデータを共有していませんでした。その結果、単語数とエネルギーコストとの間の強い結びつきは、クラウドが消費した実際の電力の物理的な観察ではなく、計算手法による副産物であったのです。
状況は異なりますが、同様に問題があったのは、モデルが研究者自身のコンピュータ上で動作していたローカルの実験です。ここでは、研究チームは炭素排出量を推定するために設計されたソフトウェアツールを使用しました。このツールは、生成された二酸化炭素換算量をキログラム単位で正しく計算していました。しかし、研究者たちはこの炭素の重量を、あたかもキロワット時（kWh）単位の電気エネルギーであるかのように扱いました。彼らはこの炭素の重量に1000を掛け、それをエネルギーと呼び、その誤った数値を使用して電気コストを算出しました。これは、リンゴの袋の重さを量っておきながら、その重さがスイミングプールの水の量であると主張するような、単位の混同でした。このエラーにより、ローカルのエネルギー数値はクラウドの数値と比較することも、電力消費の真の尺度として信頼することもできなくなりました。
また、監査の結果、研究の両側面が同じものをテストしていないことも明らかになりました。クラウドのリクエストは異なるタイプのモデルを使用しており、回答の長さもローカルのリクエストよりも長く設定されていました（ローカルは短い長さで打ち切られていました）。さらに、ローカルの研究では、使用された正確なソフトウェアのバージョンやハードウェアの設定に関する明確な記録が欠けていたため、実験を再現できたとしても同じ結果になるかどうかを知ることは不可能でした。さらに、研究には、セキュリティのタスクが実際に正しく解決されたかどうかを検証する方法が含まれておらず、単に完了したかどうかのみが示されていました。回答が「良いもの」であったかどうかを知らなければ、使用されたエネルギーが効率的であったのか、それとも無駄であったのかを判断することは不可能です。
研究者が「プロベナンス（データの由来・履歴）」として知られる、データの履歴を追跡するための厳格なフレームワークを適用したところ、そのアーカイブからは、どちらのデプロイメントがよりエネルギー効率が高いかというランキングを導き出すことはできないことが判明しました。クラウドの数値はテキストの長さに基づく推定値であり、ローカルの数値は単位変換の誤りに基づくものでした。この研究では、クラウドの方が優れているのか、ローカルの設定の方が優れているのか、あるいは両者がそもそも比較可能なのかさえ判断できませんでした。研究者たちは、将来の研究は設計を変える必要があると結論付けました。両方のシステムで同じタスクを使用し、適切なメーターや検証されたデータを用いて電力を測定し、そしてすべての数値がどのように導き出されたのかを正確に示す、明確で途切れることのない証拠の連鎖を保持する必要があります。そのような研究が行われるまで、一方のアプローチが他方よりも環境面で優れているという主張は、証明されないままとなります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。