🤖 AI

How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?

本論文は、ライブデータの取得から定量的モデリングに至るまで、専門家によって精査された243件の実世界のエネルギー市場分析タスクを用い、モデルの能力とドメイン固有のツールがハイステークスなプロフェッショナルな環境においてどのように相互作用するかを評価するために、多次元的なスコアリングプロトコルを用いて、ツール拡張型LLMエージェントの性能を評価する実証的研究を提示するものである。

原著者： David Akinpelu, Akintonde Abbas, Rereloluwa Alimi, Ayodeji Lana

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： David Akinpelu, Akintonde Abbas, Rereloluwa Alimi, Ayodeji Lana

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

エネルギー部門（電力市場、規制、および電力網）を、本の内容が絶えず変化し、価格は透明なインクで書かれ、ルールはごく一部の専門家にしか理解できない言語で書かれた、巨大で混沌とした図書館だと想像してみてください。

長い間、人工知能（AI）は、図書館のカタログを完璧に暗記することはできるものの、実際に本を見つけ出し、細かい注意書きを読み、あるいは発電所が利益を上げているかどうかを判断するための計算を行うことができない、非常に賢い学生のような存在でした。

「How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?（ツール拡張型LLMエージェントは、現実世界のエネルギー分析タスクにおいてどのようにパフォーマンスを発揮するか？）」と題されたこの論文は、新しいタイプのAI学生に対する成績表です。これらの学生は単に事実を暗記しているだけではありません。彼らは、ライブデータを取得し、実際の規制を読み、複雑な財務モデルを実行するためのツールボックス（鍵や計算機、検索エンジンのようなもの）を備えています。

以下は、研究者が何を行い、何を見出したのかを、簡単な比喩を用いて解説したものです。

1. テスト：現実世界の障害物競走

研究者たちは、AIに単純なトリビア（例：「テキサスの州都は何ですか？」といった、暗記が容易なもの）を問いかけたのではありません。その代わりに、数十年の経験を持つ実際のエネルギー専門家によって設計された、243問の障害物競走を作成しました。

このコースには、3種類のチャレンジがありました。

探偵（データ検索）: 「先週の火曜日、午後2時におけるヒューストンの電力価格を見つけなさい。」
弁護士（知識の解釈）: 「この50ページの政府の規則集を読み、蓄電池会社がグリッド（送電網）に接続するために支払うべき正確な金額を答えなさい。」
会計士（定量的モデリング）: 「ここに蓄電池を建設した場合、もし電力価格がこのように15年間変動するとしたら、利益は出るでしょうか？正確な数値を計算しなさい。」

タスクの難易度は、初級（数値を見つける）から上級（厳格なルールに基づいた多段階の財務パズルを解く）まで多岐にわたります。

2. 出場者：7つのAI「脳」

彼らは7つの異なるAIモデル（OpenAIやGoogleといった大手テック企業によるものや、オープンソースのものを含む）をテストしました。

セットアップ: これらのAIに、9つの特定のツールが入った「バックパック」を与えました。これらのツールには、電力市場へのライブ接続、公共料金のデータベース、そして計算を行うためのコード実行環境が含まれていました。
ルール: AIは、記憶に基づいて推測するのではなく、これらのツールを使用して問題を解決しなければなりませんでした。

3. スコアリング・システム：単なる「正解か不正解か」ではない

研究者たちは、単に最終的な数値が正しいかどうかを確認したのではありません。彼らは、厳しい教師のように、以下の3つの要素でAIを採点しました。

アプローチ（プロのように考えたか？）: 正しいツールを選び、正しい順序で使用したか？もしAIがデータを調べずに推測して正解に辿り着いた場合、減点されました。
正確性（事実を正しく捉えたか？）: 数値は正確だったか？正しいタイムゾーンや州を使用していたか？
ソースの妥当性（ズルをしていないか？）: 実際に読んだ文書を引用したか、それとも架空の規則書を捏造したか？

4. 結果：良かった点、悪かった点、そして「惜しい」点

AIがテストを受けた際の結果は以下の通りです。

「最も賢い」学生: クローズドソースのモデル（Gemini-1.5-ProやGPT-4oなど）が最も優れたパフォーマンスを示し、約**60%の回答に正解しました。最も優れたオープンソースモデル（Kimi-k1.5）は約49%**でした。
- 落とし穴: 最も優秀な学生であっても、ほぼ半数の問題を落としています。これは、AIは有用ではあるものの、まだ人間の専門家に取って代わる準備はできていないことを意味します。
「計画 vs 実行」のギャップ: 興味深いことに、AIは計画を立てること（「アプローチ」で高得点を取ること）には非常に優れていました。どのツールを選ぶべきかは分かっていました。しかし、その計画を完璧に実行すること（正しい数値や正しい日付を得ること）にはしばしば失敗しました。それは、どの材料を買うべきかは正確に知っているが、ステーキを焼く時に焦がしてしまうシェフのようなものです。
「ハルシネーション（幻覚）」の問題: AIは出典の引用において非常に劣っていました。彼らは「これは2024年の規則集から見つけた」と言うのを忘れがちであったり、架空の文書名を捏造したりしました。現実の世界では、データの出所を証明できなければ、その答えを信頼することはできません。
「ツール」の効果: 研究者がツールを取り上げ、AIに記憶のみに基づいて問題を解かせたところ、スコアは半分に低下しました。これは、エネルギーに関するタスクにおいては、単に賢い脳を持っていることよりも、ツールを持っていることの方が重要であることを証明しています。
「メモリ」の限界: 一部のモデルは、質問が長すぎたり複雑すぎたりしたために失敗しました。問題の最後のステップに到達する頃には、最初のステップを忘れてしまう（「短期記憶／コンテキストウィンドウ」がいっぱいになる）のです。

5. 大きな教訓

この論文は、AIエージェントは強力な助手ではあるが、まだ独立した専門家ではないと結論付けています。

それは、超高速のコンピュータと世界中のあらゆる図書館へのアクセス権を持つジュニア・アナリストのようなものです。彼らは重労働を行い、データを素早く見つけることができます。しかし、彼らがルールを捏造していないか、最終的な計算が正しいかをダブルチェックするために、依然として**シニア・エキスパート（人間）**を必要としています。

研究者たちは、他の科学者が将来に向けてより優れた「学生」を構築できるように、すべてのテスト問題、ツール、および結果を公開しました。彼らは次回のラウンドに向けて、このテストを他の国々や、石油やガスなどの他の種類のエネルギーにも拡大する予定です。

技術要約：ツール拡張型LLMエージェントは、現実世界のエネルギー分析タスクにおいてどのように機能するか？

問題提起

エージェントのベンチマークは、金融、コーディング、法務、創薬などの領域では成熟している一方で、エネルギー部門は依然として極めて不十分な状態にある。エネルギー分野における既存の評価は、主に静的な知識想起（例：多肢選択式問題）や、履歴データを用いた負荷予測のような予測タスクに限定されている。LLMエージェントが、現実世界の制約条件下でエンドツーエンドの多段階的な分析ワークフローを実行できるかどうかを評価する上で、大きなギャップが存在する。これらのワークフローは、ISO/RTO市場からのライブデータの取得、複雑な規制文書の解釈、および資産最適化のための定量的モデリングを必要とする。これらは、エラーが重大な財務的・運用的結果をもたらすタスクである。現在のベンチマークは、高ステークスな専門的環境におけるモデルの能力とドメイン固有のツールの相互作用を評価できていない。

メソドロジー

著者らは、ツール拡張型LLMエージェントを現実世界のエネルギー分析タスクに基づいて評価するために設計された経験的研究および評価フレームワークであるEnergyEvalsを導入する。

1. ベンチマーク・データセット

本研究では、博士レベルのトレーニングを受け、計25年以上の業界経験（McKinsey、GE、ICFなど）を持つ実務家によって開発された、243の専門家キュレーション済みタスクのコーパスを利用する。タスクは3つの能力領域と3つの難易度レベル（Easy, Medium, Hard）に層別化されている：

市場データの取得と分析 (Data): 主要なISO/RTOのAPIからの、ライブ価格、アンシラリーサービス、およびディスパッチデータの抽出と集計。
知識の検索と解釈 (Knowledge): 規制ドケット、ユーティリティ料金表、および相互接続マニュアルのナビゲーションによる、手続きに関する質問への回答。
高度な定量的モデリング (Quant): バッテリー収益推定、IRR計算、および運用制約下での最適化を含む、多段階の財務モデリング。

ユニークな設計上の特徴は、ソースの足場立て（scaffolding）の影響を評価するために、タスクが明示的なソース指定の有無の両方で提供されるペアプロンプト構成である。

2. エージェント・アーキテクチャとツール・スイート

エージェントは、反復的な推論とツールの呼び出しを可能にするReActフレームワーク（Thought $\to$ Action $\to$ Observation）を用いて実装されている。環境は、以下のものを含む、構成可能な9つのドメイン固有ツールへのアクセスを提供する：

米国の主要なISO向けのライブ電力市場API。
規制ドケット検索およびユーティリティ料金表データベース。
資産最適化モデル（例：バッテリー収益、再生可能エネルギー生成シミュレーション）。
市場文書に対する検索拡張生成（RAG）。

3. 評価プロトコル

パフォーマンスは、LLM-as-a-judgeフレームワーク（人間による専門家レビューで較正済み）を用い、以下の3つの次元にわたる多次元プロトコルを通じて評価される：

アプローチの正確性 (Approach Correctness) (1–5): ツール呼び出しの論理的なシーケンスと、専門的なアナリストの戦略との整合性を評価する。
回答の正確性 / 属性の適合性 (Answer Accuracy / Attribute Alignment) (0–1): 事実の正確性と、制約（時間、地理、単位）への遵守を測定する。定量的タスクについては許容誤差に基づく比較を行い、定性的タスクについては特定の属性との一致を確認する。
ソースの妥当性 (Source Validity) (1–5): 根拠のない引用、捏造された文書バージョン、または不適切なソースへの依存に対してペナルティを課す。

本研究では、コスト制約のある専門的な環境をシミュレートするため、低推論コスト設定の下で、7つの最先端LLM（クローズドソース4種：GPT-5.2, GPT-5-mini, Gemini-3.1-Pro, Claude Sonnet 4.6；オープンソース3種：Kimi-K2.5, Qwen3-Max-Thinking, DeepSeek-V3.2）を評価している。

主な結果

7つのモデルの評価により、エネルギー領域におけるエージェント・システムの現状に関するいくつかの重要な洞察が明らかになった：

パフォーマンス・ギャップ: クローズドソースのモデルは、一般的にオープンソースのモデルよりも優れた性能を示す。Gemini-3.1-Proが最高の精度（62%）を達成し、次いでGPT-5.2（57%）、Claude Sonnet 4.6（56%）となった。最高のオープンソースモデルであるKimi-K2.5は49%を記録したが、これはGPT-5.2のコストの58%という大幅に低いコストで実現された。
計画 vs 実行: モデルは概して合理的なアプローチの正確性（5点満点中3.4–3.9点）を示すが、有効な分析戦略を提案することと、それを高い精度で実行することの間には明確な乖離がある。これは、モデルは問題解決の「方法」については推論できるものの、信頼性の高い実行には、ワークフローを構造化しデータを検証するためのより深いドメイン固有の知識が必要であることを示唆している。
ソース妥当性の欠如: ソースの属性スコアは、すべてのモデルにおいて総じて低かった。モデルは頻繁にソースの引用に失敗したり、文書バージョンを捏造したりしており、信頼できるソース参照はまだ創発的な挙動ではなく、明示的なプロンプティングや専門家のガイダンスを必要としていることを示している。
コンテキスト・ウィンドウの影響: コンテキスト・ウィンドウが短いモデル（例：DeepSeek-V3.2, Kimi-K2.5）は、コンテキストの制限や明確化ループにより、大幅に高い失敗率（最大20.2%）を示した。一方、より大きなウィンドウ（400k+ トークン）を持つモデルは、失敗率を3.2%未満に維持した。
ツールの必要性: ドメイン固有のツールを削除すると、パフォーマンスの劇的な低下が見られた。エージェントがライブツールに頼らずに内部知識に頼らざるを得なくなった場合、精度スコアが半分に低下したケースもあり、エネルギー分析における外部データ取得への決定的な依存関係を裏付けている。
トークン効率: 高いトークン使用量は必ずしもパフォーマンスの向上とは相関せず、一部の低パフォーマンスのモデルは大幅に多くのトークンを消費していた一方で、トップパフォーマーの効率性は様々であった。

意義と主張

本論文は、EnergyEvalsが、静的な想起を超えて、動的かつ多段階的な問題解決を行う、現実世界のエネルギー分析ワークフローにおけるツール拡張型エージェントを厳密に評価する初のベンチマークであると主張している。

著者らは、ツール拡張型エージェントは特定のエネルギー・タスクに対処できるものの、「概ね良好な」パフォーマンスと「例外的に洞察に満ちた」成果との間のギャップを埋めるためには、専門家のガイダンスが不可欠であると断言している。本研究は、最先端のモデルであっても、ツールを備えている場合でも、人間による監視（human-in-the-loop）なしでは、ソースの妥当性や複雑なワークフローのオーケストレーションに苦慮することを強調している。

本研究は、再現性をサポートするために、公開されたデータセット、評価フレームワーク、スコアリング・コード、および実行トレースを提供している。著者らは、これを基礎的なステップと位置づけており、将来のイテレーションでは、米国以外の地域への拡大、追加のエネルギー・サブドメインのカバー、およびより高度な推論構成の探索を計画している。