技術要約: VeraGrid-Agent

問題提起

大規模言語モデル（LLM）は、コード生成や推論において顕著な能力を示しており、電力システムのような科学・工学分野への活用が進められています。しかし、配電最適潮流（D-OPF）に関する複雑な質問に答えることは、特有の課題を伴います。これらの質問は、交流電力フロー方程式、分散型エネルギーリソース（DER）、およびグリッド制約を含む、非凸かつNP困難な数値問題を解く必要があるためです。

LLMがパラメトリックな知識（メモリ）のみを用いてこれらの質問に答えようとすると、推測を強いられ、しばしば数値的に誤った出力を生成します。本論文は、PVノードの電圧上昇、バス容量、DERの出力抑制、あるいはフィーダー損失の決定といった、精密な数値シミュレーションを必要とするタスクに対して、言語的な推論だけでは不十分であることを主張しています。核心となる問題は、純粋な計算と、記憶またはハルシネーション（幻覚）に基づく推論をいかに区別するかという点にあります。

手法

これに対処するため、著者らはD-OPF問題を自律的に解決するために設計された、ツール拡張型LLMフレームワークであるVeraGrid-Agentを提案しています。この手法には、LLMが内部知識に頼るのではなく、外部ソルバーのコントローラーとして機能するクローズドループのワークフローが含まれます。

1. エージェントのワークフロー

エージェントは隔離されたワークスペース内で動作し、ReAct（Reasoning + Acting：推論＋行動）フレームワークに従います。各クエリに対して、エージェントは以下を行います：

• 入力の記述: 問題の説明に基づき、フィーダーグラフ、バス、ブランチ、負荷、およびDER構成を記述したJSON入力ファイルを生成します。
• ソルバーの実行: オープンソースのVeraGridシミュレータを呼び出し、AC-OPF問題を数値的に解きます。
• 出力の読み取り: コンテキストウィンドウをコンパクトに保つため、ソルバーは完全な解ではなく、実行メタデータと目次を返します。その後、エージェントは特定の数値結果（例：特定のラインフローやバス電圧）を対象とした読み取りを実行します。
• 回答の選択: 取得した数値データを解釈し、多肢選択式問題（MCQ）から正しい選択肢を選択します。

システムは、制御不能なループを防ぐために最大反復回数（$T_{max}$）によって制限されていますが、ほとんどのクエリは数ステップで解決されます。

2. ベンチマーク: VeraGrid-MCQ-150

性能を評価するために、著者らは150問の決定論的かつテンプレート駆動型のベンチマークであるVeraGrid-MCQ-150を導入しています。

• 生成: 質問は、正解（グラウンドトゥルース）がVeraGridシミュレータによって直接計算される、専門家定義のテンプレートによって生成されます。これにより、すべての回答が特定の解決済みネットワークレコードの決定論的な関数となります。
• 難易度レベル:
  • Easy (容易) (50問): 直接的な取得（例：ノード電圧の大きさ、要素数）。
  • Medium (中程度) (50問): 単一ステップの派生（例：単位法変換、線路インピーダンスの大きさ、力率）。
  • Hard (困難) (50問): 多段階の計算およびクロス表推論（例：集計されたブランチ損失、正味の予備電力、熱容量マージン）。
• 評価指標: 正確性は、誤った形式や欠落した応答を不正解として扱い、正解（$\ell^*$）に対する正しく予測されたラベル（$\hat{\ell}$）の割合として測定されます。

主な貢献

本論文は、主に以下の3つの貢献を行っています：

1. ツール拡張型アーキテクチャ: LLMがシミュレータの入力を書き、VeraGridソルバーを実行し、関連する結果を読み取ることで、すべての回答がソルバーの出力に追跡可能であることを保証する、D-OPF解析のための新しいフレームワーク。
2. 決定論的ベンチマーク: 解決済みネットワークからの定量的情報の取得能力を評価し、静的な記憶への依存を防ぐ、検証済みの正解を持つ再現可能なテストベッドであるVeraGrid-MCQ-150の導入。
3. 実証研究: 「ノーツール（No-tool）」（説明のみからの推論）と「エージェント（Agent）」（ツール拡張型）の2つの体制下で、7つの異なるLLMを評価した包括的な調査。この研究では、性能向上と失敗モードを分析しています。

結果

著者らは、8バス放射状フィーダーのテストケースを用いて、7つのモデル（GPT-5.2、Claude Sonnet 4.5、Gemini 3 Flash、Grok 4.3/4.5、Composer 2.5、Opus 4.8を含む）を評価しました。

• ノーツール体制: ソルバーへのアクセスがない場合、すべてのモデルの性能は低く、全体的な精度は**41.3%から49.3%**の範囲でした。これは、パラメトリックな知識がこれらの数値タスクには不十分であることを裏付けています。
• ツール拡張体制: VeraGrid-Agentを用いることで、すべてのモデルで精度が劇的に向上し、**97.3%から100.0%**の範囲に達しました。
  • Gemini 3 Flash、Grok 4.3、およびGrok 4.5は、完璧な100%の精度を達成しました。
  • GPT-5.2とClaude Sonnet 4.5は、それぞれ1つの困難な問題を除外しました。
  • Opus 4.8とComposer 2.5は、それぞれ2問と4問の問題を除外しました。
• 失敗モード分析: 残された数少ないエラーは、ソルバーの実行失敗（タイムアウトや実行エラーは発生しませんでした）によるものではありませんでした。代わりに、エラーは多段階の推論における誤った解釈、例えば単一端子でのブランチ損失の集計ミスや、DERの出力抑制とディスパッチの混同などから発生しました。
• ツールの影響: 改善は、数値計算（例：フィーダー損失、電圧上昇）を必要とする質問において最も顕著でした。プロンプトの説明から回答可能な質問（例：トポロジー、線路パラメータ）については、ノーツール時のベースラインが既に比較的高かったため、改善は限定的でした。

意義と主張

本論文は、グリッドエッジ分析のような接地された数値集約的なエンジニアリングタスクにおいては、LLMのバックボーンの選択よりも、外部計算ツールへのアクセスの方が重要であると主張しています。エージェントが決定論的なソルバーへのアクセス権を得ると、異なるLLM間の性能差はほぼ消失します。

本研究は、ツール拡張型エージェントが、純粋な計算と記憶・推測を効果的に分離できることを示しています。現在のモデルは、パラメトリックな知識のみに依存する場合、複雑な数学的分析に苦戦しますが、専門化されたソルバーを装備させることで、LLM単独では不可能であったタスクに対してほぼ完璧な精度を達成できることを明らかにしています。著者らは、単一のバランスされた放射状フィーダーを使用していることや、ソルバーの実行時間などの限界についても言及しており、今後の研究では不平衡三相システムへの対応や、エージェントの推論トレースを用いた小型モデルのファインチューニングに焦点を当てるとしています。