A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?

技術サマリー：LLM に基づく電力潮流計算に関するベンチマーク

問題定義
電力潮流計算は、送電網の計画、運用、安定性解析の基礎的要素である。一方、故障診断から運用員への質問応答まで、スマートグリッドの意思決定支援ツールとして大規模言語モデル（LLM）の活用がますます探求されているが、それらが精密な数値アルゴリズムを実行する能力は未検証のままだ。具体的には、電力工学の教育課程で教えられる代表的な反復解法であるガウス・ザイデル法は、複雑な算術演算、複数パスにわたる収束計算、中間電圧推定値の慎重な追跡を必要とする。本論文は、LLM がそのような古典的な反復アルゴリズムを信頼性高く実行できるかどうかという理解のギャップに取り組み、プロンプトエンジニアリング戦略（構造化入力、思考の連鎖、少数ショット例など）がこれらのタスクのパフォーマンスにどのように影響するかを調査する。

手法
著者らは、3 バス AC 電力潮流システムを用いて、4 つの異なるプロンプト形式で 3 つの LLM を評価する制御されたベンチマークを設計した。

• システムとソルバ: テストベッドは、1 つのslackバスと 2 つの PQ 負荷バスからなる完全接続の 3 バスシステムであり、分路パラメータ（$R, X$）と負荷値はランダム化されている。基準解は、Python（NumPy）を用いた倍精度演算で数値的に計算された。ニュートン・ラフソン法ではなくガウス・ザイデル法が選択されたのは、行列分解の複雑さから反復算術の難易度を分離し、ベンチマークがモデルの既知のアルゴリズム手順に従う能力をテストすることを保証するためである。
• 評価対象モデル:
  1. Gemini 2.5 Pro（Google DeepMind）
  2. Claude Sonnet 4.5（Anthropic）
  3. 低能力のベースラインとしてGPT-3.5 Turbo（OpenAI）。
• プロンプト形式: 表現の複雑さを変化させるために 4 つの形式がテストされた。
  1. ナラティブ・ファイナル: 最終回答のみを要求する、教科書スタイルの自然言語による問題記述。
  2. ナラティブ＋例: 同じナラティブに加え、教科書からの完全な解き方の例。
  3. 手続的テキスト: 箇条書きデータを含む番号付きのステップバイステップ手順で、反復トレース表と最終回答を要求する。
  4. 構造化 JSON: 書式化された手順を含む機械可読の JSON 入力で、同じ反復トレースと最終回答を要求する。
• 評価: ベンチマークは 50 のテストケースで実行され、独立した 100 ケースの複製調査も行われた。指標には、MW/MVar における平均絶対誤差（MAE）と、特定の相対誤差ビン（<1%、1–5%、5–10%、10–20%、>20%）に該当するケースの割合が含まれた。失敗（解析不可能な出力）は、エンドツーエンドの信頼性を反映させるため、>20% 誤差ビンにカウントされた。

主な貢献

1. ベンチマーク設計: 本論文は、アルゴリズムとテストネットワークを一定に保ちながら、古典的な反復 AC 電力潮流ソルバのプロンプト形式を体系的に変化させた初の制御研究を提示する。
2. プロンプト感度分析: 本研究は、プロンプトエンジニアリングの効果はモデルに強く依存することを示している。最も能力の高いモデル（Gemini 2.5 Pro）において、プロンプトの複雑さを増大させる（ナラティブから反復トレース付きの構造化 JSON へ移行する）ことはパフォーマンスを著しく低下させ、MAE を 3.1 倍増加させた。逆に、解き方の例を追加することは Gemini のパフォーマンスを低下させたが、Claude にはわずかな改善をもたらした。
3. 能力限界: 著者らは、テストされたどの構成も、数値ソルバとして直接使用できる信頼性を達成しなかったと結論づけた。GPT-3.5 Turbo はすべての形式で少なくとも 90% のケースで失敗し、最もパフォーマンスの良かった構成（単純なナラティブプロンプトを用いた Gemini）であっても、相対誤差 5% 以内のケースは 54% に留まった。

結果

• Gemini 2.5 Pro: プロンプト形式に対して最も広い感度を示した。最も単純な形式（ナラティブ・ファイナル）が最良の結果をもたらした（MAE = 0.257 MW/MVar；54% のケースが誤差 5% 以内）。最も複雑な形式（構造化 JSON）は最悪のパフォーマンスとなった（MAE = 0.789）。解き方の例を追加すると誤差が 73% 増加した。
• Claude Sonnet 4.5: 全形式にわたってほぼ平坦な精度プロファイルを示し、プロンプト構造に関わらず約 38% のケースが誤差 5% 以内であった。手続的テキスト形式は、Gemini よりも Claude に対してわずかに良好なパフォーマンスを示し、最適なプロンプトはモデル固有であることを示唆している。
• GPT-3.5 Turbo: 全形式にわたり 90–96% のケースが相対誤差 20% を超え、実質的に無効であることを示した。
• 有効電力と無効電力: 多くの構成において、無効電力（$Q_g$）の誤差が有効電力（$P_g$）の誤差を上回る一貫した非対称性が観察された。これは、訓練データにおける虚数部の抽出の表現頻度が低いことによる可能性がある。
• 複製調査: 100 ケースの複製調査は、質的な順序（Gemini $\gg$ Claude > GPT-3.5）とソルバグレードの精度の欠如を確認した。ただし、より大規模なサンプルにおいて、Gemini の最適な形式はナラティブから手続的テキストへ移行しており、インスタンスの難易度やサンプリングの変動に対する感度を示唆している。

意義と主張
本論文は、LLM が高レベルのグリッドタスク（説明、Q&A）に対して有望な姿を示す一方で、電力潮流の直接数値計算に必要な信頼性を現時点では欠いていると結論づける。発見は、プロンプトエンジニアリングにおける「より明示的かつ構造化された指示を提供することが常に算術精度を向上させる」という一般的な仮定に挑戦するものである。この分野では、最良のパフォーマンスを示したモデルに対しては、より単純なプロンプトが優れた結果をもたらした。

著者らは、この作業を実務家および研究者のための診断的基準として位置づけている。主な示唆は、スマートグリッドの意思決定支援に LLM を展開する際には、特定のモデルに基づいてプロンプト形式を慎重に較正する必要があるということである。「より詳細なプロンプト」は逆効果になり得るからである。さらに、本研究は、現在の LLM 構成は生産環境における従来の数値ソルバの代替として使用されるべきではないと主張するが、近似推論の支援や教育ツールとしては機能し得るとしている。