技術要約: VEHBench

問題提起

バッテリーレスIoTデバイスのための振動エネルギーハーベスタ（VEH）の設計には、密に結合した機械的・電気的な相互作用と、厳格な物理的制約（振動スペクトル、電力目標、サイズ制限、材料特性、安全マージンなど）が伴う。大規模言語モデル（LLM）は、要件の翻訳、フィードバックのレビュー、設計変更の提案といったエンジニアリング・ワークフローのインターフェースとして活用が進んでいるが、既存のエンジニアリング・ベンチマークは、主に最終的な成果物の妥当性を評価することに主眼を置いている。こうしたエンドポイント評価では、結合された物理設計ワークフローの個別の段階において、LLMがどのように振る舞うかを明らかにすることができない。具体的には、現在のベンチマークは、不完全なブリーフを正しく選別できるか、物理的フィードバックを受けて限定的な編集を行えるか、破損した設計軌跡から回復できるか、あるいは明示的な選択ポリシーを遵守できるかを診断できていない。このような段階局所的な診断性の欠如は、特定のワークフローの失敗（例：エントリー制御のエラー vs 探索の失敗）を特定することを困難にし、特定のエンジニアリング・ロールに対するモデルの選択やルーティングを阻害している。

メソドロジー

著者らは、段階局所的な検証器に基づいたタスクを通じて、LLM支援によるVEH協調設計を評価するために設計された、エンジニアリングネイティブな診断ベンチマークであるVEHBenchを導入する。

ベンチマークの構築

• ドメイン: 本ベンチマークは、構造力学、スマート材料、回路設計を含む、コンパクトながらも結合された領域である、初期段階のカンチレバー型圧電VEH協調設計に焦点を当てている。
• データソース: タスクは209本の論文の文献調査から派生しており、52個のクリーンな「設計アンカー」（変数、境界、制約を持つ正規化された物理状態）からなる。
• 検証: 解析的な物理オラクル（オイラー・ベルヌーイ梁理論および電気機械結合方程式に基づく）が、実現可能性と目的関数の品質を計算する。「LLM-as-a-judge」や人間によるラベル付けによるスコアリングは使用しない。
• タスクの分解: ワークフローは、それぞれ特定の信頼された状態、許容されるアクション、および失敗の結果を持つ4つの異なる設計ロール（プローブ）に分解される：
  1. P1 (仕様トリアージ): モデルは設計ブリーフ（完全、欠落、または実行不可能）を受け取り、提案するか、棄権するか、あるいは不足情報の要求を行うかを決定しなければならない。
  2. P2 (検証器誘導型探索): シード設計とオラクルからのフィードバックを与えられ、モデルは候補を改善するために限定的な編集を行う。
  3. P3 (破損状態からの回復): モデルは破損または誤導的な設計軌跡にさらされ、トラップから脱出するためにリセット、再アンカー、または安定化を図らなければならない。
  4. P4 (ポリシー条件付き選択): 実現可能な候補のプールが与えられた際、モデルは明示的なエンジニアリング・ポリシー（例：電力と信頼性の優先順位付け）に基づいてランク付けまたは選択を行う。

評価フレームワーク

• モデル: 12個の完全なモデル実行（Qwen, Gemini, DeepSeek, GPT, Hunyuan等を含む）が、全763タスクにわたって評価された。
• 指標:
  • 主要指標: P1-Composite（加重認証スコア）、P2 Final Feasible Power Ratio（最終実現可能電力比）、P3-Success（回復後の最終的な実現可能性）、および P4 Kendall $\tau_b$（ランキングの一貫性）。
  • 診断プロファイル: ログから抽出された応答制御プロファイル（Action Discipline, Edit Style, Feedback Conditioning, State-Reset Effort, Policy Execution）を用いて、失敗を行動シグナルにマッピングする。
  • エラーファミリー: 特定の失敗モードを特定するために、非排他的なエラー率（例：過剰アクション、実現不可能による終了、脱出後の失敗、ポリシー不一致）を算出する。

主な貢献

1. ベンチマークフレームワーク (VEHBench): 最終的な成果物の妥当性を超えて、段階局所的な設計挙動を評価する、初の診断的VEH設計用ベンチマーク。これは、文献に基づいたタスク構築、外部の解析的検証、および段階固有の評価を組み合わせたものである。
2. 実証的知見と解釈: 著者らは現在のLLMを体系的に評価し、能力は段階に強く依存していることを発見した。全ワークフローにおいて支配的な単一のモデルは存在しない。また、実証結果を解釈可能な行動特性（例：アクション・ディシプリン、限定的編集、状態回復）に結びつけるフレームワークを導入した。
3. 段階を意識したガイダンス: 本論文は、モデルの選択、ルーティング、および適応を含む、実用的なエンジニアリングへの応用において、段階局所的な結果がいかに有用であるかを示している。また、将来のエンジニアリング・エージェントのための具体的な能力ギャップ（例：仕様トリアージ、破損状態からの回復）を特定している。

実験結果

• 段階依存のランキング: 全ワークフローをリードするモデルは存在しない。
  • P1 (トリアージ): qwen3-max は、アクション・ディシプリン（安全でないエントリーの抑制および情報不足の見落とし防止）のバランスを取ることで最も優れた性能を示した。
  • P2 (探索): gemini-3.1-pro-preview は、高い実現可能終了（feasible closure）と有用な電力比によりリードした。
  • P3 (回復): hunyuan-hy3-preview は、破損した状態から脱出した後の安定化において優れていた。
  • P4 (選択): gpt-5.4 は、最高のポリシー実行能力とランキングの一貫性を達成した。
• 失敗モード:
  • P1: 主要なエラーは「過剰アクション」（ブリーフが実行不可能な場合に提案を行うこと）および「情報不足の見落とし」であり、過度な拒絶ではない。
  • P2: ほとんどのモデルは出力プロトコルに従うことはできたが、物理的な探索ループを閉じることができなかった（実現不可能による終了）、あるいは効用の損失を被った。
  • P3: 主なボトルネックは、トラップから脱出すること自体ではなく、その後の状態の安定化（脱出後の失敗）であった。
  • P4: 失敗は主に「ポリシー不一致」（述べられたエンジニアリングの優先順位を実行できないこと）であり、パースエラーや実現不可能な候補の選択によるものではなかった。
• 介入とルーティング:
  • 状態インターフェース: 生の破損した履歴を検証器が作成した状態要約に置き換えることで、P3の回復率が向上し（平均50.0%から63.2%へ）、連鎖的な失敗が減少した。
  • ルーティング: 段階ごとに異なるモデルを選択する段階認識ルーターを使用することで、保持されたテストデータの平均正規化スコアが、最良の単一モデルによるフォールバックの0.892から0.945へと向上した。これは主にP3のスペシャリストを切り替えたことによるものである。

意義と主張

本論文は、エンジニアリング設計におけるLLMの能力はロール依存であると主張しており、集計されたランキングよりも段階的な適合性の方が情報量が多いことを示している。VEHBenchは、検証器に基づいたエンジニアリングLLMを評価、選択、ルーティング、および改善するための基礎を提供するものであり、どこでワークフローの挙動が失敗するかを露呈させる。

著者らは、VEHBenchは有限要素法（FEM）シミュレーション、製造レビュー、またはハードウェア認証の代替ではないことを強調している。代わりに、これは各設計段階においてLLMが物理的な妥当性の信号を適切に使用しているかを判断するための診断レイヤーとして機能する。ベンチマークは解析的に検証可能なカンチレバー型VEHの協調設計に限定されており、著者らは、同じスキャフォールド（枠組み）がより豊かなシミュレータや他の結合ドメインに対しても展開可能であると述べている。本研究は、エンジニアリングアプリケーションにおいては、焦点が「自律的なハードウェア設計」から、モデルが設計ワークフロー内の特定の行動プロファイルに基づいて選択・ルーティングされる「段階局所的な支援」へと移行すべきであることを主張している。