Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems

技術概要：知識グラフ抽出のためのマルチエージェント LLM ベースのフレームワークによるシステムテスト支援

問題定義
イーサネットスイッチ設定マニュアル（ESCM）などの技術文書には、特にシステムテストにおける下流のソフトウェアエンジニアリングタスクの自動化に不可欠な、豊富なドメイン知識が含まれています。しかし、ESCM は本質的に半構造化されており、自動化ではなく人間ユーザー向けに設計されています。そのため、以下の理由により、直接的な知識抽出には重大な課題が存在します。

1. 暗黙の属性: 設定手順には、明示的にラベル付けされていない暗黙の目標、注記、依存関係が含まれることがよくあります。
2. 複雑な依存関係: 高レベルの「設定ロードマップ」手順と詳細な「手順」手順の間には、明示的に文書化されていない多対多のマッピングがしばしば存在します。
3. 構造的な変異: 書式、書き方、構造的なマーカーはマニュアル間で大きく異なり、ルールベースの方法や従来の NLP 技術が正確な抽出には効果的ではありません。

その結果、これらのマニュアルから包括的なテストケースを導き出すことは、依然として人手を要する手作業のプロセスです。知識グラフ（KG）は自動化に適した構造化された表現を提供しますが、既存の大規模言語モデル（LLM）のアプローチが主に一般的なテキスト向けに調整されており、正確な技術スキーマへの準拠が難しいため、このような複雑な技術文書から高精度な KG を生成することは困難です。

手法
著者は、ESCM から KG を抽出、評価、改善するために設計されたマルチエージェント LLM ベースのフレームワークを提案します。このフレームワークは、イーサネットスイッチドメインに特化した微細な KG スキーマに基づいて動作し、ユースケースシナリオ、ネットワーク要件、設定ロードマップ（階層化された手順、目標、注記を含む）、および手順（コマンド、期待される出力、注記を含む）などのエンティティを捕捉します。

このフレームワークは、以下の主要コンポーネントで構成されます。

1. チャンキング: トークン制限に対処し、情報タイプを分離するため、ESCM をセクションベースのチャンク（例：ロードマップ、手順）に分解します。
2. 抽出エージェント（ExtrAgents）: 3 つの専門的な LLM エージェントが異なる抽出タスクを実行します。
   • ロードマップ抽出エージェント: 設定ロードマップからコンテキスト、階層化された手順、目標、および注記を抽出します。
   • ロードマップ - 手順マッピングエージェント: 高レベルのロードマップ手順と詳細な手順手順間の意味的なマッピングを特定し、多対多の関係を処理します。
   • 手順抽出エージェント: 手順セクションから階層化された手順、コマンド、期待される出力、および注記を抽出します。このエージェントは、構造的な変異に対処するために、代表的な例を用いたファウショットプロンプティングを利用します。
3. 知識グラフ抽出 - 評価 - 改善（EEI）ループ: 高い正確性を確保するため、フレームワークは反復ループを採用します。
   • 評価エージェント（EvalAgent）: LLM-as-a-Judgeのパラダイムを用いて、タスク固有のガイドライン（例：逐語的なコピー、正しい手順の一致）に対して抽出されたエンティティを評価します。二値スコアと詳細なフィードバックを提供します。
   • 改善エージェント（ImprovAgent）: EvalAgent からのフィードバックを分析し、特定の誤り（例：注記と行動詳細の区別方法の明確化）に対処するために抽出プロンプトを改善します。
   • このループは、正確性の閾値（0.9 に設定）が満たされるか、最大反復回数（3 回）に達するまで、改善されたプロンプトで KG エンティティを再生成します。
4. KG 強化: 設定ファイルやネットワーク要件などの補完的なセクションを、下流タスクを支援するために最終 KG に統合します。
5. 下流アプリケーション: 生成された KG は、事前条件、設定手順、期待される結果を含む構造化された人間がレビュー可能な形式である**テストケース仕様（TCS）**に変換され、自動テスト生成をガイドすることを意図しています。

主な貢献

1. マルチエージェントフレームワーク: 技術文書における構造的および意味的な変異を処理するために、反復的な EEI メカニズムによって導かれる、抽出、評価、プロンプト改善のための専門エージェントからなる新規フレームワーク。
2. 微細な KG スキーマ: ESCM 向けに設計されたドメイン固有のスキーマで、手順レベルの属性（目標、注記、コマンド）とセクション間依存関係（ロードマップ - 手順マッピング）を明示的に捕捉します。
3. 反復的改善メカニズム: LLM-as-a-Judge フィードバックを活用して抽出プロンプトを自動的に改善する EEI ループの導入により、真の基準（ground-truth）参照を必要とせずに、困難なケースの正確性を大幅に向上させます。
4. 実証的検証: 産業パートナー（ファーウェイ）からの 50 の実世界の ESCM に対する包括的な評価により、高い抽出正確性と、テストケース生成に対する生成された KG の実用性を示しています。

結果
本研究は、18 のサブカテゴリにわたる 50 の ESCM に対して実施されました。

• 抽出正確性（RQ1）: 元のプロンプト（EEI 改善前）を使用した場合、フレームワークは 3 つの抽出タスク全体で、0.97 から 0.99の範囲の平均的な高い正確性スコアを達成しました。ESCM のほとんどは改善を必要としませんでした。
• EEI の影響（RQ2）: 初期スコアが 0.9 の閾値を下回った ESCM の小規模なサブセットにおいて、EEI ループがプロンプト改善をトリガーしました。これにより大幅な改善がもたらされ、ロードマップ抽出では平均正確性が0.12向上し、ロードマップ - 手順マッピングでは0.15向上し、すべてのケースが要求される品質レベルに達しました。
• LLM と人間の合意（RQ3）: LLM-as-a-Judge は、すべてのタスクにおいて人間の評価者と実質的な合意を示し、コーエンのカーパスコアは0.72 から 0.80の範囲でした。不一致は主に、注記と行動詳細の区別などの minor な分類の違いや、書式の問題によるものであり、重要な抽出誤りによるものではありませんでした。
• 下流の有用性（RQ4）: 5 人の経験豊富な産業テスターが KG から生成された TCS を評価しました。TCS は一貫して高い評価を受け、総合平均スコアは 4.18/5、**肯定的評価率は 95.3%**でした。テスターは仕様を有用で明確かつ技術的に正確であると見なしましたが、事前条件や期待される結果が直接実行のためにさらに改善を必要とする場合があると指摘しました。

意義と主張
本論文は、提案されたフレームワークが、半構造化された技術文書と自動化されたシステムテストの間のギャップを効果的に埋めると主張しています。マルチエージェントアーキテクチャと反復的改善ループを活用することで、従来の手法が失敗する領域で高精度な知識抽出を達成します。著者は、本研究は ESCM に焦点を当てているものの、このフレームワークはモジュール式で一般化可能であると強調しています。他のドメインに適応するには、主に KG スキーマを再定義し、抽出/評価プロンプトを調整するだけでよく、アーキテクチャの再設計は不要です。

その意義は、構造化されたフィードバック駆動型フレームワークに統合された LLM が、複雑な産業文書から暗黙の依存関係や属性を確実に抽出できることを実証した点にあります。この能力は、下流タスク、特にテストケース仕様の生成の自動化を支援し、イーサネットスイッチのテストに関連する手作業の労力とコストを削減します。著者は謙虚な立場を維持し、生成された TCS は非常に有用であるものの、完全に実行可能になるためには、まだ人間のレビューやさらなる改善が必要である可能性があり、またこのフレームワークの他の文書タイプへの一般化にはさらなる調査が必要であると認めています。