論文「ReqFusion: A Multi-Provider Framework for Automated PEGS Analysis Across Software Domains」の技術的サマリー

本論文は、ソフトウェア要件定義の自動化を目的とした AI 駆動型フレームワーク「ReqFusion」を提案するものです。大規模言語モデル（LLM）の活用により、文書からの要件抽出、分類、分析を効率化し、特に「ハルシネーション（幻覚）」や「精度のばらつき」といった課題を、マルチプロバイダー構成と構造化されたプロンプト設計によって解決する手法を提示しています。

以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

ソフトウェア開発における要件エンジニアリングは、プロジェクトの成功に不可欠ですが、以下の課題に直面しています。

• 人的コストと非効率性: 要件の収集、分類、分析は手作業に依存しており、時間とコストがかかります。
• AI の限界: 既存の AI 支援ツールは、単一モデルを使用する場合、**ハルシネーション（事実と異なる出力）**や、文脈の理解不足による精度の低下、サービス停止やレート制限などの運用リスクに悩まされています。
• 構造化の欠如: 従来の汎用的なプロンプト（「この文書から要件を抽出せよ」）では、LLM が要件の文脈（プロジェクト背景、環境、目標、システム機能など）を十分に理解できず、網羅的な抽出が困難です。

2. 手法とアーキテクチャ (Methodology)

ReqFusion は、以下の 3 つの主要な技術的アプローチを組み合わせたモジュラー型システムです。

2.1 PEGS 構造化プロンプト

Bertrand Meyer が提唱したPEGS 枠組み（Project, Environment, Goals, System）を LLM のプロンプト設計に適用します。

• Project (P): 組織的コンテキスト、ステークホルダー、制約。
• Environment (E): 外部システム、規制、運用環境。
• Goals (G): 高レベルな目標、成功基準。
• System (S): 機能的・非機能的要件、システム動作。
• 効果: 単一の複雑なタスクを、意味的に明確な 4 つのサブタスクに分解することで、LLM の検索空間を縮小し、抽出精度を向上させます。

2.2 マルチプロバイダー・オーケストレーション

単一モデルのリスクを回避するため、複数の LLM プロバイダーを並列または逐次で利用します。

• 利用モデル: OpenAI GPT-4（構造化抽出に強い）、Anthropic Claude-3（曖昧な文脈の解釈に強い）、Groq (Llama)（コスト効率の良い分類タスク用）。
• 動作モード:
  • 並列モード: 全プロバイダーに同時にリクエストを送信し、結果を統合（高信頼度要件向け）。
  • 逐次モード: メインプロバイダーが失敗した場合にフォールバック（コスト効率重視）。
• 合意形成メカニズム (Consensus Mechanism):
  • 複数のプロバイダーが同じ要件を独立して抽出した場合、その信頼度を高めます。
  • 信頼度スコア（Confidence Score）が閾値（0.5）を下回る場合は、人間によるレビューを必須とする「ハルシネーション検知」機能を実装しています。

2.3 システムアーキテクチャ

• プレゼンテーション層: React/TypeScript によるダッシュボード。
• コア処理層: マルチ LLM オーケストレーター、ドキュメント処理、PEGS アナライザー。
• データ層: PostgreSQL（構造化データ）、ChromaDB（ベクトル埋め込み）、Redis（キャッシュ）、S3/MinIO（ファイル保存）。
• 追跡可能性: 抽出された要件に、ソース文書のセクション、ページ番号、PEGS カテゴリ、信頼度スコアを付与し、下流のテストや設計への追跡を可能にします。

3. 主要な貢献 (Key Contributions)

1. ReqFusion フレームワークの提案: PEGS 手法を用いた、マルチプロバイダー AI による自動化された要件抽出・分類システムの構築。
2. 構造化プロンプトの有効性の実証: アブレーション研究により、PEGS 構造化プロンプトが汎用的なプロンプトよりも抽出精度を大幅に向上させることを示しました。
3. ランタイム検証としての合意形成: 複数モデル間の合意（Consensus）を利用したハルシネーション低減メカニズムの導入。
4. 多分野にわたる実証評価: 学術、産業、入札提案など複数のドメインでの評価と、手作業との比較による効率性の実証。

4. 評価結果 (Results)

実世界のデータセット（学術論文、産業入札書など）を用いた評価で以下の結果が得られました。

4.1 精度の向上

• F1 スコア: マルチプロバイダー構成における PEGS 構造化プロンプトは、F1 スコア 0.88 を達成しました。
  • 対照的に、同じ構成での汎用的なプロンプトは 0.71 でした（+0.17 の改善）。
  • 単一モデル（GPT-4 単体: 0.81, Claude-3 単体: 0.83）よりも、マルチプロバイダー合意方式（0.88）の方が優れています。
• 網羅性: PEGS 各カテゴリの要件抽出カバレッジは、汎用的プロンプトの 61.3% から 92.0% へ向上しました。特に「Environment（環境）」や「Goals（目標）」の抽出が改善されました。

4.2 効率性とコスト

• 処理時間の短縮: 手作業（1 要件あたり 4.9 分）と比較して、ReqFusion は1.1 分で処理可能となり、78% の時間短縮を実現しました。
• コスト削減: 1 要件あたりのコストは、手作業（$0.082）から**$0.043**へ削減され、47% のコスト節約となりました。
• ハルシネーション低減: 単一プロバイダーの抽出ではハルシネーション（偽陽性）率が 34% でしたが、複数プロバイダーの合意による抽出では8% まで低下しました。

4.3 エラー分析

• 誤抽出（False Positive）: 主に「情報記述の要件誤認」「重複抽出」「願望的な記述の誤分類」でした。
• 未抽出（False Negative）: 主に「法律条文に埋め込まれた暗黙の要件」や「外部規格への参照要件」でした。特に「Environment」カテゴリは、文脈が曖昧なため、人間のアノテーター間でも合意度が低く（κ=0.65）、LLM にとっても抽出が困難であることが確認されました。

5. 意義と将来展望 (Significance & Future Work)

• AI と検証技術の融合: 本システムは、VerifAI ワークショップのテーマである「AI 技術と検証手法の統合」を体現しています。マルチモデル合意を「ランタイム検証」として位置づけ、AI 支援開発の信頼性を高めています。
• 実用性: 産業用入札書などの複雑なドキュメントに対しても、高い精度と効率で要件を抽出できることを実証しました。
• 今後の課題と展望:
  • 形式検証との統合: 抽出された要件を TLA+ や Alloy などの形式仕様言語で検証し、一貫性を自動チェックする機能の追加。
  • テスト生成: 検証済みの要件からテストケースを自動生成する追跡可能性チェーンの完成。
  • 多言語・多ドメインへの拡張: 現在の評価がドイツ語の産業ドキュメントに偏っているため、多言語対応や他のドメインでの一般化可能性の検証。

結論

ReqFusion は、LLM のハルシネーション問題に対処しつつ、構造化された PEGS 手法とマルチプロバイダー構成を組み合わせることで、要件エンジニアリングの自動化において**精度（F1 0.88）と効率（78% の時間削減）**の両立を実現した画期的なフレームワークです。これは、AI 支援ソフトウェア開発における信頼性の高い自動化への重要な一歩となります。