💻 computer science

ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents

本論文は、レガシーなソフトウェア要件仕様書（SRS）文書を追跡可能なアトミックな記述へと分解し、それらを合成的な事前SRSアーティファクトとして再生成することで、LLMベースのSRS生成の微細な評価を可能にすると同時に、忠実性、情報の保持、およびアーティファクトの完全性の間の決定的なトレードオフを明らかにする実証的研究であるReqGenXを紹介するものである。

原著者： Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ragib Shahariar Ayon, Rayed Fahmi, Sumon Biswas, Shibbir Ahmed

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、新しいビデオゲームのルールブックを書こうとしている、非常に優秀で超高速なロボットに教えているところだと想像してください。あなたは、1990年代の、曖昧なアイデアや走り書きのメモ、書きかけの思考が詰まった、乱雑で手書きのノートをそのロボットに渡しました。あなたの目標は、その乱雑なノートを、完璧でプロフェッショナルなルールブックへと変えさせることです。しかし、ここには罠があります。ロボットはあまりにも熱心に助けようとするあまり、誤って新しいルールを発明したり、古いルールを忘れたり、あるいは2つの異なるアイデアを混ぜ合わせて1つの混乱した文章を作ってしまうかもしれません。これが、**ソフトウェア要求仕様書（SRS）生成の世界です。テックの世界において、SRSとは、エンジニアに対してソフトウェアが具体的に何をすべきかを伝える「マスター設計図」です。詩を書いたり質問に答えたりするAIと同じ種類の大規模言語モデル（LLM）**は、これらの設計図を書く能力が向上していますが、それらが実際に真実を述べているのか、それとも単に作り話をしているだけなのかをチェックすることは非常に困難です。私たちは、ロボットが書いたすべての文章を、元の乱雑なノートへと辿り、それが忠実であるか、あるいは幻覚（ハルシネーション）を見ているのかを確認する方法を必要としています。

これこそが、研究者たちがReqGenXを通じて解決しようとした課題です。彼らは単にAIに新しいルールブックを書かせたのではありません。彼らは、AIが古い、乱雑な文書をいかにして小さく、否定できない事実へと分解できるか、それらの事実を特定の種類のメモ（「ユーザーストーリー」や「品質チェック」など）へと変換できるか、そしてそれらのメモを使って元のアイデアを、何かを失うことなく再構築できるかどうかをテストするための、巧妙なステップ・バイ・ステップの「工場」を構築しました。これは、複雑なレゴのお城を、一つ一つのブロックをラベル付けするために慎重にバラバラにし、特定の箱に分類し、その後、それらの分類された箱だけを使ってお城を再構築しようとするようなものです。研究者たちは知りたかったのです。AIは、一つのパーツも失ったり、存在しない新しい色を発明したりすることなく、これを実行できるのだろうか？と。

工場：ReqGenX

チームは、この実験のための制御された研究所として機能する、ReqGenXと呼ばれるパイプラインを作成しました。AIに単に新しい文書を「書かせる」のではなく、あらゆるステップで品質管理検査官として機能するように、3つの厳格なステージを強制しました。

ステージ1：アトミックな分解（Atomic Breakdown）
まず、AIは古い文書からテキストの塊を取り出し、それを「原子（アトム）」に分解しようとします。例えば、「製品はQtライブラリを使用しており、サポートされているすべてのオペレーティングシステムで動作しなければならない」という文章を想像してください。人間にとって、これは一つの文章です。しかし、AIにとって、これは実際には混ざり合った2つの異なるアイデアです。目標は、これらを「アトミックなステートメント（原子的な記述）」、つまりそれ以上分解できない、自己完結した小さな真実へと分割することです。一つの原子は「製品はQtライブラリを使用する」となり、もう一つは「製品はサポートされているすべてのオペレーティングシステムで動作しなければならない」となります。研究者たちは、AIはこの作業において実はかなり優秀であることを発見しました。これらの小さな原子が元のテキストに対して忠実かどうかをチェックしたところ、スコアは非常に高く、1.0を完璧とするスケールで通常0.96から0.99の間でした。しかし、彼らは同時に、AIが少し熱を入れすぎて情報を落としてしまったり、逆に、役に立たないほど曖昧な情報を保持し続けたりすることもあることに気づきました。

ステージ2：ソート・ハット（Sorting Hat）
テキストが原子に分解されると、次にAIは各原子がどのような種類のメモに属するかを決定しなければなりません。これは、魔法学校の「組み分け帽子」のようなものです。この事実は「ユーザーストーリー」（人が何をしたいかについてのメモ）に属するのか？「品質ノート」（システムがいかに速く、あるいは安全であるべきかというルール）に属するのか？それとも単なる「システムコンテキスト」のメモ（背景情報）なのか？研究者たちは、異なるAIモデルのチームを使用して、これらのカテゴリへの投票を行いました。彼らは、AIが一般的なアイデアの分類には優れている一方で、非常に具体的なテクニカルなラベルについては苦戦することがあることを発見しました。例えば、ある文章が「機能要件」なのか「品質要件」なのかを判断しようとする際、AIモデル同士の意見がかなり食い違い、同意スコアが0.31まで低下する場合がありました。これは、AIが森の全体像は見えていても、個々の木の種類については混乱してしまうことがあることを示唆しています。

ステージ3：再構築（Reconstruction）
最後に、AIはこれらの分類されラベル付けされた原子を取り、それらを新しい、プロフェッショナルに見える文書へと書き上げます。ここが正念場です。AIは、これらの小さく分類された事実から、一貫性のある物語を再び書き上げることができるのでしょうか？研究者たちは、AIが生成したメモを取り上げ、別のAIに対してそれらを用いて元の文書を再構築させることで、このテストを行いました。その結果、AIは確かに文書を再構築できることが分かりましたが、それは完璧なコピーではありませんでした。「意味的類似性（semantic similarity）」（意味がどれほど一致しているか）は0.69から0.75の範囲で良好でしたが、「事実的裏付け（factual support）」（新しいテキストが実際に元の事実を証明しているか）については、かなり変動がありました。

判定：忠実だが、欠陥あり

では、研究者たちは実際に何を発見したのでしょうか？

第一に、彼らはAIが非常に優れた司書になれることを確認しました。AIは、乱雑で古い文書を取り込み、それを非常に高い成功率で、小さく真実に基づいた事実へと分解できます。ほとんどの場合、それが作成する原子はソースに対して**96%から99%**忠実です。これは、AIが勝手に作り話をしているのではなく、通常は台本に従っていることを意味します。

しかし、彼らはいくつかの重要な「ただし書き」も見つけました。

「欠けたレンガ」問題： AIは忠実ではありますが、すべてを保持することに関しては完璧ではありません。使用される文書やAIモデルに応じて、元の情報が正常に保持された量（カバレッジ）は、**35.6%から93.5%**の間で大きく変動しました。これはAIが嘘をついたという意味ではなく、ある文書においては、AIが元のテキストの大部分を、単独の「原子」として保持するには曖昧すぎる、冗長すぎる、あるいは構造的なものだと判断した一方で、他の文書では、ほぼすべてを保持したことを意味します。
「完璧なテンプレート」の罠： AIがこれらの原子を特定の文書タイプ（「品質ノート」など）に変換しようとする際、偽の詳細を追加せずに空白を埋めることに苦戦することがありました。AIは基本的な「判定」テストではほぼ**100%合格しましたが、より厳しく批判的なテスト（Prometheusと呼ばれるもの）では、作成された成果物のうち、真に完全で高品質なものは54.8%から97.1%**に過ぎませんでした。これは、AIは「正しく見えるもの」を作ることはできても、時として、真に有用であるために必要な深い詳細が欠けていることを示唆しています。
再構築のギャップ： 彼らがAIのメモから元の文書を再構築しようとしたとき、完成したバージョンは完璧な複製ではなく、「追跡可能なドラフト（下書き）」でした。主要なアイデアは捉えていましたが、翻訳の過程でニュアンスが失われていました。

これが将来にとって意味すること

研究者たちは、AIがソフトウェアのルールブックを書く問題を解決したと言っているわけではありません。むしろ、AIは情報の「チェック」と「整理」のための強力なツールであるが、人間のガイドを必要とすると言っているのです。

彼らは、最大のボトルネックはAIの執筆能力ではなく、**エビデンスの粒度（granularity of the evidence）**にあることを見出しました。もし元の文書が曖昧であったり、多くのアイデアが混ざり合っていたりする場合、AIをクリーンで使いやすい形式に変換することは困難になります。AIは魔法のように欠けている文脈を生み出すことはできません。与えられたものに基づいてのみ機能するのです。

結局のところ、この研究は、私たちが「追跡可能な合成アーティファクト（traceable synthetic artifacts）」、つまり、すべてのアイデアがどこから来たのかを正確に確認できるように、元のソースへとリンクするデジタルメモを作成するためにAIを利用できることを示唆しています。これは、AIが真実を述べているかどうかをチェックするための大きな一歩です。しかし、それは同時に、次のような警告でもあります。AIがクリーンでプロフェッショナルな文書を生成したとしても、それが元の詳細をすべて捉えているとは限らない、ということを。AIは素晴らしい助手ですが、地図を持ち、レンガが一つも置き去りにされていないかを確認する人間が依然として必要です。

技術要約：ReqGenX – レガシーSRS文書における原子的分解、アーティファクト再生、および再構成に関する実証的研究

1. 問題提起

大規模言語モデル（LLM）ベースのソフトウェア要求仕様書（SRS）生成の評価は、ソースとなる要求事項、中間的な要求抽出アーティファクト、および生成された仕様書との間のきめ細かなトレーサビリティを提供するデータセットが不足しているため、困難を極めている。既存のリソースは、異種混合のSRSエビデンス、中間的な要求エンジニアリング（RE）アーティファクト、およびトレーサビリティ関係を統合的にリンクさせることに失敗することが多い。その結果、生成されたSRSの評価は文書レベルの流暢性に依存しがちであり、それによってソース情報の欠落、異なる関心事の結合、あるいは根拠のない要求の導入といった問題が見逃される可能性がある。

本論文は、レガシーSRS文書をトレーサブルな合成プレSRSアーティファクトへと変換するメカニズムの必要性に対処するものである。目的は、レガシーな内容を、ソースに裏付けられた原子的な記述へと分解し、重要な情報を失うことなく、あるいはハルシネーションを導入することなく、標準的なアーティファクト型へとルーティングできるかどうかを具体的に検証するための、微細な評価をサポートする基盤を作成することである。

2. メソドロジー：ReqGenX パイプライン

著者らは、レガシーSRSを合成アーティファクトへと変換することを運用化するために設計された、制御可能で再現可能なパイプラインであるReqGenXを導入している。このパイプラインは、主に以下の3つのステージで動作する。

ステージ1：要求事項の分解

正規化（Normalization）： レガシーSRS文書（通常はPDF）をテキスト（Markdown）に変換し、非要求事項の内容（表紙、ヘッダー、フッターなど）を除去し、構造的なエラーを修正する。
チャンキング（Chunking）： 修復された階層構造に基づき、文書をセクションレベルのチャンクに分割する。
原子化（Atomization）： LLMベースの「アトマイザー（atomizer）」が、チャンクを**原子的記述（atomic statements）**へと分解する。ここで「アトム（atom）」は、ソースに忠実であり、原子的（一つの整合したアイデアを表現している）であり、かつ下流のアーティファクト生成に有用な、最小限のソースに裏付けられた命題と定義される。
判定（Judging）： 別の判定用LLMが、忠実性、原子性、および有用性のためのルーブリックに従ってアトムを評価し、アトムの集合を洗練させるためのアクション（保持、書き換え、分割、結合、削除、追加）を提案する。

ステージ2：セマンティック・ルーティング

タグ付け（Tagging）： アトムに対し、IEEE 29148に触発されたスキーマ（例：目的、スコープ、機能、品質属性）に基づいたセマンティックタグを割り当てる。
マルチLLM投票（Multi-LLM Voting）： 信頼性を確保するため、3つの独立したLLMエージェントが各アトムに対してタグを提案する。最終的なタグは多数決によって選択される。未解決のケースについては、Human-in-the-Loop（HITL）によるレビューが行われる。
粒度の高い分類（Granular Classification）： 「要求事項」としてタグ付けされたアトムは、二次的な分類（機能的 vs 品質的）が行われ、品質属性の場合は、アーティファクト生成を導くためのサブタイプ分類（例：移植性、セキュリティ）が行われる。

ステージ3：アーティファクト生成とレビュー

生成（Generation）： 検証されたアトムは、特定のテンプレートを使用して、型定義されたプレSRSアーティファクト（例：ユーザー調査ノート、システムコンテキストノート、品質属性制約）へと変換される。アトムのテキストが主要な真実の源泉となり、根拠のない情報の拡充は一切禁止される。
反復的な洗練（Iterative Refinement）： 判定用LLMが、忠実性、サポート、文脈性、構造的一致、および希薄性（sparsity）の5つの次元に基づいて生成されたアーティファクトを評価する。閾値を満たさないアーティファクトは、反復的に修正される。
トレーサビリティ（Traceability）： パイプラインはプロベナンス（由来）メタデータを保持し、生成されたすべてのアーティファクトを、そのソースとなるアトム、チャンク、および元のSRSセクションへと紐付ける。

3. 実験設計

データセット： PUREデータセット（Get Real, Library, Puget Sound, QHeadache, VUB, Libra, Home）から抽出された7つのSRS文書を使用。合計で31,454語、1,408文。
モデル： 実験では、クローズドソース（Claude Sonnet 4.6, GPT-4o）とオープンソース（GPT-OSS, Gemma 3, Phi-4, Mistral, Llama 3, Qwen3）の混合モデルを利用した。
評価指標：
- AlignScore： ソースと生成されたコンテンツ間のセマンティックな支持関係を測定する。
- Judge/Prometheus スコア： 忠実性、原子性、および構造的一致のためのルーブリックに基づく品質評価（1〜5段階）。
- 埋め込み類似度（SBERT）： 情報の保持および下流での復元可能性を測定するために使用。
- カバレッジ分析（Coverage Analysis）： パイプラインを通じて保持されたソース情報の単位の割合を測定。

4. 主な結果

RQ1：LLMベースのRE決定の信頼性

セマンティック・ルーティング： LLMはセマンティック・ルーティングをサポートできるが、信頼性は様々である。Claude Sonnet 4.6は、人間によるラベルとの最も高い一致を示した（タグについては $\kappa = 0.83$ 、要求事項については $\kappa = 0.80$ ）。より詳細な要求分類においては、モデル間の一致度が低くなった（例：GPT-4o vs GPT-OSS $\kappa = 0.31$ ）。
品質判定： Gemma 3が、アトムおよびアーティファクトの両方において、F1スコアと低い偽陽性率の間の強力なトレードオフを提供する、最適な判定モデルとして特定された。

RQ2：生成されたアトムの品質

忠実性（Faithfulness）： 生成されたアトムは一般にソースチャンクに対して忠実であり、中央値の AlignScore は 0.96 から 0.99 の間であった。根拠のない内容は通常3%未満であった。
カバレッジ vs 忠実性： アトムは忠実であるが、ソースのカバレッジは大きく変動する（35.6% から 93.5%）。情報の損失は、ハルシネーションによるものではなく、原子性を確保するために分解プロセスにおいて暗黙的、冗長的、または実行能力が弱い内容を破棄したことによって発生している。
品質： 修正後のアトムは高い合格率を達成した（原子性については76%〜100%、ユーザビリティについては70%〜97%）。Prometheusスコアの平均は4.34から4.85の範囲であった。

RQ3：生成されたアーティファクトの品質

グラウンディング（Grounding）： 生成されたアーティファクトは、ソースのアトムに強く基づいている。平均 AlignScore は通常 0.80 から 0.94 の間であった。
洗練（Refinement）： 反復的な洗練の後、判定合格率は100%に近づいた。しかし、より厳格な Prometheus による評価では、合格率に大きな幅（54.8% 〜 97.1%）が見られた。これは、グラウンディングが必ずしも構造的な完全性や希薄性を保証するわけではないことを示している。

RQ4：下流のSRS再構成

復元可能性（Recoverability）： 生成されたアーティファクトからSRSを再構成するケーススタディにおいて、ソースのアトムはセマンティックに復元可能であった（SBERT平均値：0.69–0.75）。
事実的サポート（Factual Support）： 再構成におけるAlignScoreの中央値は0.76から0.84の範囲であった。しかし、平均値が低く、四分位範囲が広いことは、コンパイル時の抽象化や言い換えにより、事実的サポートがより変動しやすいことを示唆している。

RQ5：情報損失と失敗パターン

粒度の問題： 情報損失は、生成の失敗ではなく、主にエビデンスの粒度によって引き起こされている。
- SRS $\to$ アトム： 文が暗黙的、結合されている、または文脈依存的である場合に損失が発生する。
- アトム $\to$ アーティファクト： 有効なアトムが、根拠のない内容を追加することなく、制約のあるアーティファクトテンプレートを満たすには狭すぎる場合に損失が発生する。
修正パターン： 最も頻繁な修正アクションは「書き換え（Rewrite）」と「削除（Remove）」（結合や弱い表現への対処）であった。一方で、「分割（Split）」は密度の高いセクションで一般的であった。「結合（Merge）」および「追加（Add）」は稀であった。

5. 主な貢献

経験的特性化： 本研究は、レガシーSRSのLLMベースの原子化を特性化し、高いアトムレベルの忠実性が、大幅なソースカバレッジの変動と共存し得ることを示した。
段階的な分析： SRS $\to$ アトム $\to$ アーティファクトという変換過程における情報損失の粒度レベルでの分析を提供し、エビデンスの粒度の問題とハルシネーションを区別した。
ルーティングの信頼性： 高レベルのタグについては、LLMのセマンティック・ルーティングはより信頼性が高いこと（特にClaudeが高い人間との一致を示したこと）を示した。
判定器の較正（Judge Calibration）： 291個の注釈付きトリプルに基づき、REアーティファクト評価のためのLLM判定器を選択するための、人間による較正プロセスを提示した。
複製パッケージ： 処理済みのSRS、生成されたアトム/アーティファクト、プロンプト、コードブック、およびトレーサビリティメタデータを含む、トレーサブルな複製パッケージを公開する。

6. 意義と主張

本論文は、トレーサブルな合成プレSRSアーティファクトが、LLMベースのSRS生成のより微細な評価をサポートできると主張している。レガシー文書を、由来が明確な原子的な単位へと分解することで、本研究は以下の間の重要なトレードオフを明らかにした。

忠実性（Faithfulness）： 出力がソースとどの程度一致しているか。
情報保持（Information Retention）： ソースのコンテンツがどの程度保持されているか。
アーティファクトの完全性（Artifact Completeness）： ハルシネーションを起こすことなく、構造的要件を満たしているか。

著者らは、LLMは忠実で有用なアトムやグラウンデッドなアーティファクトを生成できるものの、これらの変換は無損失（lossless）ではないと結論付けている。本研究は、主要なボトルネックがエビデンスの粒度であることを強調している。すなわち、レガシーSRSには、標準的なアーティファクトテンプレートへのクリーンな分解を拒む、暗黙的または結合された情報が含まれていることが多い。著者らは、本研究を生産環境向けのSRS生成ツールとしてではなく、情報が分解、ルーティング、および再構成の各段階を経てどのように変化するかを観察し評価するための実験的な計器として控えめに位置づけている。彼らは、将来のシステムは、すべてのソースの記述を硬直したテンプレートに強制するのではなく、部分的に指定されたアーティファクトを許容したり、関連するアトムをグループ化したりすることで、これらのトレードオフに対処する必要があると示唆している。