ARQM: A Tool for Requirements Quality Analysis

あなたは、あらゆる本が新しい何か（橋、ビデオゲーム、あるいは宇宙船）を構築するための設計図となっている、巨大で混沌とした図書館の編集者であると想像してください。レンガが積まれたり、コードの一行が書かれたりする前に、建築家たちは自分たちが何を必要としているのかを正確に書き記さなければなりません。これらのメモは「要件（Requirements）」と呼ばれます。しかし、ここには落とし穴があります。人間はこれらのメモを完璧に書くのが非常に苦手なのです。疲れを感じたり、「おそらく」や「速い」といった曖昧な言葉を使ったり、時には意図せず矛盾する内容を書いてしまったりします。もし設計図が乱雑であれば、建物は崩壊し、ゲームはクラッシュしてしまいます。これが「要件工学（Requirement Engineering）」の世界です。つまり、人間のアイデアを明確で厳格な機械への指示へと変換するという、泥臭く、かつ極めて重要なプロセスなのです。

これを解決するために、科学者たちは数十年にわたってデジタルな「校閲者」を作り続けてきました。伝統的に、これらの校閲者は、赤いペンと単純なルールリストを持った厳格な司書のような存在でした。「『しなければならない（must）』という言葉があれば、それは要件である」「『プロセス（process）』という言葉があれば、それは要件ではない」といった具合です。しかし、これらの古いルールは、人間の言語の持つニュアンスを見逃すことがよくありました。そこで登場するのが、人工知能（AI）と機械学習（ML）です。これらを単なるルールに従う者ではなく、何百万もの文書を読み込んだ超観察眼を持つ「見習い」だと考えてください。彼らは単に特定の単語を探すのではなく、文の「雰囲気」を理解し、単純なリストでは決して到達できなかった方法で、文脈や意味を理解します。研究者たちが投げかけている大きな問いは、「これら賢い見習いたちは、建設が始まる前に悪い設計図を見つけ出すという点で、古いルールベースの司書よりも優れた仕事ができるのか？」ということです。

この論文は、新しいデジタルな見習いである「ARQM（Automated Requirements Quality Management：自動要件品質管理）」を紹介しています。ペンシルベニア州立大学の研究者たちは、要件文書のための、疲れを知らない、極めて注意深い編集者として機能するようにこのツールを構築しました。以前のツールとは異なり、時代遅れで硬直したルールに頼るのではなく、ARQMは現代的なAIを使用して文書を「読み」、主に2つのタスクを実行します。第一に、それは「スクリーニング・フィルター」として機能し、乱雑なテキストの山の中から、「この一文は本当に要件なのか、それとも単なる背景ノイズなのか？」を判断して仕分けを行います。第二に、フィルターを通過した要件が本当に優れているかどうかをチェックする「品質検査官」として機能します。ARQMは、何が要件を明確、テスト可能、かつ曖昧でないものにするかについての世界的ルールブックである「IEEE 29148」標準に基づき、特定の「臭い（smells）」や違反を特定します。

チームは単にツールを構築しただけではありません。彼らはそれを過酷なトレーニングキャンプへと送り込みました。彼らは、要件を見分ける方法を教え込むために、PURE（PUblic REquirements）と呼ばれる公開データセットから数千の文章を投入しました。その後、彼らは4つの特定の品質問題（「曖昧さ（Ambiguity）」：混乱を招かないか？、「実現可能性（Feasibility）」：実際に実行可能か？、「単一性（Singularity）」：一度に多くのことをやりすぎていないか？、「検証可能性（Verifiability）」：それが機能することを証明できるか？）をチェックするために、人間の専門家によって丁寧にラベル付けされた特別な文書を用いてテストを行いました。

結果は、このAIの見習いが実に強力な新人であることを示唆しています。何が要件であり、何がそうでないかを単に識別するという点において、このツールの最も高度なモデルである「DistilBERT」は、他のほぼすべての手法よりも優れた性能を発揮し、高いレベルの精度を達成しました。AIは、要件はしばしば形式的で厳格な響き（「shall」や「must」などの言葉を使用する）を持ち、一方で非要件はしばしば事務的な雑談のような響きを持つことを学習しました。しかし、論文はAIが魔法ではないことも指摘しています。AIは依然として、最も微妙で人間的なニュアンスを扱うことに少し苦戦しています。例えば、AIは「単一な（singular）」要件（一つのことに集中しているもの）を見つけることには非常に長けていましたが、「曖昧」または「検証可能」であるとされるものについて、人間と意見が一致することに難しさを感じました。これは、AIが明らかな間違いを捉えることはできても、最もトリッキーで主観的なエラーには、依然として人間の手が必要であることを示唆しています。

ARQMの最も素晴らしい機能の一つは、「説明可能なAI（XAI）」の使用です。このツールは単に「この文章は良くない」と言うのではなく、なぜそう判断したのかを示す特定の単語をハイライトします。それはまるで、教師が文章の中に赤いペンで丸を囲み、「この言葉は曖昧すぎる」と書き込んでいるようなものです。これにより、人間の書き手は、単なる不可解なエラーメッセージを受け取るのではなく、自分の要件を修正するために「なぜ」直すべきなのかを理解することができます。

研究者たちは、自分たちのツールがまだ完璧に解決された問題ではないことを慎重に指摘しています。彼らは、トレーニングデータにいくつかの欠落があることを発見しました。例えば、「実現不可能（unfeasible）」な要件の例が非常に少なかったため、AIがその特定のレッスンを学ぶのが困難でした。また、データをラベル付けした人間の専門家同士でも必ずしも意見が一致していなかったため、AIは時に相反する指示から学習しなければなりませんでした。こうした限界はあるものの、本研究は、現代のAI手法が重要な前進であることを示唆しています。AIは、古いルールベースのツールが見逃していた一般的なパターンを学習することができ、私たちのデジタル世界の設計図をクリーンアップするための、より高速で包括的な方法を提供します。論文は、ARQMは強力なスタート地点であるが、このテクノロジーの未来は、さらに多様なデータで訓練し、それが構築しようとしているプロジェクトのより深い文脈を理解させることにあると結論付けています。