GitReq: A Gold Standard Dataset for Software Quality Requirements
本論文は、ISO/IEC 25010:2011に準拠した8つのソフトウェア品質要件に分類された、専門家によって検証済みの6,302件のGitHubイシューからなる公開データセットであるGitReqを紹介するものであり、これは自動化された要件分類およびソフトウェア品質分析を前進させるためのゴールドスタンダードとして機能する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、何百万もの付箋が棚に貼られた、巨大で混沌とした図書館に足を踏み入れました。これらのメモは単なるランダムな不満ではありません。世界中のソフトウェア開発者たちが、自分たちの創造物がどのように機能すべきかについて、ささやいたり（あるいは叫んだり）しているものです。ある者は「このアプリは遅すぎる！」（パフォーマンス）と言い、またある者は「もっと強力な鍵が必要だ！」（セキュリティ）と言い、またある者は「私の古いスマホでも動くべきだ！」（ポータビリティ）と言っています。
問題は、これらのメモがめちゃくちゃであることです。それらは混ざり合い、スラングで書かれ、バグ報告や質問、機能リクエストといった他の何百万ものメモの下に埋もれています。これまでは、誰もこれらの特定の「品質」に関するメモを、研究者が調査できるような、整然としたラベル付きのコレクションとして整理できていませんでした。
ここに登場するのが、GitReq：偉大なる司書です。
この論文の著者たちは、GitReqという「ゴールドスタンダード（黄金律）」となるデータセットを構築しました。これは、GitHub上の4,000を超える異なるソフトウェアプロジェクトから抽出された、6,302個の精緻に整理された開発者のメモのアーカイブだと考えてください。
彼らがどのように行ったのか、シンプルなステップに分けて説明します。
1. 宝探し（マイニング）
チームはただランダムにメモを拾い集めたわけではありません。彼らは「3つのシグナル」戦略を用いて、正しいものを見つけ出しました。池の中で特定の種類の魚を探す場面を想像してください。
- シグナル1: 彼らは、開発者がすでにメモに付けている「フラグ」（例：「セキュリティ」のようなラベル）を探しました。
- シグナル2: そのメモが、単なるバグ報告や質問ではなく、本当に新しい何かを求めるリクエスト（「機能リクエスト」や「拡張」といったラベル）であるかどうかを確認しました。
- シグナル3: テキストをスキャンし、特定のキーワード（「遅い」「ハック」「クラッシュ」など）を探しました。
彼らは55,588個の潜在的なメモからスタートしました。それは膨大な紙の山です！
2. 分類マシン（前処理）
人間が読む前に、チームは2つの異なる「分類マシン」を構築しました。なぜなら、メモには2つの非常に異なる性質があるからです。
- 「NFR」マシン（非機能要件）: これらは、システムがどのように動作するかに関するメモです（速度、安全性、信頼性など）。これらのメモは、短くて乱雑で、スラングが多いことがよくあります（例：「100人がログインするとサーバーがクラッシュする」）。このマシンはノイズを取り除きましたが、現実世界の乱雑な言語はそのまま保持しました。
- 「FR」マシン（機能要件）: これらは、システムが何をすべきかに関するメモです（例：「システムはユーザーがファイルを保存できるようにしなければならない」）。これらは非常に具体的である必要があります。このマシンは厳格でした。もしメモが形式的なルール（「～しなければならない」、「～するものとする」、あるいは「ユーザーストーリー」といった言葉）のように聞こえない場合は、破棄されました。これにより、曖昧な機能案を誤って含めてしまうことを防ぎました。
3. 専門家パネル（ヒューマン・アノテーション）
マシンが作業を終えた後、まだ約8,500個のメモが残っていました。ここからが人間の魔法の出番です。
- 審査員: ソフトウェア工学の専門家7名が、これらのメモを読み解くために集まりました。
- トレーニング: 彼らは、ISO/IEC 25010と呼ばれる標準的なガイドライン（「セキュリティ」と「スケーラビリティ」がそれぞれ何を意味するかを定義するルールブックのようなもの）を使用して、ルールを学ぶために何時間も費やしました。
- 判定: 彼らは各メモを、**パフォーマンス、セキュリティ、ポータビリティ、可用性、フォールトトレランス、スケーラビリティ、メンテナンス性、およびファンクショナル（機能）**の8つのカテゴリーに分類しました。
- 合意: 彼らはただ推測したわけではありません。お互いの結果を照らし合わせました。意見が食い違ったときは、一致するまで話し合いました。その結果、非常に高い一致度（スコア0.72）が得られ、ラベルの信頼性が証明されました。
4. 最終的なコレクション
元の55,000個以上の候補から、最終的に6,302個の高品質で専門家によって検証されたメモが完成しました。
- 構成: 約半分はセキュリティとパフォーマンスに関するものです（最も一般的な懸念事項です）。
- 多様性: ウェブフレームワークからモバイルアプリ、クラウドシステムまで多岐にわたります。
- 証明: 彼らはさらに、この新しいデータセットを4つの強力なAIモデル（GPT-5.2など）に対してテストしました。AIモデルは、特に「メンテナンス性」のようなトリッキーなカテゴリーにおいて苦戦しており、このデータセットが将来のAIツールにとって手強い、現実的なテストであることを証明しました。
なぜこれが重要なのか？
これまでは、コンピュータにソフトウェアの品質を理解させるための研究を行おうとしても、極めて小さい古いデータセットや、現実とはかけ離れた形式的な文書を使うしかありませんでした。それは、1990年に書かれた教科書だけを読んで車の運転を学ぼうとするようなものでした。
GitReqは、研究者に全く新しい、現実世界のドライビングシミュレーターを与えるようなものです。これにより、研究者は、開発者が日常的に交わしている乱雑でリアルな会話を実際に理解できるAIツールを構築できるようになり、品質の問題をより速く、より正確に特定できるようになります。
要するに: この論文は、単に干し草の中から針を見つけたのではありません。彼らは、種類の異なる針のコレクション全体を作り上げ、それらを分類し、世界に対してそれらを見つけるための地図を授けたのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。