User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models

技術的概要：大規模言語モデルを用いたユーザビリティ要件の源泉としてのユーザーレビュー

問題定義
現代のソフトウェア製品は機能的な複雑さが増大しており、大きなユーザビリティ上の課題を生み出しています。ユーザー中心の要件工学（RE）は製品の適合性を向上させることが知られていますが、ユーザーを直接関与させることはリソース集約的であり、開発チームにとってしばしば実行不可能です。クラウドベースの要件工学（CrowdRE）は、アプリストアのレビューなどの公的なユーザーフィードバックを活用することで、このギャップを埋めようと試みています。しかし、このフィードバックからユーザビリティの側面を分類するための既存のアプローチは、機械学習（ML）または深層学習（DL）に大きく依存しています。これらの従来の手法は、広範な手動ラベル付けトレーニングデータセットを必要とし、迅速な開発サイクルにおけるボトルネックとなっています。さらに、標準的な ML モデルは、ユーザーレビューに共通する文脈的なニュアンスや非公式な言語（絵文字、慣用句など）の処理に苦しみ、通常は単純なキーワード一致に依存しています。タスク固有の集中的なトレーニングを必要とせずにユーザビリティ要件を抽出するために、大規模言語モデル（LLM）の高度な自然言語理解と CrowdRE のユーザー中心的手法を組み合わせるという、重要な研究の空白が存在します。

手法
本研究は、特別にプロンプトを設計された LLM（OpenAI の gpt-4.1）が、人間の評価者と同等にユーザビリティに関連するユーザーレビューを効果的に識別できるかどうかを調査します。研究は以下の 2 つの研究課題（RQ）を中心に構成されています：

1. ユーザビリティに関連するレビューを識別する際、カスタマイズされた LLM の性能は人間のコーディング者と同等か？
2. ランダムなデータセット内で、LLM がこれらのレビューを識別する際の信頼性はどの程度か？

データ収集と準備

• データセット: Google Play ストアから収集された 300 件のユーザーレビューを、多様性を確保するために 3 つの異なるアプリケーションタイプに均等に分布させて使用しました。これらは『BlitzerDE』（地図/ナビゲーション）、『Lidl Plus』（e コマース）、『FL Studio』（音楽作曲）です。
• 人間によるラベリング（グランドトゥルース）: 2 人の経験豊富な評価者が、ニールセンの 10 のユーザビリティヒューリスティックに基づいてデータセットにラベルを付けました。レビューがヒューリスティックに関連する少なくとも 1 つの記述を含んでいる場合、「真（ユーザビリティ関連）」としてコード化され、そうでない場合は「偽」とされました。
  • 除外: 機能リクエスト、重複する非機能要件（アクセシビリティ、互換性など）、曖昧な記述、バグ報告、OS やハードウェアなどの外部環境に起因する問題は除外されました。
  • プロセス: 反復的なコーディングプロセスを採用しました。20 件のレビューに対する事前コーディングラウンドによりガイドラインの曖昧さが特定され、強化されたコーディングガイドラインへと至りました。2 回目のラウンドでは 300 件すべてのレビューをカバーしました。評価者間信頼性はコホンのカッパ（$\kappa$）を用いて計算され、3 つのアプリすべてで実質的な一致が示されました（$\kappa$ は 0.61 から 0.76 の範囲）。
• LLM プロンプトエンジニアリング: 強化されたコーディングガイドラインに基づき、思考の連鎖（Chain-of-Thought）プロンプティングを用いて初期プロンプトを開発し、LLM に中間推論ステップを指示しました。プロンプトは、各アプリ 10 件ずつの 30 件のレビューからなるテストサンプルを用いて 3 回反復して洗練されました。著者は過学習を防ぐために、数ショットプロンプティングを明示的に回避し、代わりにプロンプト内の指示と目標を洗練させました。

主な貢献
本論文は、以下の 3 つの主要な貢献を提供します：

1. コード化されたデータセット: 3 つの多様なアプリカテゴリからの 300 件のユーザーレビューの完全ラベル付きデータセット。2 人の人間評価者と LLM によってラベル付けされ、補足資料として利用可能。
2. プロンプトエンジニアリングフレームワーク: ユーザビリティ関連レビューをフィルタリングするために、ニールセンの 10 のユーザビリティヒューリスティックから特に導き出された初期プロンプトとコーディングガイドライン。反復的な洗練を通じて開発されました。
3. 性能分析: 非機能要件としてのユーザビリティを認識する LLM の能力を、人間の性能と比較して実証的に決定すること。

結果

• 人間ベースライン: 2 人の人間評価者は、300 件のレビューのうち 148 件（49.3%）をユーザビリティ関連として識別しました。評価者間信頼性は実質的でした（$\kappa$ 0.61–0.76）。
• LLM の性能（指標）: 最終的に最適化されたプロンプトを使用すると、LLM は 173 件（58%）のレビューをユーザビリティ関連として識別しました。
  • 適合率/再現率: LLM は高い再現率（アプリ間で 0.84–0.93）を示しましたが、適合率はやや低く（0.73–0.79）、人間評価者よりも寛容であることを示しています（人間が却下したいくつかの潜在的なユーザビリティ問題も含めて、より多くの問題を識別している）。
  • F スコア: LLM は、異なるアプリ間で 0.78 から 0.82 の F1 スコアを達成しました。
• 信頼性（評価者間一致）: LLM のラベルを最終的な人間の合意と比較した場合：
  • BlitzerDE: fair 一致（$\kappa = 0.34$）。
  • Lidl Plus: moderate 一致（$\kappa = 0.55$）。
  • FL Studio: substantial 一致（$\kappa = 0.63$）。
• 統計的有意性: 評価者の確信度と LLM の正しさとの相関に関するカイ二乗検定は、p 値 0.35 を生み出し、統計的に有意な相関はないことを示しました。LLM は人間のメンタルモデルを確実に再現するわけではなく、異なる予期せぬ場所で誤りを犯します。

意義と主張
本論文は、信頼性と一致レベルが低いという理由から、LLM がまだ人間評価者の完全な代替品ではないと結論付けていますが、それらは要件工学にとって実行可能かつリソース効率の高い選択肢を表していると述べています。

• トレードオフ: 著者は、従来の ML/DL モデルのトレーニングにかかるリソースオーバーヘッドが、ほとんどのチームにとって非現実的であると主張しています。対照的に、LLM ははるかに少ないオーバーヘッドで許容できる結果を達成します。
• 寛容性: LLM がやや寛容である傾向（高い再現率）は、実用的な利点と見なされます。現実世界のシナリオでは、関連するユーザビリティ要件を見逃すよりも、限られた量の無関係なレビューを収集する方が望ましいためです。
• 将来の方向性: 本研究は先駆けとして機能し、さらなる研究は洗練されたプロンプトエンジニアリング（例：数ショットプロンプティング）に焦点を当て、特定の CrowdRE タスクに最適な技術を決定するために、最適化された LLM と従来の ML/DL アプローチを比較すべきであることを示唆しています。著者は、このアプローチの成功は、カスタマイズされたプロンプトの品質に大きく依存していると強調しています。