Integrating Multi-Label Classification and Generative AI for Scalable Analysis of User Feedback

技術要約：ユーザーフィードバックのスケーラブルな分析に向けたマルチラベル分類と生成AIの統合

問題提起
競争の激しいソフトウェア市場において、継続的なユーザーエクスペリエンス（UX）評価は製品の成功に不可欠である。標準化されたアンケート（SUS、NPS、UX-Liteなど）による定量的な指標は、全体的なユーザビリティや満足度の信頼できる指標を提供する一方で、「なぜ」そう感じるのかという背景を説明するには不十分であることが多い。自由記述形式のユーザーコメントは、豊かな定性的洞察を提供し、具体的な強み、弱点、および文脈的要因を特定することができる。しかし、これらの大量のコメントを手動で分析することは、コストがかかり、非効率的であり、一貫性に欠ける。さらに、定量的な満足度スコアとテキストによるフィードバックで表現された感情（センチメント）との間に、しばしば乖離が生じる。例えば、非常に満足しているユーザーであっても、孤立した特定の課題について否定的なコメントを残すことがある。課題は、負のコメントの感情を製品全体の不満と同一視するという一般的な落とし穴を避けつつ、これらのコメントを効率的に処理して実行可能なインサイトを抽出することにある。

手法
著者らは、SAP SEにおける長期的なUX測定プロジェクト内で開発された、主に3つのコンポーネントからなる技術的フレームワークを提示している。

1. 自動マルチラベル分類:

   • タクソノミー（分類体系）の導出: サンプル分析とステークホルダーへのインタビューを通じてトピック・タクソノミーを導出し、10個の明確かつ網羅的なラベル（例：ユーザビリティ、機能性、エラー、パフォーマンス、ライセンス）を定義した。
   • データセットの作成: 手動でアノテーション（注釈付け）された2,756件のコメントからなる学習コーパスを作成し、後に40製品にわたる8,757件まで拡張した。このデータセットは、コメントのマルチラベル特性（初期データの20.86%に複数のラベルが含まれていた）を考慮している。
   • 埋め込み（Embedding）の生成: 2つの埋め込み手法、すなわちサブワード情報を利用したファインチューニング済みのfastTextモデルと、Transformerアーキテクチャを用いたファインチューニング済みのSentence-BERT（SBERT）モデルを比較した。SBERTはfastTextに対してマイクロ平均F1スコアを24.58%向上させ、優れた性能を示した。
   • 分類アルゴリズム: 最適な分類器としてExtreme Gradient Boosting（XGBoost）を選択した。このモデルは、マルチラベル割り当てを処理するために、各ラベルに対するバイナリ分類器を逐次的に学習させる手法を採用している。ハイパーパラメータのチューニングは、マルチラベル層化$k$分割交差検証を用いて行われた。
   • ヒューマン・イン・ザ・ループ: 人間のコーダーがモデルの予測を検証・修正する継続的なプロセスを確立し、これにより漸進的な学習を可能にし、モデルのドリフトを防いでいる。

2. 生成AI（GenAI）による要約:

   • 反復的な洗練: 一般的な要約や、ポジティブ／ネガティブ別の要約を生成しようとする初期の試みでは、バイアス、不整合、およびハルシネーション（幻覚）が発生した。
   • 構造化されたアプローチ: 最終的な手法は、GenAIによる生成を定義済みのトピックカテゴリに適合させている。プロンプトは、AIに対してコメントとその分類を確認し、最小コメント閾値（例：4件）を満たす各カテゴリについての要訳を生成するよう指示する。
   • 検証ワークフロー: 生成された要約を裏付けるために、逐語的なコメントのスニペット（断片）を選択するプロセスが含まれる。極めて重要な点として、スニペットの選択は、ナラティブ（語り）を歪めることがないよう、実際のポジティブおよびネガティブな感情の分布を維持するように設計されている。要約は、簡潔さを確保するため、ボリュームの多い上位4つのカテゴリに限定される。

3. 感情分析と相関研究:

   • 著者らは、2つの異なる調査を用い、コメントレベルの感情（ポジティブ、混合、ネガティブ）と定量的な満足度指標（NPS、チュートリアル品質スコア、製品満足度、UX-Lite）との関係を調査した。
   • 感情と満足度スコアの相関を決定するために、カイ二乗検定や条件付き確率計算を含む統計分析が用いられた。

主な結果

• 分類性能: 最終的なマルチラベル分類モデルは、カテゴリーによって異なるF1スコアを達成した（不均質な「その他」カテゴリーの0.49から、「ライセンス」の0.82、「パフォーマンス」の0.76まで）。最も頻度の高い「ユーザビリティ」と「機能性」のカテゴリーは、それぞれF1スコア0.64および0.61を達成した。
• 感情と満足度:
  • ポジティブな感情: 高い満足度と強く相関している。チュートリアル調査では、プロモーター（推奨者）の95%がポジティブなコメントを記述しており、アプリケーション調査では、ポジティブなコメントを記述した回答者の92%が「満足」または「非常に満足」と回答した。
  • ネガティブな感情: 低い満足度を必ずしも示唆するものではない。
    • チュートリアル調査では、ネガティブなコメントを記述したユーザーの47.24%がプロモーターに分類された。
    • アプリケーション調査では、ネガティブなコメントを記述したユーザーの22.15%が「満足」または「非常に満足」と回答した。
  • 長さの格差: ポジティブなコメントは有意に短かった（平均35〜53文字）のに対し、ネガティブなコメントは長かった（平均153〜202文字）。これらは、具体的なエラーやユーザビリティ上の障害を詳細に記述していた。
• 要約生成: カテゴリに基づいた構造化されたGenAIアプローチは、簡潔で検証済みの要約を生成することに成功し、これらは四半期レポートやダッシュボードに統合され、定性的データの解釈に必要な手動作業を大幅に削減した。

意義と主張
本論文は、定量的な指標が全体的な品質の堅牢な指標を提供し、定性的なコメントが文脈化された説明と実行可能なインサイトを提供する、UX評価におけるスケーラブルで補完的なアプローチを実証していると主張している。

著者らは、コメントの感情を製品全体の満足度の代用指標として使用することに対して明確に注意を促している。彼らの結果は、ネガティブな感情の比率が高いことは、必ずしも製品品質の低さを示すものではないことを示している。なぜなら、満足しているユーザーであっても、修正可能な特定の課題を強調するために否定的なフィードバックを提供することが多いためである。したがって、本論文は、製品の満足度はテキストの感情から推測するのではなく、調査指標を通じて明示的に評価されるべきであると論じている。

実務面において、本研究は製品チームに対し、以下のプロセスを提供する検証済みのパイプラインを提供している：

1. フィードバックを体系的に分類し、トレンド（例：システム改善後のパフォーマンスに関する不満の減少の追跡）を監視する。
2. ハルシネーションやバイアスに陥ることなく、GenAIを用いてエグゼクティブ向けの要約を生成する。
3. 特定の問題報告と全体的な満足度を切り離すことで、ユーザーフィードバックを正確に解釈する。

著者らは、本手法は（SAP BTPという）特定の文脈においては効果的であるが、チームが独自の関連トピックカテゴリを定義し、AI生成コンテンツに対して厳格な検証プロセスを維持することを条件として、適応可能であると結論付けている。