User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums

技術的概要：ユーザーエクスペリエンス知覚インサイトデータセット（UXPID）

問題定義
産業技術フォーラムにおける顧客フィードバックは、実世界での製品体験、ユーザビリティ上の課題、機能要望に関する重要な洞察を提供する。しかし、このフィードバックの体系的な分析は、コンテンツの非構造化性、高品質なラベル付きデータセットの不足、および実世界データを AI モデルの学習に使用することを阻むプライバシー・ライセンス制限によって妨げられている。要件工学およびユーザーフィードバック分析のための既存のオープンアクセスデータセット（例：TFThs、TechQA、PURE）は、往々にして文脈的な議論構造、重大度注釈、または会話スレッドから導き出された意味論的洞察を欠いている。さらに、多くのデータセットは堅牢なモデル学習には小さすぎたり、産業オートメーションの文脈特有の微妙なニュアンスを捉えられていなかったりするため、大規模で実行可能な要件や UX インサイトを抽出できるモデルの開発が制限されている。

手法
著者は、公開されている産業オートメーションフォーラムから抽出された 7,130 の議論ブランチから構築された合成データセットである、ユーザーエクスペリエンス知覚インサイトデータセット（UXPID）を提示する。データセット作成パイプラインは以下の 4 つの主要段階を含む：

1. データ収集と抽出：ユーザーコメントおよびメタデータを、企業が運営する技術フォーラムから収集した。データは、マルチポストのコメントスレッドの構造を維持する JSON 形式で保存された。
2. LLM 駆動の注釈と合成：OpenAI GPT-4.1 モデルを使用してデータを処理した。循環性を回避するため、このプロセスは逐次的に行われた：
   • ステップ 1（注釈）：LLM は、修正されていない元のフォーラムテキストを分析し、UX サマリー、ユーザーの期待、重大度評価、センチメント、およびキーワード抽出（痛み、利益、機能）を含む意味論的洞察を抽出した。これらの注釈は、真の基準（グラウンドトゥルース）として機能する。
   • ステップ 2（合成/匿名化）：その後、LLM に元のテキストを軽微に言い換え、会社名、製品名、ユーザー名、URL などのすべての識別エンティティを、タイプ指定されたプレースホルダー（例：[product_name]、[user_name]）に置き換えるよう指示した。これにより、注釈に必要な意味論的内容を維持しつつプライバシーを確保する。
3. トピック分類：LLM が各ブランチのトピックを独立して抽出する反復プロセスを適用した。既存のトピックと一致しない新しいトピックは、動的なトピッククラスタリングを可能にするためにストレージプールに追加された。
4. 人間による検証：注釈の精度を確保するため、32 の目的選定されたブランチを、20 の注釈フィールドに対して 3 人のドメインエキスパートが手動で検証した。検証対象にはユースケース、UX メトリクス、重大度、センチメントが含まれた。このプロセスは、完全一致と軽微な不一致を合わせた「適切な合意」率 87% を達成し、プロンプトの洗練により検証ラウンド間の体系的な不一致を軽減した。
5. 忠実度分析：元のテキストと合成されたテキストとの統計的比較（ウィルコクソンの符号付き順位検定）により、会話構造（コメント数、返信比率）が維持されていることが確認された。合成プロセスは表面形式の形式性を高めた（感嘆符や大文字の ALL-CAPS などの非公式なマーカーを減少させた）が、語数のわずかな変化を除き、核心的な言語的多様性と疑問文構造は概ね維持された。

主な貢献
本論文は、以下の 3 つの主要な貢献を特定している：

1. 新規データセット（UXPID）：産業オートメーション製品に特化した、36,000 以上のコメントを含む 7,130 の匿名化・合成されたフォーラムブランチのコレクション。既存の要件工学データセットの範囲を拡張し、完全な会話文脈を捉える。
2. 豊かな意味論的構造：従来のリソースとは異なり、UXPID には、ユーザー会話から導き出された自動インサイト、トピッククラスタリング、重大度注釈、センチメント分析が含まれており、NLP モデルの学習のための文脈的深さを提供する。
3. ベンチマーク基準：古典的（TF-IDF + ロジスティック回帰）およびトランスフォーマーベース（DistilBERT）のモデルの両方を使用した分類タスクの参照性能指標を提供し、フィードバック分類および要件抽出における将来の研究のための基準を確立する。

結果
技術的検証は、層化された 80/20 の学習/テスト分割を用いた分類実験によって行われた。

• トピック分類：DistilBERT は、TF-IDF + ロジスティック回帰の基準を一貫して上回った。すべての 32 クラスにわたる「サマリー→トピック」分類において、DistilBERT は F1 スコア 0.6923 を達成し、基準の 0.4799 と比較して優れていた。50 件以上のインスタンスを持つクラスに限定した場合、その差は縮小した（0.7174 対 0.6060）ことから、基準モデルは主に希少クラスにおいて困難を抱えていることが示唆される。
• センチメント分析：DistilBERT は、全体のセンチメント分類において、サマリー入力で F1 スコア 0.7825、生コメント入力で 0.7923 を達成し、基準（それぞれ 0.6568 および 0.6340）を大幅に上回った。
• モデルの挙動：トランスフォーマーモデルは、真の基準（1.69）とほぼ一致するラベル数（サンプルあたり 1.53〜1.62）を予測したのに対し、古典的な基準モデルはラベルを過剰に予測する傾向があった。

意義と主張
本論文は、UXPID が産業ユーザーフィードバックに対する AI モデルの学習において利用可能なリソースの重要なギャップを埋めることを主張している。プライバシーを保護し、適切に注釈付けられたデータセットを提供することで、技術フォーラムにおける課題検出、センチメント分析、要件抽出などのタスクに対するトランスフォーマーベースのモデルの学習と評価を可能にする。著者は、このデータセットを、特に実世界データへのアクセスが制限されている状況において、産業製品サポートおよびソフトウェアエンジニアリングにおける NLP 手法の進展に役立つ貴重なリソースとして位置づけている。UXPID は、要件工学および自然言語処理における多様なアプリケーションを支援するように設計されており、大規模な非構造化産業フィードバックを分析するためのより効率的な戦略を開発するための基盤を提供する。