User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums

ملخص تقني: مجموعة بيانات رؤى إدراك تجربة المستخدم (UXPID)

بيان المشكلة
تقدم تعليقات العملاء في المنتديات التقنية الصناعية رؤى بالغة الأهمية حول تجارب المنتجات الواقعية، ومشكلات سهولة الاستخدام، وطلبات الميزات. ومع ذلك، فإن التحليل المنهجي لهذه التعليقات يعوقه الطبيعة غير المهيكلة للمحتوى، وندرة مجموعات البيانات عالية الجودة المصنفة، والقيود الكبيرة المتعلقة بالخصوصية والترخيص التي تمنع استخدام بيانات العالم الحقيقي لتدريب نماذج الذكاء الاصطناي. كما تفتقر مجموعات البيانات المتاحة للوصول المفتوح والمخصصة لهندسة المتطلبات وتحليل ملاحظات المستخدمين (مثل TFThs، وTechQA، وPURE) إلى هياكل النقاش السياقية، أو تصنيفات الشدة، أو الرؤى الدلالية المستمدة من سلاسل المحادثات. علاوة على ذلك، فإن العديد منها صغير جداً لتدريب النماذج بشكل قوي، أو تفشل في التقاط الفروق الدقيقة الخاصة بسياقات الأتمتة الصناعية، مما يحد من تطوير نماذج قادرة على استخراج المتطلبات القابلة للتنفيذ ورؤى تجربة المستخدم (UX) على نطاق واسع.

المنهجية
يقدم المؤلفون مجموعة بيانات رؤى إدراك تجربة المستخدم (UXPID)، وهي مجموعة بيانات اصطناعية تم إنشاؤها من 7,130 فرع نقاش مستخرجة من منتدى أتمتة صناعية عام. تتضمن عملية إنشاء مجموعة البيانات أربع مراحل رئيسية:

1. جمع واستخراج البيانات: تم جمع تعليقات المستخدمين والبيانات الوصفية من منتدى تقني تديره شركة. تم تخزين البيانات بتنسيق JSON، مع الحفاظ على هيكل سلاسل التعليقات متعددة المنشورات.
2. التعليق والتركيب المدفوع بالنماذج اللغوية الكبيرة (LLM): تم استخدام نموذج OpenAI GPT-4.1 لمعالجة البيانات. ومن الأهمية بمكان أن العملية كانت متسلسلة لتجنب الدورانية:
   • الخطوة 1 (التعليق/التوسيم): قام النموذج اللغوي الكبير بتحليل النص الأصلي للمنتدى، غير المعدل، لاستخراج الرؤى الدلالية، بما في ذلك ملخصات تجربة المستخدم (UX)، وتوقعات المستخدمين، وتقييمات الشدة، والمشاعر، واستخراج الكلمات المفتاحية (الألم، المكسب، الميزة). تعمل هذه التعليقات كحقيقة أرضية (Ground Truth).
   • الخطوة 2 (التركيب/إخفاء الهوية): تم توجيه النموذج اللغوي الكبير بعد ذلك لإعادة صياغة النص الأصلي بشكل طفيف واستبدال جميع الكيانات التعريفية (أسماء الشركات، أسماء المنتجات، أسماء المستخدمين، الروابط URL، إلخ) بكلمات نائبة محددة النوع (مثل [product_name]، [user_name]). يضمن ذلك الحفاظ على الخصوصية مع الحفاظ على المحتوى الدلالي المطلوب للتعليقات.
3. تصنيف المواضيع: تم تطبيق عملية تكرارية حيث استخرج النموذج اللغوي الكبير المواضيع بشكل مستقل لكل فرع. تمت إضافة مواضيع جديدة إلى مخزن التخزين إذا لم تتطابق مع المواضيع الموجودة، مما سمح بتجميع ديناميكي للمواضيع.
4. التحقق البشري: لضمان دقة التعليق، تم التحقق يدوياً من 32 فرعاً تم اختيارها غرضياً من قبل ثلاثة خبراء في المجال مقابل 20 حقل تعليق. غطى التحقق حالات الاستخدام، ومقاييس تجربة المستخدم (UX)، والشدة، والمشاعر. حققت العملية معدل "اتفاق كافٍ" بنسبة 87% (بدمج الاتفاق التام والاختلاف الطفيف)، مع تقليل التباينات المنهجية بين جولات التحقق من خلال تحسين الأوامر (Prompts).
5. تحليل الأمانة (Fidelity Analysis): أكدت مقارنة إحصائية (اختبار ويلكوكسون لمراتب الإشارات) بين النص الأصلي والمنسق أن الهيكل الحواري (عدد التعليقات، نسب الردود) قد تم الحفاظ عليه. وبينما أدت عملية التركيب إلى زيادة الرسمية السطحية (تقليل العلامات غير الرسمية مثل علامات التعجب والحروف الكبيرة ALL-CAPS) وتغيير طفيف في عدد الكلمات، إلا أن التنوع اللغوي الأساسي والبنية الاستفهامية ظلت سليمة إلى حد كبير.

المساهمات الرئيسية
يحدد البحث ثلاث مساهمات رئيسية:

1. مجموعة بيانات مبتكرة (UXPID): مجموعة من 7,130 فرع منتدى مجهولة المصدر ومصنفة، تحتوي على أكثر من 36,000 تعليق، مصممة خصيصاً لمنتجات الأتمتة الصناعية. وهي توسع نطاق مجموعات بيانات هندسة المتطلبات الحالية من خلال التقاط سياقات المحادثة الكاملة.
2. هيكل دلالي غني: على عكس الموارد السابقة، تتضمن UXPID رؤى مؤتمتة، وتجميعاً للمواضيع، وتعليقات على الشدة، وتحليلاً للمشاعر مستمداً من محادثات المستخدمين، مما يوفر عمقاً سياقياً لتدريب نماذج معالجة اللغات الطبيعية (NLP).
3. نماذج مرجعية أساسية (Benchmarks): يقدم المؤلفون مقاييس أداء مرجعية لمهام التصنيف باستخدام كل من النماذج الكلاسيكية (TF-IDF + Logistic Regression) والنماذج القائمة على المحولات (DistilBERT)، مما يضع أساساً للأبحاث المستقبلية في تصنيف الملاحظات واستخراج المتطلبات.

النتائج
تم إجراء التحقق التقني باستخدام تجارب التصنيف على تقسيم 80/20 للتدريب والاختبار.

• تصنيف المواضيع: تفوق نموذج DistilBERT باستمرار على النموذج المرجعي (TF-IDF + Logistic Regression). بالنسبة لتصنيف "الملخص ← الموضوع" عبر جميع الفئات الـ 32، حقق DistilBERT درجة F1 بلغت 0.6923 مقارنة بـ 0.4799 للنموذج المرجعي. وعند قصر الأمر على الفئات التي تضم أكثر من 50 حالة، تقلصت الفجوة (0.7174 مقابل 0.6060)، مما يشير إلى أن النموذج المرجعي يعاني أساساً مع الفئات النادرة.
• تحليل المشاعر: حقق DistilBERT درجات F1 بلغت 0.7825 (مدخل الملخص) و0.7923 (مدخل التعليق الخام) لتصنيف المشاعر العام، متفوقاً بشكل كبير على النموذج المرجعي (0.6568 و0.6340، على التوالي).
• سلوك النموذج: توقع النموذج القائم على المحولات عدد الملصقات (1.53–1.62 لكل عينة) بشكل قريب جداً من الحقيقة الأرضية (1.69)، بينما مال النموذج المرجاسي الكلاسيكي إلى الإفراط في التنبؤ بالملصقات.

الأهمية والادعاءات
يزعم البحث أن UXPID تعالج الفجوة الحرجة في الموارد المتاحة لتدريب نماذج الذكاء الاصطناعي على ملاحظات المستخدمين الصناعية. ومن خلال توفير مجموعة بيانات تحافظ على الخصوصية ومُعلّقة جيداً، فإنها تمكن من تدريب وتقييم النماذج القائمة على المحولات لمهام مثل اكتشاف المشكلات، وتحليل المشاعر، واستخراج المتطلبات في المنتديات التقنية. يضع المؤلفون مجموعة البيانات كأداة قيمة لتقدم أساليب معالجة اللغات الطبيعية (NLP) ضمن دعم المنتجات الصناعية وهندسة البرمجيات، لا سيما في الحالات التي يكون فيها الوصول إلى بيانات العالم الحقيقي مقيداً. تم تصميم مجموعة البيانات لدعم تطبيقات متنوعة في هندسة المتطلبات ومعالجة اللغات الطبيعية، مما يوفر أساساً لتطوير استراتيجيات أكثر كفاءة لتحليل كميات كبيرة من الملاحظات الصناعية غير المهيكلة.