Traits of a Leader: User Influence Level Prediction through Sociolinguistic Modeling

خاتمة تقنية: خصائص شخصية القيادة: التنبؤ بمستويات تأثير المستخدم من خلال النمذجة اللغوية الاجتماعية

تعريف المشكلة
تتناول هذه المساهمة تحدي التنبؤ بمستوى تأثير المستخدم داخل الشبكات الاجتماعية عبر الإنترنت بناءً على تعليق نصي واحد فقط (لا يقل عن 32 رمزاً/توكن). يعرّف المؤلفون "التأثير" ليس كسمة ثابتة، بل كدالة للتحقق المجتمعي، والتي تم تشغيلها إجرائياً عبر قيمة مؤشر k. تمثل هذه القيمة، وهي تكييف لمؤشر h-index، الحد الأقصى لعدد التعليقات ($k$) التي ألفها المستخدم، بحيث حصل كل منها على $k$ من نقاط الكارما (السمعة/النقاط). تُصاغ مهمة التنبؤ كمسأية انحدار ذات توزيع مائل بشدة نحو اليمين للمتغير المستهدف، حيث يمتلك معظم المستخدمين قيم تأثير منخفضة بينما يمتلك عدد قليل جداً منهم قيماً عالية. هذا الميل يعقد عملية تحديد المستخدمين ذوي المكانة العالية ويتطلب مقاييس تقييم تعطي الأولوية لتصنيف الحالات ذات التصنيف العالي بدلاً من مجرد تقليل الخطأ.

المنهجية
يستخدم النهج المقترح النمذجة اللغوية الاجتماعية لتعزيز التمثيل الكامن لتعليقات المستخدمين. تمر المنهجية عبر أربع مراحل رئيسية:

1. إنشاء القاعدة: تم تدريب نموذج BERT "صغير" (4 طبقات، 512 بُعداً، 8 رؤوس انتباه) للتنبؤ بمؤشر k مباشرة من تضمينات النصوص ($E[CLS]$). طبق المؤلفون استراتيجية ضبط دقيق مكونة من مرحلتين للتخفيف من حدة "النسيان الكارثي": أولاً، يتم تجميد طبقات BERT مع تدريب الطبقات الأمامية الخاصة بالمهمة؛ لاحقاً، يتم إلغاء تجميد النموذج بالكامل مع تقليل معدل التعلم.
2. توليد الملصقات الزائفة (Pseudo-Labels): نظراً لأن مجموعة البيانات تفتقر إلى التوصيفات الحقيقية للديموغرافيا والشخصية، قام المؤلفون بتدريب نماذج منفصلة لتوليد ملصقات زائفة لسبع مهام فرعية إضافية:
   • الديموغرافيا: العمر (انحدار) والجنس (تصنيف).
   • الشخصية: الأبعاد الأربعة لمؤشر مايرز بريغز (MBTI): الانطواء/الانبساط، الحس/الحدس، التفكير/الشعور، والتقييم/الإدراك.
   • السمات اللغوية: الكشف عن "التحوط" (Hedges) (الوسائل اللغوية لتلطيف الأوامر أو الآراء).
     تستخدم هذه المهام الفرعية بنيات مثل CNN وLSTM وBERT، مدربة على مجموعات بيانات خارجية (مثل PAN-DORA وCoNLL 2010).
3. التعلم متعدد المهام (MTL): تم بناء بنية متعددة المهام عبر إلحاق سبعة رؤوس إضافية خاصة بكل مهمة بنموذج BERT الأساسي. يتوافق كل رأس مع إحدى المهام الفرعية (العمر، الجنس، أبعاد MBTI، التحوط) جنباً إلى جنب مع الرأس الأساسي للتنبؤ بمؤشر k. يتم تدريب النموذج لتقليل مجموع أوزان الخسارة: $L_{total} = L_0 + \sum w_i L_i$.
4. تحسين أوزان الخسارة: لمعالجة مسألة مساهمة المهام الفرعية بإشارات غير متساوية أو إدخال الضجيج، طبق المؤلفون خوارزمية البحث Hyperband لتحسين أوزان الخسارة ($w_i$) لكل مهمة فرعية تلقائياً، مما يحسن التوازن بين المهمة الرئيسية والأهداف المساعدة.

النتائج الرئيسية
قيمت الدراسة الأداء عبر ثمانية مجتمعات مختلفة على Reddit (مثل AskScience، Politics، Fitness) باستخدام متوسط الخطأ المطلق (MAE)، ومتوسط مربع الخطأ (MSE)، والربح التراكمي المخصوم المعياري (nDCG)، وRankDCG.

• تحسين الأداء: حقق نموذج BERT الأساسي متوسط RankDCG قدره 9.51%. أدى الضبط الدقيق إلى تحسين هذه النسبة إلى 15.87%. أدى إدخال النموذج متعدد المهام مع الملصقات الزائفة إلى زيادة الأداء بشكل كبير ليصل متوسط RankDCG إلى 24.85%.
• التحسين (Optimization): أدى المزيد من صقل أوزان الخسوة للمهام الفرعية إلى تحقيق أفضل النتائج بمتوسط RankDCG قدره 28.97%.
• تأثير المهام الفرعية: كشف تحليل أوزان الخسارة المتعلمة أن أهمية مهام فرعية محددة تعتمد على المجال. فعلى سبيل المثال، كان التنبؤ بالجنس هو الأكثر حرجاً في المجتمعات الخاصة بالجنس (AskMen، AskWomen)، بينما هيمنت مهام "الانطواء" و"التفكير" في مجتمع AskScience.
• الفضاء الكامن: تشير إسقاطات PCA وحسابات المسافة بين الفئات إلى أن النهج متعدد المهام نجح في استقطاب الفضاء الكامن من خلال تقريب نقاط البيانات من نفس الفئة، مما يحسن التمثيل الداخلي للنموذج.
• القصور في نقل النماذج عبر المجالات: عند اختبار النموذج في إعداد عابر للمجالات (التدريب على سبعة مجتمعات والاختبار على واحد)، كان أداء النهج متعدد المهام أسوأ بكثير مقارنة بالنتائج الخاصة بكل مجال (5.51% RankDCG). يعزو المؤلفون ذلك إلى الطبيعة النوعية لسلوك المستخدم وسماته، مما يمنع النموذج من تعلم تمثيل عالمي للمستخدم.

الأهمية والادعاءات
تدعي هذه المساهمة أن استخدام المعلومات المتمحورة حول المستخدم — وتحديداً الديموغرافيا، سمات الشخصية، والعلامات اللغوية مثل "التحوط" — يحسن بشكل كبير التنبؤ بمستويات تأثير المستخدم مقارنة بالنماذج القائمة على النص فقط. يجادل المؤلفون بأنه رغم توجه اتجاهات معالجة اللغات الطبيعية الحالية نحو النهج العصبية البحتة، فإن إعادة دمج رؤى العلوم الاجتماعية (مثل الارتباط بين الشخصية والتأثير) تقدم تمثيلاً أكثر قوة للحالة الكامنة.

يُظهر العمل أن:

1. يمكن نمذجة تأثير المستخدم بفعالية كدالة للتحقق المجتمعي (مؤشر k) من النص وحده.
2. التعلم متعدد المهام مع المهام اللغوية الاجتماعية يتفوق على النماذج الأساسية المعيارية التي خضعت للضبط الدقيق عبر مجالات متنوعة.
3. مساهمة سمات المستخدم المحددة في التنبؤ بالتأثير ليست موحدة بل تختلف باختلاف المجال، مما يشير إلى أن التأثير مرتبط بالسياق.

يخلص المؤلفون إلى أنه بينما يحسن نهجهم الأداء الخاص بكل مجال، فإن الاعتماد على الملصقات الزائفة والطبيعة النوعية لسلوك المستخدم يحد من القدرة على التعميم عبر المنصات الاجتماعية المختلفة. ويشددون على ضرية التطبيق المسؤول ويشيرون إلى وجوب نشر هذه النماذج بشفافية وحذر فيما يتعلق بالخصوصية والتحيزات المحتملة في بيانات التدريب.