Quantifying and Predicting Disagreement in Graded Human Ratings

ملخص تقني: تكميم وتوقع التباين في التقييمات البشرية المتدرجة

بيان المشكلة
غالبًا ما يظهر المقيّمون البشريون تباينًا في مهام معالجة اللغات الطبيعية (NLP)، لا سيما في المجالات الحساسة اجتماعيًا مثل خطاب الكراهية، واللغة المسيئة، وكشف المحتوى السام. وبينما يُقر بأن التفاوت في التقييم أمر متأصل، إلا أن درجة هذا التباين ليست موحدة عبر جميع الحالات. فبعض العناصر تثير إجماعًا قويًا، بينما تثير عناصر أخرى تباينًا كبيرًا في الآراء أو مواقف متضاربة. غالبًا ما تتعامل الأدبيات الحالية مع التباين كمسألة تنبؤ فئوي (على سبيل المثال، التصنيف الثنائي لوجود التباين من عدمه) أو تركز على تسميات مهام محددة (مثل الاستلزام في مهام الاستلزام والاعتراض الطبيعي NLI). وهناك نقص في الأبحاث التي تبحث فيما إذا كان يمكن استنتاج درجة عدم اليقين في التقييم والهيكل الكامل لتوزيعات التقييم الدقيقة (تحديدًا تقييمات مقياس ليكرت) استنادًا فقط إلى السمات النصية على مستوى العنصر. علاوة على ذلك، فإن المقاييس القياسية لشكل التوزيع (مثل معاملات ثنائية المنوال) غالبًا ما تفشل عند تطبيقها على بيانات التقييم المتفرقة (على سبيل المثال، 3-5 مقيمين لكل عنصر).

المنهجية
يتقصى المؤلفون مدى إمكانية التنبؤ بتباين التقييم باستخدام ثلاثة مجموعات بيانات تم تقييمها باستخدام مقياس ليكرت: اللغة المسيئة (مقياس من 3 درجات)، خطاب الكراهية (مقياس من 3 درجات)، والسمية (مقياس من 5 درجات). تركز الدراسة على هدفين رئيسيين:

1. استنتاج تباين التقييم: تقدير التباين غير المنحاز لاستجابات المقيّمين لحالة معينة بناءً على سماتها النصية.
2. تحديد الآراء المتعارضة: اكتشاف الحالات التي يتبنى فيها المقيّمون مواقف متضاربة حقًا (الاستقطاب).

ولمعالجة هذين الهدفين، يقترح المؤلفون نهجين للتنبؤ:

• التنبؤ المباشر بالتباين: تدريب نموذج انحدار للتنبؤ بقيمة التباين ($\sigma^2$) مباشرة من سمات العنصر.
• التنبؤ القائم على التوزيع: تدريب نماذج للتنبؤ بتوزيع تقييم ليكرت الكامل ($p_i$) للعنصر، والذي تُشتق منه الإحصاءات والتباين.

تستخدم الدراسة عدة دالات خسارة مصممة لطبيعة البيانات الرتبية لمقياس ليكرت، متجاوزةً بذلك معيار "الإنتروبيا المتقاطعة الفئوية" التقليدي:

• مسافة الأرض (EMD): تأخذ في الاعتبار المسافة الرتبية بين فئات التقييم.
• مسافة الأرض مع تنظيم المتوسط (EMD with Mean Regularization): تجمع بين مسافة الأرض ومتوسط مربع الخطأ (MSE) لضبط النزعة المركزية.
• الإنتروبيا المتقاطعة التراكمية الرتبية: تحول المشكلة متعددة الفئات إلى قرارات ثنائية قدرها $K-1$.
• تباعد كولباك - ليبلر (KL Divergence): يُستخدم كخط أساس لتمثيل الملصقات الناعمة (soft-label) دون مراعاة صريحة للمسافة الرتبية.

لقياس المواقف المتعارضة، يقدم المؤلفون مؤشر المعارضة (Opposition Index). يقسم هذا المقياس توزيع التقييم إلى أجزاء منخفضة، ومتوسطة، وعالية ($P_{low}, P_{mid}, P_{high}$). ويُعرف المؤشر بأنه $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$. ويتراوح من 0 (إجماع/أحادي المنوال) إلى 1 (أقصى استقطاب، حيث يختار نصف المقيّمين أدنى تقييم والنصف الآخر يختار أعلى تقييم).

المساهمات الرئيسية

• مؤشر المعارضة: مقياس مبتكر مصمم لقياس تضاد وجهات النظر في حالات التقييم المتفرقة حيث تكون اختبارات ثنائية المنوال التقليدية غير مستقرة.
  ৰ النمذجة التوزيعية: إثبات أن التنبؤ بتوزيع ليكرت الكامل (باستخدام دالة خسارة تراعي الرتبة) يعد بديلًا ناجحًا لتراجع التباين المباشر، وغالبًا ما يستعيد هيكل تباين التقييم بشكل أكثر قوة.
• التحليل التجريبي للاستقطاب: تحقيق مفصل في إمكانية التنبؤ بالعناصر ذات المعارضة العالية، مما يكشف عن تحديات محددة في نمذجة الاستقطاب الشديد.

النتائج

• التنبؤ بالتباين: يوجد ارتباط إيجابي متوسط (معامل سبيرمان $r \approx 0.3$ إلى $0.45$) بين التباين المقدر والتباين الملحوظ عبر جميع مجموعات البيانات.
  • الأداء: يحقق كل من انحدار التباين المباشر والتنبؤ القائم على التوزيع (تحديدًا EMD+MSE) أداءً متماثلًا. ويتفوق نموذج EMD+MSE باستمرار على نماذج EMD و KL-soft القياسية.
  • القيود: تميل النماذج إلى التقليل من تقدير العناصر ذات التباين العالي، ونادرًا ما تتنبأ بقيم تباين تساوي 0 تمامًا، حيث تتركز التنبؤات غالبًا في نطاق متوسط.
• التنبؤ بالمواقف المتعارضة: تنجح النماذج في التمييز بين العناصر التي لا يوجد بها معارضة وتلك التي بها معارضة متوسطة. ومع ذلك، فإنها تواجه صعوبة في التعامل مع الاستقطاب الشديد.
  • التقليل من التقدير: العناصر ذات قيم مؤشر المعارضة الحقيقية العالية (التي تقترب من 1) غالبًا ما يتم التقليل من تقديرها من قبل النماذج، حيث تستقر القيم المتنبأ بها غالبًا عند مستوى متوسط (حوالي 0.4).
  • الأسباب: يُعزى هذا التقليل في التقدير إلى ندرة الأمثلة شديدة الاستقطاب في بيانات التدريب، وحساسية المؤشر لضجيج التقييم، وحقيقة أن المعارضة الشديدة قد تنبع من عوامل (مثل الأيديولوجيا أو الخبرة الشخصية) لا يمكن استنتاجها من النص وحده.
• اكتشاف التباين: تحقق النماذج أداءً قويًا (F1 > 0.6) في اكتشاف وجود أي تباين في التقييم، وإن كان الأداء يختلف قليلًا حسب مجموعة البيانات ودالة الخسارة.

الأهمية والادعاءات
يدعي البحث أن أنماط التقييم على مستوى العنصر، وتحديدًا التباين ومعارضة المواقف، يمكن استنتاجها جزئيًا من السمات النصية، وإن كان ذلك بارتباط متوسط. ويضع المؤلفون عملهم كخطوة نحو توصيف هياكل التباين في التقييم البشري.

تكمن الأهمية الأساسية في تحسين سير عمل التقييم العملي. فمن خلال تحديد العناصر التي من المرجح أن تثير تباينًا كبيرًا في الآراء، يمكن للباحثين تخصيص الموارد بكفاءة أكبر: تعيين المزيد من المقيّمين للحالات المثيرة للجدل أو المتباينة في وجهات النظر لالتقاط وجهات النظر الكامنة، مع تقليل الجهد في العناصر التي يوجد حولها إجماع قوي. كما تسلط الدراسة الضوء على حدود النماذج الحالية في التقاط الاستقطاب الشديد، مما يشير إلى أن السمات النصية وحدها قد لا تكون كافية للنمذجة الكاملة للحكم البشري في المجالات المعقدة اجتماعيًا. ويظل المؤلفون متواضعين في طرحهم، مشيرين إلى أن نماذج التضمين (embedding models) قد لا تلتقط جميع الإشارات اللغوية، وأن الطبيعة المنفصلة لبيانات ليكرت المتفرقة تحد من دقة التقديرات التوزيعية.