Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation
تقدم هذه الورقة أول تحليل واسع النطاق لأربع مجموعات بيانات للكشف عن اللغة الضارة لإثبات أن التفاعلات بين خصائص المقيّمين والخصائص اللغوية تُعد حاسمة لفهم تباين التوسيم، مع الكشف في الوقت ذاته عن أن أنماط التأثير تختلف بشكل كبير عبر مجموعات البيانات، مما يستوجب الحذر من التعميمات الواسعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تستضيف حفلة عشاء ضخمة حيث يتم تقييم 25,000 ضيف (العناصر النصية) من قبل أكثر من 8,000 ناقد طعام مختلف (المقيمون). الهدف هو تحديد أي الأطباق "سامة" أو "مسيئة".
في الماضي، حاول الباحثون حل هذه المشكلة عبر سؤال: "ما هو متوسط الدرجة؟" وإنشاء تسمية واحدة "معيار ذهبي" لكل طبق. لكن هذا البحث يجادل بأن هذا النهج يغفل الجوهر. الأمر يشبه سؤال: "هل هذا الحساء مالح للغاية؟" مع تجاهل حقيقة أن أحد النقاد يحب الملح، وآخر يتبع نظامًا غذائيًا قليل الصوديوم، وثالث مرّ بيوم سيء فحسب.
يتساءل مؤلفو هذا البحث سؤالاً مختلفاً: "من يعتقد ماذا، ولماذا؟" إنهم يريدون فهم الرقصة المعقدة بين الشخص الذي يقوم بالتقييم والشيء الذي يتم تقييمه.
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. الإعداد: فحص متبادل لوجهات النظر
نظر الباحثون في أربع مجموعات بيانات ضخمة من التعليقات عبر الإنترنت (مثل Reddit أو Twitter) حيث قام الناس بتقييم مدى إساءة النص.
- "المَن": لم يكتفوا بالنظر إلى الإحصائيات الأساسية مثل العمر أو الجنس، بل نظروا إلى المواقف (على سبيل المثال: "هل تعتقد أن خطاب الكراهية مشكلة؟") والمعتقدات الأخلاقية.
- "الماذا": قاموا بتحليل النص نفسه، من خلال النظر في كل شيء بدءاً من عدد الكلمات النابية وصولاً إلى تعقيد الجمل ووجود مواضيع محددة (مثل السياسة أو الدين).
- التحول المفاجئ: لم ينظروا إلى هذه العوامل بشكل منفصل فحسب، بل نظروا إلى كيفية تفاعلها. الأمر ليس مجرد "كبار السن يكرهون هذا" أو "هذا النص سيء"، بل هو "كبار السن يكرهون هذا النوع المحدد من النصوص، بينما لا يكرهه الشباب".
2. الاكتشاف الرئيسي: الأمر يتعلق بالمزيج، وليس فقط بالمكونات
الخلاصة الأكبر هي أنه لا يمكنك التنبؤ بكيفية رد فعل شخص ما تجاه نص ما بمجرد معرفة من هو، ولا يمكنك التنبؤ بكيفية استقبال نص ما بمجرد قراءته. رد الفعل يحدث في التصادم بين الاثنين.
تشبيه "العمر مقابل كلمات الكراهية":
في إحدى مجموعات البيانات، وجد الباحثون أنه بالنسبة للمقيمين الأصغر سناً، فإن وجود كلمات كراهية لم يغير تقييمهم كثيراً. ولكن بالنسبة للمقيمين الأكبر سناً، فإن وجود تلك الكلمات نفسها أحدث فرقاً هائلاً. إنه يشبه مفتاح التحكم في الصوت: بالنسبة لبعض الناس، يتم رفع مستوى "الإساءة" في النص عالياً فقط عندما يكونون أكبر سناً؛ أما بالنسبة لآخرين، فيبقى مستوى الصوت كما هو بغض النظر عن العمر.تشبيه "البوصلة الأخلاقية":
في مجموعة بيانات أخرى، وجدوا أن الأشخاص الذين يهتمون بعمق بـ "حماية المستضعفين" (قيمة أخلاقية) قيموا النصوص الطويلة والمعقدة بشكل مختلف عن أولئك الذين لا يهتمون بذلك. لم يكن الأمر يتعلق بطول النص فحسب؛ بل بكيفية تفاعل هذا الطول مع اهتمامهم الأخلاقي المحدد.
3. "الفخاخ الخفية" (الإشارات الزائفة)
وجد البحث بعض الأنماط الغريبة والعرضية التي قد تخدع الكمبيوتر.
- خلل "المقيم الهندوسي": في إحدى مجموعات البيانات، لاحظ الباحثون أن العناصر التي تحتوي على لغة عامية غريبة أو أخطاء إملائية (كلمات غير قياسية) تم تقييمها باستمرار على أنها "ليست كراهية" من قبل المقيمين الذين عرفوا أنفسهم كأتباع للديانة الهندوسية.
- الدرس المستفاد: لم يكن هذا لأن الهندوس لديهم حصانة خاصة ضد خطاب الكراهية، بل كان على الأرجما نتيجة مصادفة في كيفية جمع البيانات (ربما عُرضت تلك النصوص الغريبة تحديداً على هذه المجموعة). إذا تعلم الكمبيوتر هذا، فسيعتقد: "أوه، إذا كان به خطأ إملائي، فهو آمن!" وهو خطأ خطير.
4. مشكلة "الدفعة"
قام الباحثون أيضاً بمحاكاة ما يحدث إذا استبدلنا مجموعة المحكمين.
- النتيجة: حتى لو كان لديك نفس النص ونفس الإرشادات، إذا غيرت المجموعة المحددة من الأشخاص الذين يقومون بالتحكيم، فإن الأنماط "الرابحة" تتغير.
- التشبيه: تخيل أنك تطلب من المجموعة (أ) تقييم فيلم، فهم يحبون مشاهد الحركة. ثم تطلب من المجموعة (ب)، الذين يبدون مشابهين على الورق، تقييم نفس الفيلم، فقد يكرهون مشاهد الحركة ويحبون الحوار. لا يمكنك افتراض أن المجموعة (ب) ستتصرف تماماً مثل المجموعة (أ) لمجرد أن كلاهما "محبان للأفلام".
5. ماذا يعني هذا للمستقبل (وفقاً للورقة البحثية)
لا يدعي المؤلفون أن هذا سيحل مشكلة الإنترنت فوراً أو يعالج خطاب الكراهية. بدلاً من ذلك، يقدمون بعض التحذيرات العملية لأي شخص يبني أنظمة ذكاء اصطناعي:
- لا تسطّح البيانات: لا تقم بمجرد متوسط جميع الآراء في رقم واحد. فهذا يرمي بأكثر المعلومات إثارة للاهتمام. الخلاف هو الإشارة.
- كن حذراً من التعميمات: مجرد كون قاعدة ما تعمل لمجموعة من الناس على مجموعة من النصوص، لا يعني أنها تعمل للجميع. النموذج المدرب على مجموعة واحدة قد يفشل فشلاً ذريعاً مع مجموعة أخرى.
- اجمع بيانات أفضل: إذا كنت تريد فهم اللغة السامة، فأنت بحاجة لمعرفة من هو الشخص الذي يضع التسميات. تحتاج لمعرفة مواقفهم وخلفياتهم، وليس مجرد أعمارهم.
- راقب "الأنماط الشبحية": كن حذراً من أن يتعلم ذكاؤك الاصطناعي أنماطاً عرضية (مثل خلل "المقيم الهندوسي") بدلاً من القواعد الحقيقية حول اللغة.
الملخص
اعتبر هذه الورقة البحثية بمثابة خريطة تقول: "عالم الحكم البشري فوضوي، وتفاعلي، ومحدد للغاية." لا يمكنك مجرد بناء آلة تقول "هذا سيء". يجب عليك بناء آلة تفهم من يقول ذلك، وماذا يشاهد، وكيف يصطدم هذان الأمران ببعضهما البعض. إذا تجاهلت تفاعل "المَن" و"الماذا"، فستكون آلتك عمياء عن الأجزاء الأكثر أهمية في التواصل البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.