Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك حكم في مباراة رياضية ضخمة وفوضوية، حيث يوجه الجمهور تعليقات وصيحات للاعبين. مهمتك هي تحديد أي التعليقات "مسيئة" ويجب إسكاتها.
هذه الورقة البحثية تشبه "تقرير درجات" لنوعين من الحكام: الروبوتات (الخوارزميات الحاسوبية) والبشر (أشخاص حقيقيون لديهم آراء سياسية مختلفة). أراد الباحثون معرفة ما إذا كان هؤلاء الحكام يتفقون على ما يعتبر إهانة، خاصة عندما تتعلق اللعبة بالسياسة الأمريكية.
إليك تفصيل نتائجهم، باستخدام تشبيهات بسيطة:
1. حكام الروبوت لا يستطيعون الاتفاق على القواعد
اختبر الباحثون تسعة برامج كمبيوتر مختلفة ("المراقبين الآليين") على أكثر من 3 ملايين تعليق من قنوات إخبارية على يوتيوب.
- التشبيه: تخيل تسعة حكام يشاهدون نفس اللعبة. أحدهم يطلق صافرته لوجود خطأ، والآخر يقول "لا يوجد خطأ"، والثالث يقول: "حسنًا، إنه خطأ، ولكن فقط إذا كنت ترتدي حذاءً أزرق".
- النتيجة: اختلف الروبوتات بشكل صارخ. في بعض الأحيان، تم تصنيف تعليق على أنه مسيء من قبل روبوت واحد فقط وتجاهله الثمانية الآخرون. في الواقع، تجاهلت جميع الروبوتات ما يقرب من نصف التعليقات، بينما تم تصنيف جزء ضئيل جداً منها من قبل جميع الروبوتات. هذا يعني أنه لا يوجد "حقيقة روبوتية" واحدة حول ما هو مسيء.
2. حكام البشر لديهم كتيبات قواعد مختلفة
بعد ذلك، طلب الباحثون من بشر حقيقيين (ديمقراطيين، جمهوريين، ومستقلين) تقييم نفس التعليقات. وقد سألهم سؤالين:
- الإساءة الشخصية: "هل هذا التعليق يجرح مشاعرك؟"
- الإساءة بالنيابة: "هل تعتقد أن هذا التعليق قد يجرح مشاعر شخص من الفريق السياسي الآخر؟"
- التشبيه: الأمر يشبه سؤال مشجع من "الفريق أ": "هل هذه الإهانة تؤذيك؟" ثم سؤاله: "وهل تعتقد أن مشجعاً من 'الفريق ب' سيتأذى من هذا؟"
- النتيجة:
- البشر يتفقون مع بعضهم البعض أكثر مما يتفقون مع الروبوتات: فهم الديمقراطيون والجمهوريون والمستقلون بعضهم البعض بشكل عام أفضل مما فعلت الروبوتات.
- "فجوة التعاطف": ومع ذلك، كان البشر سيئين للغاية في تخمين ما قد يراه الطرف الآخر مسيئاً.
- النقطة العمياء للجمهوريين: وجدت الدراسة أن الجمهوريين كانوا الأسوأ في تخمين ما قد يجده الديمقراطيون أو المستقلون مسيئاً. وعلى العكس من ذلك، واجه الديمقراطيون والمستقلون أيضاً صعوبة في فهم ما قد يزعج الجمهوريين حقاً. إنه يشبه مجموعتين من الناس يصرخان في وجه بعضهما البعض، كل منهما مقتنع بأن الآخر يصرخ بالتردد الخاطئ، بينما في الواقع، كلاهما يصرخان بترددات مختلفة تماماً.
3. تجربة "الإساءة بالنيابة"
تقدم الورقة مفهوماً جديداً وهو "الإساءة بالنيابة" (Vicarious Offense).
- المفهوم: عادةً، نحن نهتم فقط بما إذا كنا نحن من نشعر بالإهانة. لكن هذه الدراسة سألت: "هل يمكنك وضع نفسك مكان شخص آخر والتنبؤ بما إذا كان سيشعر بالإهانة؟"
- النتيجة: وجد الباحثون أن الناس سيئون بشكل مفاجئ في هذا الأمر. حتى عندما اتفق الديمقراطيون والمستقلون على ما يعتقدون أنه سيغضب الجمهوريين، فقد كانوا مخطئين غالباً بشأن ما أزعج الجمهوريين بالفعل. لقد كانوا جميعاً ينظرون إلى نفس التعليق ولكنهم يرون أشياء مختلفة.
4. فخ "المواضيع الحساسة"
نظر الباحثون في قضاções ساخنة محددة مثل الإجهاض والتحكم في الأسلحة.
- التشبيه: إذا كانت اللعبة تدور حول رياضات عامة، فقد يتفق الحكام على القواعد. ولكن إذا كانت اللعبة حول موضوع ديني أو شخصي عميق، فتبدو القواعد وكأنها تتغير بناءاً على من يمسك بالصافرة.
- النتيجة: زاد الخلاف سوءاً في هذه المواضيع.
- في موضوع الأسلحة، كان الجمهوريون أقل تسامحاً مع التعليقات المسيئة من الديمقراطيين.
- في موضوع الإجهاض، كان الديمقراطيون أقل تسامحاً من الجمهوريين.
- المستقلون كانوا بشكل عام المجموعة الأكثر تسامحاً، حيث سمحوا بمرور المزيد من التعليقات مقارم بالطرفين المتطرفين.
5. معضلة "التكنولوجيا الكبرى" (Big Tech)
تسلط الورقة الضوء على واقع مربك لشركات التواصل الاجتماعي:
- الروبوتات: غير متسقة. في يوم ما قد يحذف الروبوت تعليقاً، وفي اليوم التالي، قد يترك روبوت آخر التعليق كما هو.
- البشر: منحازون لآرائهم السياسية. قد يحذف الديمقراطي تعليقاً يراه الجمهوري عادياً، والعكس صحيح.
- الاستنتاج: لا يوجد "معيار ذهبي" مثالي لما هو مسيء. اعتماداً على من تسأل (روبوت، أو ديمقراطي، أو جمهوري)، تتغير الإجابة تماماً.
الملخص
تخلص الورقة إلى أن مراقبة الخطاب عبر الإنترنت أمر صعب للغاية لأن الإهانة تكمن في عين الرائي.
- الروبوتات غير متسقة وغالباً ما تغفل عن التفاصيل الدقيقة.
- البشر منحازون لفرقهم السياسية وسيئون في تخمين ما يجد "الفريق الآخر" مؤلماً.
- النتيجة: نحن عالقون في موقف لا يمكننا فيه الاتفاق بسهولة على ما هو "مسيء"، مما يجعل من الصعب جداً بناء أنظمة عادلة لإدارة النقاشات السياسية عبر الإنترنت.
كما اختبر المؤلفون ذكاءً اصطناعياً متطوراً (ChatGPT) لمعرفة ما إذا كان بإمكانه التنبؤ بما سيجده الطرف الآخر مسيئاً، لكنه عانى تماماً مثل البشر، مما يثبت أن هذه مشكلة صعبة جداً لكل من العقول والحواسيب على حد سواء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.