An Evaluation of Chat Safety Moderations in Roblox
تقيم هذه الدراسة نظام الإشراف الآلي على الدردشة في روبلوكس (Roblox) من خلال تحليل مجموعة بيانات تضم مليوني رسالة، مما يكشف أن النظام الحالي يفشل في حظر مجموعة واسعة من المحتويات الضارة بفعالية — بما في ذلك الاستدراج، والمضايقة، والعنف — وأن المستخدمين يستخدمون بنشاط تقنيات متنوعة للتهرب من الكشف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل Roblox كأنه ملعب رقمي ضخم وصاخب، حيث يتجمع ملايين الأطفال يومياً. إنه يشبه مركز تسوق افتراضي عملاق يحتوي على آلاف غرف الألعاب المختلفة. وبينما هو مكان للمرح، فإن الورقة البحثية التي تسأل عنها تشبه تدقيقاً أمنياً لـ "قواعد السلوك" في هذا الملعب.
أراد الباحثون معرف معرفة: هل يقوم حارس الأمن (نظام مراقبة الدردشة) بوظيفته حقاً؟
إليك تفصيل نتائجهم، مشروحة ببساطة:
1. المهمة: الإمساك بـ "الأشرار"
عرف الباحثون أن Roblox لديه نظام يحظر تلقائياً الكلمات البذيئة والرسائل الخطيرة. لكنهم اشتبهوا في أن بعض "الأشرار" (الأشخاص الذين يحاولون التنمر، أو المضايقة، أو استدراج الأطفال) يتسللون من خلف الحارس.
ولمعرفة ذلك، لم يستطيعوا مجرد طلب قائمة بالرسائل السيئة من Roblox (لأن Roblox لا يشارك هذه البيانات). بدلاً من ذلك، تصرفوا مثل المراسلين المتخفين. قاموا بتثبيت كاميرات لتسجيل شاشة اللعبة لأسابب، حيث سجلوا أكثر من مليونَي رسالة دردشة من أربع ألعاب شهيرة. ثم استخدموا برامج خاصة (مثل ماسح ضوئي عالي التقنية) لتحويل تلك التسجيلات المرئية إلى نصوص حتى يتمكنوا من قراءتها.
2. المشكلة: الحارس نائم أثناء العمل
بمجرد حصولهم على النص، وجدوا واقعاً مقلقاً. الحارس جيد في الإمساك بالأشياء الواضحة، مثل شخص يصرخ بكلمة نابية بأحرف كبيرة. لكن الحارس سيء جداً في الإمساك بـ الأخطار بطيئة الاشتعال.
فكر في الأمر كأنه حارس أمن عند ملهى ليلي يمنع الأشخاص الذين يرتدون قمصاناً حمراء، لكنه يسمح بدخول أشخاص يرتدون قميصاً أحمر تحت سترة زرقاء، أو شخص يهمس بتهديد بدلاً من الصراخ به.
وجد الباحثون أن النظام أغفل كميات هائلة من المحتوى الضار، بما في ذلك:
- الاستدراج (Grooming): المفترسون الذين يبنون الثقة ببطء مع الأطفال لجعلهم يلتقون في الواقع أو يشاركون صوراً خاصة.
- التنمر والكراهية: الشتائم العنصرية والإهانات المسيئة.
- المحتوى الجنسي: المحادثات الصريحة وتقمص الأدوار الجنسي.
- إيذاء النفس: أطفال يتحدثون عن رغبتهم في إيذاء أنفسهم.
- تسريب المعلومات الشخصية (PII): أطفال يشاركون عناوينهم الحقيقية أو أرقام هواتفهم دون قصد.
التشبيه: الحارس يوقفك إذا حاولت الدخول بسيف، لكنه يسمح لك بالدخول إذا أخفيت السيف داخل صندوق بيتزا ثم أخرجته بمجرد دخولك المبنى.
3. لعبة "القط والفأر": كيف يتهرب الأطفال (والأشرار) من الحارس
نظر الباحثون أيضاً فيما يحدث عندما يقوم الحارس بحظر رسالة ما. وجدوا أن الأشخاص الذين يرسلون الرسائل السيئة لا يستسلمون فحسب؛ بل يصبحون مبدعين. إنهم يعاملون نظام المراقبة كأنه "زعيم في لعبة فيديو" (Boss) يجب عليهم هزيمته.
إنهم يستخدمون حِيلاً ذكية لخداع الكمبيوتر:
- خدعة "الجملة المجزأة": إذا حظر الحارس كلمة "die" (يموت)، يكتب المستخدم "...I just want to" (أنا فقط أريد أن...) في رسالة واحدة، ثم يكتب "die" في الرسالة التالية. يرى الحارس رسالتين آمنتين، لكن القارئ يرى الجملة المرعبة كاملة.
- خدعة "الكلمة الرمزية": بدلاً من كتابة "bitch"، يكتبون "b" أو "btc". تبدو كأنها كلام غير مفهوم للكمبيوتر، لكن اللاعبين الآخرين يعرفون تماماً معناها.
- خدعة "لغة الليت" (Leet Speak): يستبدلون الحروف بأرقام أو رموز، مثل كتابة "h4ck3r" بدلاً من "hacker".
- خدعة "الاختبار": يقومون باختبار الأجواء. يسألون: "هل لديك [كلمة محظورة]؟" وعندما يتم حظرها، يجربون: "هل لديك تطبيق يبدأ بحرف 'D' وينتهي بـ 'rd'؟" إنهم حرفياً يختبرون نقاط ضعف الحارس ليروا ما يمكنهم الإفلات به.
4. الخلاصة الكبرى
تخلص الورقة إلى أن النظام الحالي هو نظام رد فعل، وليس نظام استباقي. فهو ينتظر ظهور كلمة سيئة محددة، لكنه لا يفهم القصة أو النية وراء المحادثة.
- الحارس يرى: "مرحباً" (آمن) + "كم عمرك؟" (آمن) + "أين تسكن؟" (آمن).
- الواقع: هذا شخص مفترس يحاول معرفة عنوان طفل.
يقترح الباحثون أنه لإصلاح ذلك، يجب على النظام التوقف عن النظر إلى الرسائل واحدة تلو الأخرى (مثل فحص الطوب بشكل فردي) والبدء في النظر إلى المحادثة بأكملها (مثل النظر إلى الجدار بأكمله). كما يقترحون أنه إذا حاول مستخدم تكرار كسر القواعد، فيجب على النظام وضع علامة تحذير على ذلك الشخص تحديداً، بدلاً من مجرد حظر كلماته الفردية مراراً وتكراراً.
باختصار: الملعب الرقمي لديه حارس أمن، لكن الأشرار أذكياء جداً، والحارس يركز على الأشياء الخاطئة تماماً. وهذا يترك الأطفال عرضة للمفترسين الذين يعرفون تماماً كيف يتسللون عبر الشقوق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.