'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
تكشف هذه الورقة أن النماذج اللغوية الكبيرة تظهر عدم اتساق ملحوظ في السلامة ومعدلات "فشل في الرصد باللغة الأردية" عند اكتشاف خطاب الكراهية بالأردية عبر مختلف النصوص، مما يسلط الضوء على فجوة حرجة في موثوقية الإشراف على المحتوى ناتجة عن الغياب التام للغة الأردية في وقائع أبحاث سلامة الذكاء الاصطناي في تسع سنوات من الأبحىث الرئيسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن الإنترنت سوق شاسعة وصاخبة، حيث يشارك مليارات الأشخاص أفكارهم ونكاتهم وتظلماتهم في كل ثانية. وللحفاظ على أمان هذا الفضاء، تعتمد شركات التكنولوجيا على أنظمة آلية تعمل كحراس رقميين، تقوم بمسح المنشورات لتحديد خطاب الكراهية والتهديدات قبل أن تتسبب في ضرر على أرض الواقع. وقد تم تدريب هذه الأنظمة على كميات هائلة من النصوص، لتعلم كيفية التعرف على أنماط الإساءة في اللغات التي تتقنها بشكل جيد. ومع ذلك، فإن العالم يتحدث لغات عديدة، وقدرة هؤلاء الحراس الرقميين على فهمها ليست متساوية. فبعض اللغات، مثل الإنجليزية، ممثلة جيداً في البيانات التي تتعلم منها هذه الأنظمة، بينما غالباً ما يتم تجاهل لغات أخرى. وعندما يفشل نظام ما في التعرف على خطاب الكراهية في لغة معينة، فإن ذلك يخلق نقطة عمياء حيث يمكن للضرر أن ينتشر دون رادع، حتى وإن نجح النظام نفسه في حظر نفس هذا الضرر إذا كُتب بلغة أخرى. وهذه الفجوة ليست مجرد خلل تقني؛ بل هي فشل في السلامة يترك ملايين المتحدثين عرضة للخطر.
لقد سلطت دراسة حديثة أجراها باحثون من جامعة برونيل لندن ومعهد هاسو بلاتنر في ألمانيا الضوء على واحدة من أبرဆုံး هذه النقاط العمياء: وهي اللغة الأردية. تعد الأردية عاشرة أكثر اللغات تحدثاً في العالم، مع 246 مليون متحدث في باكستان والهند، ومجتمعات كبيرة في المملكة المتحدة والولايات المتحدة. وعلى الرغم من حجمها وحجم الإساءة عبر الإنترنت الموثقة في المجتمعات الناطقة بالأردية، وجد الباحثون أن مجال أبحاث السلامة عبر الإنترنت قد تجاهلها تماماً تقريباً. وفي مراجعة شاملة لتسع سنوات من المؤتمرات الأكاديمية الكبرى المخصدة للإساءة عبر الإنترنت، اكتشف الفريق أنه لم تكن هناك ورقة بحثية واحدة مخصصة للأردية. وهذا الغياب أمر لافت للنظر، خاصة وأن ورشة عمل رئيسية في عام 2022 قد دعت صراحة إلى مزيد من العمل على هذه اللغة. وقد سعى الباحثون لمعرفة ما إذا كان هذا النقص في الاهتمام له عواقب ملموسة على أدوات السلامة المستخدمة حالياً.
ولاختبار ذلك، فحص الفريق خمسة من أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة اليوم. فقد غذوا هذه النماذج بمجموعة كبيرة من النصوص التي تحتوي على خطاب كراهية وتهديدات ومحادثات عادية، لكنهم قدموا المحتوى بطرق مختلفة. كان بعض النص بالخط الأردي الأصلي، المعروف باسم "نستعليق"، والذي يتدفق من اليمين إلى اليسار. والنص الآخر كُتب بالأردية الرومانية (Roman Urdu)، حيث تُكتب الكلمات الأردية باستخدام الحروف الإنجليزية، وهو ممارسة شائعة على وسائل التواصل الاجتماعي. كما قدم البصول ترجمات إنجليزية لنفس الرسائل. ومن خلال مقارنة كيفية تفاعل النماذج مع نفس الرسالة في هذه التنسيقات المختلفة، استطاعوا معرفة ما إذا كانت أنظمة السلامة تفهم المحتوى حقاً أم أنها تكتفي بمجرد التفاعل مع شكل الحروف.
وكشفت النتائج عن عدم اتساق مقلق. فعندما قرأت النماذج المحتوى الضار باللغة الإنجليزية، حددت بوضوح أنه مسيء. ومع ذلك، عندما قُدمت الرسالة نفسها بالخط الأردي الأصلي، غالباً ما فشلت النماذج في تصنيفها كخطر. وفي المتوسط، عبر مختلف النماذج التي تم اختبارها، تم تصنيف حوالي 18 بالمئة من الرسائل الضارة بشكل مختلف اعتماداً على ما إذا كانت بالأردية أو الإنجليزية. وبعبارة أبسط، إذا نشر شخص ما تهديداً بالأردية، فقد يسمح النظام بمروره كمنشور عادي، ولكن إذا تُرجم ذلك التهديد نفسه إلى الإنجليزية، فسيقوم النظام بحظره فوراً. وقد تراوح معدل "الخطأ في الأردية" هذا، حيث يتسلل المحتوى الضار عبر الثغرات فقط بسبب الخط الذي كُتب به، بين 2 بالمئة ونحو 10 بالمئة تقريباً اعتماداً على النموذج المحدد المستخدم.
كما سلطت الدراسة الضوء على أن ليست كل نماذج الذكاء الاصطناعي معرضة لهذه المشكلة بنفس القدر. فالنماذج الأكثر تقدماً وضخامة، والتي تُسمى غالباً "النماذج الرائدة" (frontier models)، أظهرت اتساقاً أفضل، مع عدد أقل من الأخطاء. ومع ذلك، أظهرت النماذج الأصغر والمفتوحة المصدر معدلات فشل أعلى بكثير، حيث أغفلت ما يقرب من ثلث المحتوى الضار عندما كان بالأردية. وهذا يشير إلى أن ميزات السلامة في هذه الأنظمة ليست موحدة؛ فهي موزعة بشكل غير متكافئ، مما يوفر حماية أقوى للمتحدثين ببعض اللغات بينما يترك آخرين معرضين للخطر. كما لاحظ الباحثون وجود فجوة هيكلية في البيانات المتاحة: لا توجد مجموعة بيانات مخصصة لخطاب الكراهية تمزج بين الأردية والإنجليزية، وهو أسلوب شائع للتواصل عبر الإنترنت. وبدون هذا النوع المحدد من البيانات، من المستحيل اختبار مدى قدرة هذه الأنظمة على التعامل مع الواقع المعقد والمتعدد اللغات لوسائل التواصل الاجتماعي الحديثة.
وفي الختام، يوضح هذا العمل أن أدوات السلامة الحالية توفر درعاً غير متكافئ. فالنظام الذي يمكنه اكتشاف خطاب الكراهية في الإنجليزية بشكل موثوق ولكنه يفشل في التعرف على نفس الخطاب في الأردية، ليس آمناً حقاً لملايين الأشخاص الذين يتحدثون تلك اللغة. وتؤكد النتائج أن غياب الأردية عن أبحاث السلامة ليس مجرد سهو أكاديمي؛ بل له عواقب حقيقية وملموسة على الإشراف على المحتوى. وإلى أن يتم ملء هذه الفجوات ببيانات أفضل واختبارات أكثر صرامة عبر مختلف الخطوط، سيظل جزء كبير من سكان العالم عبر الإنترنت عرضة للضرر الذي لا تستطيع الأنظمة المصممة لحمايتهم رؤيته ببساطة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.