Hate Speech Classification In Roman Urdu: A Comparative Study On Parameter Efficient Fine-Tuning And Prompt Engineering

لقد أصبح الإنترنت ساحة عامة عالمية شاسعة حيث يشارك الناس من كل الثقافات أفكارهم، لكن هذا الفضاء المفتوح يسمح أيضاً للكلمات الضارة بالانتشار بسرعة مثيرة للقلق. إن اكتشاف هذه الرسائل الضارة، المعروفة باسم خطاب الكراهية، مهمة صعبة على أجهزة الكمبيوتر لأنها تتطلب فهم ليس فقط الكلمات نفسها، بل أيضاً القصد والسياق الكامن وراءها. وهذا ينطبق بشكل خاص على اللغات التي لا تتبع قواعد صارمة أو لا تمتلك مكتبات ضخمة من الأمثلة المكتوبة مسبقاً ليتعلم منها الكمبيوتر. وتعد "الأوردو الرومانية" (Roman Urdu)، وهي طريقة لكتابة اللغة الأردية باستخدام الأبجدية اللاتينية، مثالاً بارزاً على مثل هذه اللغات. فهي لغة يتحدث بها الملايين في باكستان وبين المتحدثين بالأردية حول العالم، ومع ذلك فهي غالباً ما تكون غير رسمية، مع وجود إملاء وقواعد غير متسقة تتغير بناءً على الشخص الذي يكتب. ولأن برامج الكمبيوتر القياسية تعاني من هذا النقص في الهيكلية، يبحث الباحثون عن طرق جديدة وأخف وزناً لتعليم الآلات كيفية رصد خطاب الكراهية في هذه النصوص الواقعية الفوضوية دون الحاجة إلى كميات هائلة من البيانات أو أجهزة كمبيوتر خارقة ومكلفة.

لقد تصدت باحثة تدعى تونيما زبير لهذا التحدي من خلال اختبار ثلاث طرق مختلفة لمعرفة أي منها يمكن أن يعلم الكمبيوتر بشكل أفضل التمييز بين التعليق غير الضار والتعليق الحاقد في الأوردو الرومانية. ركزت الدراسة على مجموعة بيانات محددة تحتوي على أكثر من 72,000 تعليق تم جمعها من وسائل التواصل الاجتماعي، حيث كانت الغالبية العظمى منها غير ضارة، لكن جزءاً أصغر منها احتوى على لغة سامة. الطريقة الأولى التي تم اختبارها كانت ببساطة سؤال نموذج كمبيوتر ضخم مدرب مسبقاً لتخمين الإجابة دون أي تدريب إضافي، وهي تقنية تُعرف باسم "التلقين صفري المحاولات" (zero-shot prompting). وتضمنت الطريقة الثانية إعطاء النموذج بعض الأمثلة لما يجب البحث عنه قبل مطالبته بالتخمين، وهو ما يسمى "التلقين قليل المحاولات" (few-shot prompting). أما الطريقة الثالثة فكانت نهجاً أكثر تقنية يُعرف باسم "الضبط الدقيق كفء المعلمات" (parameter-efficient fine-tuning)، حيث قام الباحثون بإجراء تعديلات صغيرة ومستهدفة على الإعدادات الداخلية للنموذج لمساعدته على تعلم الأنماط المحددة لخطاب الكراهية في الأوردو الرومانية، بدلاً من محاولة إعادة تدريب النموذج بأكمله من الصفر.

أظهرت النتائج أن مجرد طلب التخمين من الكمبيوتر دون أي مساعدة كان غير موثوق به في كثير من الأحيان. فعندما تُرِكَت النماذج لتعمل من تلقاء نفسها، كانت تخطئ كثيراً في تصنيف التعليقات غير الضارة على أنها سامة أو تغفل عن خطاب الكراهية الفعلي، ويرجع ذلك أساساً إلى كون اللغة غير رسمية للغاية وأن مجموعة البيانات كانت منحازة بشدة نحو التعليقات غير السامة. ومع ذلك، عندما قدم الباحثون للنماذج مجرد حفنة من الأمثلة لتوجيهها، تحسن الأداء بشكل ملحوظ. والطريقة التي حققت النتائج الأكثر اتساقاً وموثوقية، على الرغم من ذلك، كانت تلك التي أجرت تعديلات دقيقة وصغيرة على النموذج. فمن خلال الضبط الدقيق للنموذج باستخدام هذه التحديثات خفيفة الوزن، تعلم الكمبيوتر التعرف على الفروق الدقيقة في الأوردو الرومانية بشكل أفضل بك jauh مما فعله بمجرد الأمثلة أو بدون مساعدة على الإطلاق. وقد سمح هذا النهج للنموذج بتحقيق مستوى عالٍ من الدقة، حيث حدد التعليقات السامة وغير السامة بشكل صحيح بتوازن لم تستطع الطرق الأخرى مضاهاته.

كما استكشفت الدراسة طرقاً مختلفة لصياغة الأسئلة المطروحة على الكمبيوتر، مثل استخدام هياكل جمل محددة أو إضافة رموز (tokens) غير مرئية وقابلة للتعلم إلى النصوص (prompts). وبينما أظهرت هذه الاختلافات وعوداً وأدت أحياناً إلى أداء جيد مع كميات صغيرة من البيانات، إلا أنها لم تتفوق باستمرار على الطريقة التي عدلت الإعدادات الداخلية للنموذج. ويشير البحث إلى أنه بينما يعد طلب التخمين من نموذج كمبيوتر قوي بناءً على بضعة أمثلة خياراً سريعاً وصديقاً للموارد، إلا أنه قد يكون غير متوقع. وفي المقابل، فإن إجراء تغييرات صغيرة وفعالة في النموذج نفسه يوفر حلاً أكثر استقراراً وقوة للكشف عن خطاب الكراهية في اللغات ذات الموارد المنخفضة مثل الأوردو الرومانية. وتعد هذه النتيجة مهمة لأنها تقدم مساراً عملياً للإشراف على المحتوى عبر الإنترنت في المناطق التي تندر فيها البيانات وتكون فيها قدرة الحوسبة محدودة، مما يضمن إمكانية تحديد الخطاب الضار دون الحاجة إلى جلسات تدريب ضخمة ومستهلكة للطاقة.