Evaluation of Adversarial Robustness in Arabic Language Models
تقيم هذه الدراسة المتانة التنافسية لخمسة نماذج لغوية عربية متطورة ضد الهجمات على مستوى الحروف والكلمات والجمل، مما يكشف عن ثغرات كبيرة تجاه التشكيل والتلاعب بأدوات الربط وإعادة الصياغة، مع إظهار أن التدريب التنافسي يقدم دفاعاً جزئياً ولكنه غير مكتمل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة صاخبة حيث تعلمت الحواسيب القراءة والكتابة وفهم لغة البشر بشكل أفضل من أي وقت مضى. هذه "النماذج اللغوية" تشبه أمناء مكتبات فائقي الذكاء، يمكنهم تلخيص الكتب، والإجابة على الأسئلة، وحتى كتابة القصص. ولكن، تماماً مثل أي شخص ذكي، يمكن خداعهم. في عالم علوم الحاسوب، هناك مجال يسمى "الهجمات العدائية" (adversarial attacks)، وهو في الأساس فن ممارسة نوع محدد جداً من المقالب على هذه الحواسيب. تخيل أنك تهمس بشفرة سرية في أذن أمين مكتبة تبدو طبيعية تماماً للأذن البشرية، لكنها تجعل الحاسوب يعتقد أن كتاباً عن "الخبز" هو في الواقع كتاب عن "التفجير". هذا ليس مجرد لعبة سخيفة؛ بل هو اختبار أمني جاد. فإذا تمكنا من خداع هذه النماذج، فهذا يعني أنها قد ترتكب أخطاء خطيرة في الحياة الواقعية، مثل تشخيص مريض بشكل خاطئ أو نشر أخبار كاذبة. لذا، يحتاج العلماء إلى معرفة كيفية جعل هؤلاء الأمناء الرقميين "أكثر صلابة" حتى لا يتم خداعهم بمثل هذه الحيل.
هذا بالضبط ما تسعى إليه ورقة البحث المعنونة بـ "تقييم المتانة العدائية في نماذج اللغة العربية". فقد قرر الباحثون لعب دور "المشاكس" ليروا مدى قدرة خمسة من أذكى العقول الحاسوبية الناطقة بالعربية على التعامل مع التعرض للخداع. لم يلقوا بكلمات عشوائية غير مفهومة فحسب، بل استخدموا ست استراتيجيات مختلفة وذكية للعبث بفهم النماذج للغة العربية، تتراوح بين تعديلات طفيفة وتغييرات شاملة للجمل.
فكر في اللغة العربية كلغة تمتلك طبقة سرية من "سحر الحركات" تسمى "التشكيل". هذه علامات صغيرة توضع فوق أو تحت الحروف وتغير المعنى تماماً. اختبر الباحثون ما يحدث إذا تسللت هذه العلامات السحرية إلى الكلمات. كانت النتيجة صادمة: بالنسبة لأحد النماذج، تسبب إضافة هذه العلامات الصغيرة في انهيار دقته بنسبة هائلة بلغت 92%. الأمر يشبه أن ينسى أمين المكتبة فجأة كيفية القراءة لمجرد أن شخصاً ما أضاف نقطة صغيرة إلى حرف، رغم أن الجملة لا تزال تبدو مثالية للإنسان. تضمنت حيلة أخرى استبدال الحروف التي تبدو متطابقة تقرياً، مثل استبدال حرف "b" بحرف "p" في الإنجليزية، ولكن في العربية، حيث تختلف بعض الحروف فقط باختلاف نقطة واحدة. عندما فعلوا ذلك، أصيب النموذج المسمى (AraBERT) بالارتباك الشديد وانخفضت دقته إلى 0%، مما يعني فشله تماماً.
حاول الباحثون أيضاً العبث بـ "روابط" اللغة: حروف العطف (كلمات مثل "و"، "لكن"، "أو"). قاموا باستبدال هذه الكلمات بمرادفات تعني الشيء نفسه ولكنها تغير تدفق الجملة. كانت هذه الحيلة فعالة بشكل مفاجئ، حيث تسببت في فقدان بعض النماذج لما يصل إلى 58% من دقتها. ومع ذلك، كانت حيلة "إعادة الصياغة" هي الأقوى على الإطلاق؛ حيث أعادوا كتابة جمل كاملة لتقول الشيء نفسه تماماً ولكن بكلمات وبنية مختلفة تماماً. كان هذا هو الاختبار النهائي، وقد نجحت الحيلة ببراعة، حيث قللت أداء النماذج بمتوسط 76%. الأمر كما لو أنك تحكي قصة لصديق، لكنك غيرت كل كلمة وبنية جملة، ومع ذلك ظلت القصة كما هي. الحاسوب، ويا للدهشة، لم يعد يتعرف على القصة بعد الآن.
اختبرت الورقة أيضاً استراتيجية "دفاع" تسمى "التدريب العدائي". هذا يشبه تعليم أمين المكتبة توقع المقالب. لقد قاموا بتدريب النماذج عبر عرض هذه الأمثلة الماكرة عليها مراراً وتكراراً. هل نجح الأمر؟ نعم، ولكن بحدود. أصبحت النماذج أكثر صلابة ضد حيل استبدال الكلمات وإعادة صياغة الجمل. على سبيل المثال، أصبح أحد النماذج، وهو (MARBERT)، صامداً للغاية، حيث فقد 1.5% فقط من دقته أمام حيل حروف العطف بعد التدريب. ومع ذلك، لا تزال النماذج تعاني مع المقالب الصغيرة على مستوى الحروف (مثل التشكيل والتبديل البصري للحروف). فحتى بعد التدريب، انخفضت دقة بعض النماذج إلى 22% ضد التشكيل.
باختصار، تشير الدراسة إلى أنه بينما يمكننا جعل نماذج اللغة العربية أكثر صلابة، إلا أنها لا تزال هشة بشكل مفاجئ عند مواجهة أنواع معينة من الحيل، خاصة تلك التي تتضمن تغييرات طفيفة في الحروف أو إعادة صياغة معقدة للجمل. وجد الباحثون أنه لا يوجد نموذج واحد مثالي؛ فبعضها أفضل في التعامل مع اللهجات، بينما البعض الآخر أفضل في كشف التغييرات الدقيقة. وتخلص الورقة إلى أنه بينما حققنا تقدماً، لا يزال هناك طريق طويل قبل أن تصبح هذه العقول الرقمية غير قابلة للكسر حقاً، خاصة في لغة غنية ومعقدة مثل العربية. لم يحلوا المشكلة، لكنهم قدموا لنا خريطة واضحة جداً لأماكن وجود الشقوق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.