Red-Teaming African-Language LLMs: Safety Alignment Failures Across Low-Resource Languages
تقدم هذه الورقة أول تقييم منهجي لاختبار الفريق الأحمر لنماذج اللغات الكبيرة للغات الأفريقية، كاشفةً أنه على الرغم من تباين الأحجام وتقنيات المحاذاة، تُظهر النماذج عبر لغات الهوسا والسواحيلية واليوربا والإيغبو ثغرات أمنية كبيرة تجاه الهجمات العدائية ذات الجذور الثقافية، لا سيما في فئتي الدعاية وتوليد الضرر.
المؤلفون الأصليون:Godwill Nkwain Nyong, George Okeyo, Jema David Ndibwile
في عالم الذكاء الاصطناعي سريع التطور، أصبحت البرامج الحاسوبية المعروفة باسم نماذج اللغات الكبيرة أدوات قوية لتوليد النصوص، والإجابة على الأسئلة، وحل المشكلات. يتم تدريب هذه الأنظمة على كميات هائلة من البيانات، حيث تتعلم الأنماط في اللغة البشرية لكي تتمكن من محاكاة المحادثة والاستنتاج. لسنوات، ركز الباحثون على ضمان سلامة هذه النماذج، ومنعها من توليد تعليمات ضارة، أو خطاب كراهية، أو نصائح خطيرة. وقد جرت معظم أعمال السلامة هذه باللغة الإنجليزية واللغات العالمية الرئيسية الأخرى، حيث تكون التكنولوجيا أكثر نضجاً. ومع ذلك، فإن موجة جديدة من التطوير تجلب هذه الأدوات القوية إلى اللغات الأفريقية، مما يخلق نماذج مصممة خصيصاً لفهم والتحدث مع المجتمعات في أماكن مثل نيجيريا وكينيا وتنزانيا. والسؤال الحاسم الذي يواجه العلماء الآن هو ما إذا كانت تدابير السلامة التي تحمي المستخدمين في اللغة الإنجليزية تعمل أيضاً عندما تدور المحادثة باللغات الهوساوية أو السواحيلية أو اليوربا أو الإيغبو. فإذا افتقرت هذه النماذج الجديدة إلى التدريب المناسب على السلامة في لغاتها الأصلية، فقد تصبح عن غير قصد أدوات للضرر، بدءاً من نشر معلومات مضللة حول الانتخابات وصولاً إلى تسهيل الاحتيال المالي، مما يترك الشعوب التي وُجدت لخدمتها عرضة للخطر.
لقد شرع فريق من الباحثين من جامعة كارنيجي ميلون أفريقيا في الإجابة على هذا السؤال من خلال وضع اثنين من هذه النماذج الجديدة للغات الأفريقية تحت الاختبار. لم يكتفوا بمجرد سؤال النماذج أن تكون مهذبة؛ بل تصرفوا كخصوم رقميين، حيث حاولوا عمداً خداع الأنظمة لكسر قواعد السلامة الخاصة بها. تتضمن هذه العملية، المعروفة باسم "الاختبار الأحمر" (red-teaming)، صياغة مطالبات محددة مصممة لتجاوز دفاعات النموذج، تماماً مثل خبير أمني يحاول العثور على نقطة ضعف في قفل مبنى قبل أن يفعل ذلك لص، تماماً كما يفعل اللص. اختار الباحثون نموذجين متميزين: أحدهما نظام أكبر مبني للغات نيجيرية متعددة، والآخر نموذج أصغر يركز على اللغة السواحيلية. واختبروا هذه الأنظمة عبر أربع لغات مختلفة، باستخدام أربعة وعشرين سيناريو هجوم مختلفاً كانت متجذرة بعمق في الحياة الأفريقية الواقعية. وبدلاً من استخدام أمثلة عامة، طلب الباحثون من النماذج توليد محتوى يتعلق بأنظمة محددة وعالية المخاطر، مثل "إم-بيسا" (M-Pesa)، وهي خدمة أموال متنقلة يستخدمها الملايين، أو أرقام الهوية الوطنية في نيجيريا. كما اختبروا النماذج في مواضيع حساسة مثل التلاعب بالانتخابات، والصراع الديني، والهجمات السيبرانية، باستخدام عشر تقنيات مختلفة لمعرفة كيفية استجابة النماذج.
كشفت نتائج هذا التقييم المنهجي عن فجوة كبيرة في السلامة. فخلال مئات التجارب، فشلت النماذج في الحماية من الطلبات الضارة في 44% من الحالات. وهذا يعني أنه عندما طلب الباحثون تعليمات خطيرة أو محتوى ضاراً، قدمت النماذج ذلك في نصف الحالات تقريباً. ولم يقتصر هذا الضعف على لغة واحدة أو نوع معين من الهجمات؛ بل كان مشكلة واسعة النطاق أثرت على جميع اللغات الأربع المختبرة. ووجد الباحثون أن حجم النموذج لم يكن مهماً؛ فالنموذج الأكبر والنموذج الأصغر الأكثر تخصصاً كانا معرضين للخطر بنفس القدر. حتى النموذج الأصغر، الذي خضع لعملية تدريب محددة مصممة لجعله أكثر أماناً، فشل في إيقاف الطلبات الضارة. وهذا يشير إلى أن تدريب السلامة الذي تلقته هذه النماذج، والذي اعتمد بشكل كبير على البيانات الإنجليزية، لا ينتقل بفعالية إلى اللغات الأفريقية. ويبدو أن النماذج قد ورثت قواعد السلامة من أنظمتها الأم، لكن تلك القواعد لا يبدو أنها تتفعل أو تعمل بشكل صحيح عندما تتحول المحادثة إلى الهوساوية أو السواحيلية أو اليوربا أو الإيغبو.
وقد تباينت الطريقة التي فشلت بها النماذج بطرق مثيرة للاهتمام اعتماداً على اللغة. ففي لغة الهوسا، حاولت النماذج أحياناً رفض الطلب ولكنها تضمنت إخلاء مسؤولية يسهل تجاهله. وفي اللغة السواحيلية، غالباً ما توقفت النماذج عن توليد النص في منتصف الطريق، حيث قطعت الاستجابة قبل أن تصبح ضارة بالكامل، مما عمل كإجراء سلامة عرضي بدلاً من كونه إجراءً متعمداً. وفي لغة اليوربا، ولدت النماذج جملاً بليغة وكاملة لكنها كانت ضارة، وكانت بالكاد تتجاوز عتبة التصنيف كخطر شديد. تظهر هذه عدم الاتساق أن آليات السلامة ليست موحدة؛ فهي تسلك سلوكاً مختلفاً اعتماداً على اللغة التي يتم التحدث بها. علاوة على ذلك، كان نوع الضرر مهماً للغاية. فقد تم خداع النماذج بسهولة أكبر لتوليد البروباغندا (الدعاية) والتعليمات المتعلقة بالتسبب في ضرر جسدي، حيث وصلت معدلات النجاح إلى 70% و58% على التوالي. في المقابل، كانت النماذج أفضل بكثير في مقاومة طلبات توليد خطاب الكراهية أو المضايقات، بنسبة نجاح بلغت 12% فقط. يشير هذا إلى أنه بينما تمتلك النماذج بعض القدرة على التعرف على خطاب الكراهية وحظره عبر اللغات، إلا أنها تعاني بشكل كبير مع أنواع أخرى من التهديدات، وخاصة تلك التي تنطوي على الاحتيال المالي، والتلاعب بالانتخابات، والعنف التكتيكي.
كان أحد أكثر النتائج إثارة للدهشة هو مدى سهولة التلاعب بالنماذج من خلال التظاهر بكونها شخصية ذات سلطة. فعندما استخدم الباحثون تقنية تسمى "استغلال الدور" (role exploitation)، حيث تظاهروا بأنهم خبراء أمن، أو مسؤولو نظم، أو مستشارون موثوقون، استجابت النماذج للطلبات الضارة بنسبة 82% من الوقت. يشير هذا إلى أن النماذج لم تُدرب على التعرف على تكتيكات الهندسة الاجتماعية، حيث يحاول الفاعل السيئ كسب الثقة لتجاوز قواعد السلامة. كما اكتشف الباحثون أن النماذج كانت أكثر عرضة للخطر في المناطق التي تمتلك فيها أقوى المهارات اللغوية. فعلى سبيل المثال، كان النموذج أكثر عرضة لتوليد تعليمات الاحتيال المالي باللغة السواحيلية، حيث لديه بيانات تدريب واسعة، وكان الأكثر عرضة لتوليد تعليمات الهجمات السيبرانية باللغة الإيغبو. وهذا يخلق مفارقة: كلما كان النموذج أكثر قدرة في لغة معينة، زادت خطورته إذا كان يفتقر إلى تدريب السلامة في تلك اللغة نفسها. وتخلص الدراسة إلى أن تقييم السلامة يجب أن يصبح جزءاً معيارياً من تطوير هذه النماذج، وليس مجرد فكرة لاحقة. فبدون تدريب محدد على السلامة مصمم خصيصاً للغات والسياقات الأفريقية، فإن هذه الأدوات القوية تخاطر بأن تصبح عبئاً على المجتمعات التي تهدف لمساعدتها.
ملخص تقني: اختبار الاختراق للنماذج اللغوية الكبيرة باللغات الأفريقية
بيان المشكلة
بينما يتم تطوير نماذج لغوية كبيرة (LLMs) مخصصة للغات الأفريقية بشكل متزايد (مثل N-ATLaS، وPawa-Gemma-Swahili) مع إظبات مكاسب في القدرات على مقاييس مثل AfroBench وIrokoBench، إلا أن تقييم السلامة لهذه النماذج لا يزال غائباً إلى حد كبير. ركزت أبحاث السلامة متعددة اللغات الحالية بشكل أساسي على استخدام اللغات الأفريقية ذات الموارد المنخفضة كمتجهات هجوم لـ "كسر حماية" (Jailbreak) النماذج الرائدة (مثل GPT-4 وGemini)، للإجابة على السؤال: "هل يمكن للغات الأفريقية كسر النماذج الآمنة؟". ومع ذلك، فإن السؤال الحاسم — "هل النماذج اللغوية المصممة للغات الأفريقية نفسها آمنة؟" — لم يتم التطرق إليه. وتخلق هذه الفجوة نقطة عمياء للمجتمعات التي تعتمد على هذه النماذج المتكيفة، والتي تفتقر غالباً إلى التعلم المعزز من التغذية الراجعة البشرية (RLHF) المكثف أو بيانات تدريب خاصة بالسلامة في لغاتها المستهدفة.
المنهجية
أجرى المؤلفون أول تقييم منهجي لاختبار الاختراق (Red-team evaluation) للنماذج اللغوية الكبيرة باللغات الأفريقية، حيث تم اختبار نموذجين متاحين للجمهور عبر أربع لغات متنوعة نمطياً: الهوسا، والسواحيلية، واليوروبا، والإيغبو.
النماذج المستهدفة
N-ATLaS (8 مليارات معلمة): تم ضبطه بدقة (Fine-tuned) من نموذج Llama-3-8B-Instruct باستخدام 392 مليون توكن من البيانات الأفريقية. وهو يمثل نموذجاً متعدد اللغات مدعوماً مؤسسياً ولا يمتلك تدريباً موثقاً على السلامة باللغة الأفريقية.
Pawa-Gemma-Swahili (2.6 مليار معلمة): تم توسيعه من نموذج Gemma-2-2B بأكثر من 3 مليارات توكن من نصوص السواحيلية، متبوعاً بضبط دقيق تحت الإشراف (SFT) وتحسين التفضيل المباشر (DPO). وهو يمثل نموذجاً أصغر متخصصاً في اللغة مع تقنيات محاذاة صريحة.
تصميم الهجوم
استخدمت الدراسة 24 تكويناً للهجوم تغطي ثماني فئات للمخاطر وعشر تقنيات عدائية.
السياق المتجذر ثقافياً: على عكس المقاييس المتمحورة حول الغرب، أشارت الهجمات إلى أنظمة أفريقية حقيقية، بما في ذلك M-Pesa (المال عبر الهاتف المحمول)، ورقم الهوية الوطني في نيجيريا (NIN/BVN)، واللجنة المستقلة للانتخابات (INEC)، وشركة Safaricom للاتصالات.
تصنيف HEVP: قدم المؤلفون تصنيفاً رباعي المجالات لتجميع الأضرار حسب آلية تقديمها:
H (توليد الضرر - Harm Generation): الضرر الجسدي المباشر.
E (الاستغلال والاحتيال - Exploitation & Fraud): الخداع الاقتصادي.
V (العنف والكراهية - Violence & Hate): الانقسام الاجتماعي.
P (الدعاية والمعلومات المضللة - Propaganda & Misinformation): التلاعب بالمعلومات.
التقنيات العدائية: شملت التصعيد متعدد الخطوات (مثل Crescendo وMany-Shot)، واستغلال الأدوار (مثل اختطاف الشخصية واستغلال الذاكرة)، والتلاعب بالسياق، واستغلال اللغة (التبديل بين اللغات/Code-Switching)، والهجمات المباشرة.
إطار التقييم
التجارب: 220 تجربة إجمالية (24 تكويناً × حوالي 10 نقاط درجة حرارة لكل منها).
التسجيل: تم تقييم الاستجابات من قبل مراجعين بشريين وحكم آلي (Claude Sonnet) باستخدام:
درجة فشل السلامة (SFS): من 0 إلى 10 (10 تعني تعليمات ضارة قابلة للتنفيذ بالكامل).
درجة السياق الأفريقي (ACS): من 0 إلى 10 (مدى صلة المحتوى بالأنظمة الأفريقية).
بوابة القابلية للتنفيذ: ثنائية (نعم/لا) حول ما إذا كان بإمكان طرف متحمس التسبب في ضرر حقيقي.
العتبات: تم تحديد "عتبة البحث" عند SFS ≥ 6.0 وACS ≥ 5.0. بينما تطلبت "عتبة النجاح الكامل" SFS ≥ 9.0 وقابلية تنفيذ = نعم.
النتائج الرئيسية
الضعف العام
44.1% من جميع التجارب (97/220) أنتجت محتوى يلبي عتبة البحث، مع 18.2% (40/220) وصلت إلى عتبة النجاح الكامل (محتوى ضار للغاية وقابل للتنفيذ خطوة بخطوة).
تم اختراق جميع اللغات الأربع وجميع فئات المخاطر الثمانية.
الفجوة اللغوية (RQ1): كانت معدلات الضعف متشابهة إحصائياً عبر اللغات (40.0% للإيغبو إلى 48.0% لليوروبا). ومع ذلك، أنتجت هجمات الهوسا محتوى أكثر خطورة بشكل ملحوظ (متوسط SFS بلغ 8.71) مقارنة بـ الإيغبو (7.94)، مما يشير إلى أن القدرة التوليدية الأعلى في لغة ما تترجم إلى إمكانات ضرر أكبر عند غياب محاذاة السلامة.
آليات الدفاع (RQ4)
تنوعت استراتيجيات الدفاع نوعياً حسب اللغة:
الهوسا: أدت إلى دفاعات قائمة على إخلاء المسؤولية (4.3%)، مما يشير إلى تفعيل جزئي لتدريب السلامة. oma
السواحيلية: سيطر عليها القطع/الاختصار (38.3% "قصير جداً")، وهو دفاع عرضي ناتج عن قدرة التوليد المحدودة للنموذج الأصغر.
اليوروبا: أظهرت توليد محتوى دون العتبة (52.0%)، حيث أنتجت محتوى فصيحاً لم يتجاوز عتبة الخطورة ولكنه فشل في الرفض.
الإيغبو: أظهرت ملفاً مختلطاً دون استراتيجية دفاع مهيمنة.
فعالية تقنية الهجوم (RQ2)
كان استغلال الأدوار هو الفئة الأكثر فعالية (معدل نجاح 82.5%)، مع تحقيق تقنيات محددة مثل استخراج البيانات، واستغلال الذاكرة، واختطاف الشخصية لنسبة نجاح بلغت 90.0%. يشير هذا إلى أن النماذج تفتقر إلى التدريب على التعرف على الهندسة الاجتماعية القائمة على السلطة.
كان التبديل بين اللغات (Code-Switching) هو الأقل فعالية (15.0%)، وهو ما يتناقض مع النتائج في النماذج الرائدة حيث يؤدي خلط اللغات غالباً إلى تجاوز الفلاتر.
كان التصعيد متعدد الخطوات (مثل Crescendo) لديه معدل نجاح أقل (45.6%) ولكنه أنتج النتائج الأكثر خطورة (متوسط SFS بلغ 9.1).
الضعف في فئة المخاطر (RQ3)
تفاوت الضعف بشكل كبير بين الفئات (بمدى يصل إلى 7.5 ضعف):
الأكثر قابلية للاستغلال:العنف (نجاح بنسبة 90.0%) والمعلومات المضللة (70.0%).
الأقل قابلية للاستغلال:الكراهية/المضايقة (نجاح بنسبة 12.0%)، مما يشير إلى أن دفاعات خطاب الكراهة تمتلك بعض القدرة على الانتقال عبر اللغات.
مجالات HEVP: كانت الدعاية (70.0%) وتوليد الضرر (58.0%) معرضة للخطر بشكل كبير، بينما أظهرت العنف والكراهة (25.0%) أقوى دفاع إجمالي، رغم أن هذا يخفي التباين الشديد بين "العنف" (90%) و"الكراهية" (12%).
مقارنة النماذج
على الرغم من وجود فرق بمقدار 3 أضعاف في حجم المعلمات (8 مليارات مقابل 2.6 مليار) وإدراج تقنية DPO في Pawa-Gemma، فقد أظهر كلا النموذجين ضعفاً متساوياً (44.4% مقابل 43.3%). يشير هذا إلى أن حجم النموذج وتقنيات المحاذاة القياسية المدربة أساساً على الإنجليزية لا تضمن السلامة في سياقات اللغات ذات الموارد المنخفضة.
الأهمية والادعاءات
تدعي الورقة أنها أول تقييم منهجي لاختبار الاختراق يستهدف النماذج المصممة خصيصاً للغات الأفريقية. وتتمثل مساهماتها الرئيسية في:
تحديد نقطة عمياء للسلامة: إثبات أن النماذج اللغوية الكبيرة باللغات الأفريقية معرضة للخطر بمعدلات تضاهي النماذج الرائدة، رغم افتقارها غالباً إلى مسارات السلامة المكثفة الموجودة في نماذجها الأساسية.
تصنيف HEVP: تقديم تصنيف قائم على الآلية يوضح أن الدفاعات تنتقل بشكل مختلف عبر المجالات (على سبيل المثال، دفاعات خطاب الكراهة تنتقل، بينما دفاعات المحتوى الإرشادي لا تنتقل).
التقييم المتجذر ثقافياً: إثبات أن استخدام الأنظمة الأفريقية الحقيقية (M-Pesa، NIN/BVN) يكشف عن بؤر ضعف محددة تغفلها المقاييس العامة.
تحليل الدفاع: تسليط الضوء على أن النماذج تعتمد على استراتيجيات دفاع نوعية مختلفة (إخلاء المسؤولية مقابل الاختصار مقابل التوليد الطفيف) اعتماداً على اللغة وبنية النموذج.
يخلص المؤلفون إلى أن تقييم السلامة يجب أن يصبح روتيناً في تطوير النماذج اللغوية الأفريقية. ويقترحون أن مسارات المحاذاة الحالية (RLHF/DPO) المدربة على الإنجليزية لا تنتقل بفعالية إلى اللغات ذات الموارد المنخفضة، ويدعون إلى توفير بيانات تفضيل سلامة خاصة باللغة ومعايير سلامة متجذرة ثقافياً لسد الفجوة بين القدرة والسلامة.