ملخص تقني: UbuntuGuard

بيان المشكلة

تتم عملية تحسين آليات سلامة النماذج اللغوية الكبيرة (LLM)، وخاصة "نماذج الحراسة" (guardian models)، بشكل أساسي للغات ذات الموارد العالية والمركزة غربياً. وهذا يخلق فجوات أمنية كبيرة للغات الأفريقية ذات الموارد المنخفضة، حيث تواجه هذه النماذج نقاط ضعف تجاه الأضرار المتطورة، والإخفاقات عبر اللغات، وعدم التوافق الثقافي. تعتمد معايير السلامة الحالية على فئات محددة مسبقاً وجمود في التصنيف، مما يفشل في التعميم عبر السياقات الاجتماعية والثقافية المتنوعة. علاوة على ذلك، فإن تعريف السلامة نسبي ثقافياً؛ حيث غالباً ما يتعارض المعيار العالمي مع الأعراف المحلية، والمتطلبات القانونية، والتوقعات الأخلاقية في مجالات مثل الرعاية الصحية، والتمويل، والدين. هناك نقص حاد في المعايير التي تعكس التنوع اللغوي والسياق الاجتماعي والثقافي الأفريقي، مما يترك هذه المناطق عرضة لعمليات نشر غير آمنة للذكاء الاصطناعي.

المنهجية

يقدم المؤلفون UbuntuGuard، وهو معيار سلامة قائم على السياسات مصمم لتقييم نماذج الحراسة في البيئات الأفريقية المتنوعة لغوياً وثقافياً. تتبع عملية بناء المعيار مساراً يتكون من مرحلتين:

1. بناء البيانات

• البذور المؤلفة من قبل خبراء: تبدأ العملية بـ 8,091 استعلاماً هجومياً (adversarial queries) ألفها 155 خبيراً (بمن في ذلك أطباء، ومحامون، وقادة دينيون، والمدافعون عن حقوق الإنسان) من غانا، وكينيا، وملاوي، ونيجيريا، وجنوب أفريقيا، وأوغندا. تغطي هذه الاستعلامات مجالات حساسة مثل الصحة، والتعليم، والسياسة.
• توليد السياسات الواعية بالسياق: لكل استعلام، يتم تحديد سياق مهيكل (المجال، الموضوع، السمة، الخصائص الحساسة، الدولة). يتم توجيه نموذج GPT-5 لتوليد 5 إلى 8 قواعد سلوكية (سياسات) تصف كيفية استجابة النموذج اللغوي الكبير في ذلك الإعداد الثقافي المحدد.
• توليد الحوار: باستخدام منصة NVIDIA-NeMo Curator، يقوم نموذجان لغويان كبيران (Llama-3.1-405B و Qwen3-235B) بتوليد حوارات متعددة الأدوار بين المستخدم والوكيل (3 إلى 5 أدوار) بناءً على السياسات. ينتج عن كل استعلام متغيران:
  • النجاح (PASS): يمتثل الوكيل لجميع قواعد السياسة.
  • الفشل (FAIL): ينتهك الوكيل قاعدة واحدة أو أكثر (بشكل خفي أو علني).
• الترجمة متعددة اللغات: يتم ترجمة السياسات والحوارات إلى 10 لغات أفريقية مستهدفة (الأكان، والإيوي، والهوسا، والإيغبو، واللوغندا، والنيانجا، والسواحيلية، والتومبوكا، والخوسا، واليوروبا، والزولو) باستخدام ترجمة جوجل.

2. مراقبة الجودة والتصفية

• التقييم الآلي: تم تقييم جودة الترجمة باستخدام GEMBA-MQM، وهو مقياس أظهر ارتباطاً أقوى بالدقة الدلالية البشرية مقارنة بـ BLEU أو chrF.
• التحقق البشري: قام مدققون من الناطقين باللغة (يتقنون الإنجليزية ولغة مستهدفة واحدة) بمراجعة مجموعات فرعية من الترجمات لمعايرة عتبة التصفية. وقد قيموا الأمانة الدلالية (الحفاظ على المعنى الأصلي) والتجذر الثقافي (الملاءمة في السياق المستهدف).
• وضع العتبة: تم وضع درجة 70% لجودة الترجمة كعتبة للاحتفاظ بالبيانات. تم استبعاد الأزواج التي قلّت عن هذه العتبة. وتم استبعاد لغة "التومبوكا" بالكامل بسبب انخفاض متوسط درجاتها.
• مجموعة البيانات النهائية: تضم مجموعة البيانات المنسقة 2,307 حالة اختبار عبر 10 لغات، تغطي خمس سمات (المعلومات المضللة، المصلحة العامة، الصور النمطية، خطاب الكراهية، والنصائح الخبيرة) وثمانية مجالات.

الإعداد التجريبي

يقيم المعيار 15 نموذجاً تحت ثلاثة سيناريوهات متميزة:

1. الأساس الإنجليزي (EN–EN): السياسات والحوارات باللغة الإنجليزية في كليهما.
2. التوطين الكامل (LRL–LRL): السياسات والحوارات بلغة أفريقية ذات موارد منخفضة.
3. عبر اللغات (LRL–EN): الحوارات بلغة أفريقية ذات موارد منخفضة، بينما تظل السياسات باللغة الإنجليزية.

تشمل النماذج التي تم تقييمها:

• نماذج الحراسة: ثمانية نماذج متطورة مصنفة إلى نماذج ثابتة (مثل NeMoGuard و LlamaGuard-3)، ونماذج ديناميكية (مثل DynaGuard و gpt-oss-safeguard)، ونماذج متعددة اللغات (مثل PolyGuard و CultureGuard).
• النماذج اللغوية الكبيرة عامة الأغراض: سبعة نماذج مفتوحة المصدر تتراوح من 8 مليار إلى 671 مليار معلمة (مثل Qwen و Llama و DeepSeek) لإنشاء خطوط أساس للمحاذاة الأمنية الأصلية.
• المقياس: يتم قياس الأداء باستخدام درجة F1.

النتائج الرئيسية

• المبالغة في التقدير المتمحورة حول الإنجليزية: حققت جميع النماذج أعلى درجات F1 في سيناريو الأساس الإنجليثي. على سبيل المثال، سجلت النماذج عامة الأغراض مثل Qwen-3.1 (8B) و gpt-oss-safeguard (20B) أكثر من 97%، بينما سجلت النماذج الثابتة ما بين 36% و 50%.
• تدهور شديد في التوطين: في سيناريو التوطين الكامل، انخفض الأداء بشكل حاد في جميع النماذج تقريباً. عانت النماذج الثابتة أكثر من غيرها، حيث انخفض NeMoGuard-8B من درجة F1 بلغت 36.94 إلى 1.41. حتى النماذج العامة واسعة النطاق مثل DeepSeek (671B) شهدت تدهوراً كبيراً، رغم أنها حافظت على أعلى مستوى من المتانة الإجمالية (80.59 F1).
• القيود عبر اللغات: وفر الانتقال عبر اللغات (سياسات إنجليزية، حوارات أفريقية) تغطية جزئية، لكنه لم يكن كافياً لضمان المتانة. أظهرت النماذ ذات السعة العالية قدرة أفضل على المتانة عبر اللغات مقارنة بالنسخ الثابتة، لكن معدلات التصنيف الخاطئ ظلت مرتفعة في اللغات ذات التمثيل الأقل في التدريب المسبق للنماذج الأساسية (مثل الإيوي والنيانجا).
• "مخزن السلامة متعدد اللغات": تفوقت النماذج الأكبر حجماً عموماً على النماذج الأصغر في الإعدادات المحلية، مما يشير إلى أن التدريب المسبق الضخم يوفر "مخزناً" ضد فجوات السلامة. ومع ذلك، فإن هذا المخزن غير متكافئ ولا يمكنه استبدال البيانات المحلية المؤلفة من قبل خبراء.
• مفارقة التخصص: تفوقت النماذج العامة عالية السعة باستمرار على الحراس الديناميكيين المتخصصين. ومن الملاحظ أنه عند مقياس 120 مليار معلمة، كان أداء النسخ المعدلة أمنياً أسوأ من نظيراتها الأساسية، مما يشير إلى أن المحاذاة الأمنية المكثفة يمكن أن تؤدي إلى "تضييق تصنيفي"، حيث تصبح النماذج مفرطة في التكيف مع الأنماط المتمحورة حول الإنجليزية وتفقد المرونة في السياقات الأفريقية.
• حساسية المجال: كانت معدلات الخطأ أعلى في المجالات التي تتطلب حكماً مرتبطاً بالسياق الثقافي (السياسة، الثقافة، الدين) مقارنة بالمجالات ذات المعايير الأكثر عالمية (الصحة، التعليم).

الأهمية والادعاءات

يزعم البحث أن UbuntuGuard هو أول معيار سلامة قائم على السياسات مصمم خصيصاً للغات الأفريقية، مما يعالج نقص التمثيل الحاد لهذه اللغات في تقييمات السلامة. تكمن أهميته في:

1. كشف "فجوة السلامة": يوضح أن المعايير المتمحورة حول الإنجليزية تبالغ في تقدير السلامة متعددة اللغات في الواقع، مما يكشف عن سقف خادع لأداء النماذج لا يترجم إلى سياقات الموارد المنخفضة.
2. إثبات الحاجة إلى التجذر الثقافي: تظهر النتائج أن الفئات الأمنية الجامدة والمحددة مسبقاً تفشل في التعميم. تتطلب السلامة القوية سياسات مرنة وقابلة للتنفيذ في وقت التشغيل تعكس الأعراف المحلية والتوقعات الثقافية.
3. توجيه التطوير المستقبلي: تشير النتائج إلى أنه بينما يوفر حجم النموذج بعض التخفيف، إلا أنه لا يمكنه استبدال الحاجة إلى بيانات أمنية محلية مؤلفة من قبل خبراء. يوفر المعيار أساساً لتطوير نماذج حراسة موثوقة للغات ذات الموارد المنخفضة ويشجع على مزيد من الأبحاث حول ضبط النماذج اللغوية الكبيرة على بيانات السلامة ذات السياق الأفريقي.

يحافظ المؤلفون على موقف متواضع، مع الإقرار بالقيود مثل الاعتماد على التوسع الاصطناعي واستخدام مدقق بشري واحد لمجموعة فرعية من اللغات بسبب ندرة الخبراء الناطقين بها. وهم يضعون UbuntuGuard كـ "خطوة أولى" وبرهان مفهوم نحو معايير سلامة لغوية أفريقية قوية.