Lost in Localization: Building RabakBench with Human-in-the-Loop Validation to Measure Multilingual Safety Gaps
تقدم هذه الورقة RabakBench، وهو معيار سلامة متعدد اللغات تم التحقق منه من خلال العنصر البشري للمشهد اللغوي في سنغافورة، والذي يكشف عن فجوات أداء كبيرة في حواجز الحماية للنماذج اللغوية الكبيرة الحديثة عند التعامل مع اللغات ذات الموارد المنخفضة مثل "سينغليش" والصينية والمالاي والتاميلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك حارس أمن ذكي للغاية ومدرب جيداً لحماية مبنى ما. هذا الحارس بارع في رصد المشاكل عندما يتحدث الناس بـ "اللغة الإنجليزية المعيارية"؛ فهو يعرف تماماً كيف يبدو التعليق المسيء، أو التهديد، أو الفكرة الخطيرة في تلك اللغة.
ولكن الآن، تخيل أن نفس هذا الحارس طُلب منه مراقبة حي صاخب ومتعدد الثقافات حيث يتحدث الناس مزيجاً من اللغات، واللغات العامية، واللهجات المحلية. فجأة، يصاب الحارس بالارتباك؛ قد يغفل عن تهديد حقيقي لأنه مختبئ في دعابة محلية، أو قد يعتقل جاراً مسالماً بالخطأ لأنه لم يفهم عبارة ثقافية.
هذه الورقة البحثية، RABAKBENCH، تدور حول بناء "اختبار" جديد لمعرفة مدى قدرة حراس الأمن من الذكاء الاصطناعي هؤلاء على التعامل مع هذا الحي الواقعي الفوضوي. الحي المقصود هو سنغافورة، وهو مكان يخلط فيه الناس باستمرار بين الإنجليزية وكلمات من الصينية والمالاي والتاميل (وهو مزيج يسمى "سينجليش" - Singlish).
إليك كيف بنى الباحثون اختبارهم وما وجدوه، مشروحاً ببساভাবে:
1. المشكلة: "النقطة العمياء الموضعية"
أنظمة سلامة الذكاء الاصطناي الحالية تشبه حراساً درسوا فقط من كتاب مدرسي عن الإنجليزية المعيارية. إنهم يفشلون عند مواجهة:
- خلط اللغات (Code-mixing): الجمل التي تنتقل بين لغات مختلفة.
- اللغة العامية (Slang): الكلمات المحلية التي يتغير معناها بناءً على السياق.
- اللهجات (Dialects): الطرق الإقليمية في التحدث التي لا تعتبر إنجليزية "فصيحة".
وجد الباحثون أن حراس الذكاء الاصطناعي هؤلاء غالباً ما يرتكبون خطأين كبيرين:
- السلبيات الكاذبة (False Negatives): يغفلون عن خطاب الكراهية أو التهديدات الفعلية لأن الكلمات تبدو لهم كأنها لغة عامية غير ضارة.
- الإيجابيات الكاذبة (False Positives): يصنفون النكات الثقافية البريئة على أنها خطيرة، مما يؤدي فعلياً إلى إسكات المحادثات الطبيعية.
2. الحل: بناء "RABAKBENCH"
لإصلاح ذلك، بنى الفريق ساحة اختبار ضخمة تسمى RABAKBENCH (مستوحاة من كلمة محلية تعني "شديد" أو "قوي"). اعتبرها بمثة محاكي لسلامة الذكاء الاصطناعي.
لم يكتفوا بكتابة هذه الجمل الاختبارية بأنفسهم؛ بل استخدموا عملية مصنع ذكية مكونة من ثلاث خطوات:
الخطوة 1: هجوم "الفريق الأحمر" (التوليد)
تخيل مجموعة من المخترقين يحاولون خداع حراس الذكاء الاصطناعي. استخدم الباحثون الذكاء الاصطناعي لتوليد الآلاف من الأمثلة المعقدة والواقعية للغة "السينجليش"، بما في ذلك الأشياء التي تبدو خطيرة ولكنها قد تكون آمنة، والأشياء التي تبدو آمنة ولكنها في الواقع سامة. حتى أنهم استخدموا ذكاءً اصطناعياً "ناقداً" لمساعدة الذكاء الاصطناعي "المهاجم" على أن يصبح أفضل في إيجاد نقاط الضعف.الخطوة 2: "المصنفون الخارقون" (التوسيم/التصنيف)
إن تصنيف هذه الجمل المعقدة يدوياً أمر مكلف وصعب. لذا، اختبر الباحثون عدة نماذج مختلفة من الذكاء الاصطناعي لمعرفة أي منها الأفضل في فهم الحكم البشري. وجدوا ثلاثة نماذج ذكاء اصطناعي "نجمة" تتفق مع الخبراء البشر بنسبة 70-80% من الوقت. استخدموا هذه النماذج لتصنيف البيانات، لكنهم أبقوا بشراً في الحلقة (Human in the loop) للتدقيق في العمل، لضمان صحة الفروق الثقافية الدقيقة.الخطوة 3: "المترجم الثقافي" (الترجمة)
أخذوا حالات اختبار "السينجليش" وترجموها إلى الصينية والمالاي والتاميل. لكن العقدة هنا هي أن المترجمين القياسيين غالباً ما يقومون بـ "تطهير" الكلمات السيئة لجعلها مهذبة. قام الباحثون ببناء عملية ترجمة خاصة تضمن بقاء السمية (Toxicity) كما هي. إذا كانت الجملة مسيئة في "السينجليش"، يجب أن تكون الترجمة في المالاي أو التاميل مسيئة بنفس القدر، مع الحفاظ على "النكهة" والقصد الأصلي.
النتي نتيجة ذلك؟ مجموعة بيانات تضم أكثر من 5,000 مثال تغطي أربع لغات، مع تصنيفات مفصلة توضح بالضبط لماذا يعتبر الشيء غير آمن (على سبيل المثال: هل هو خطاب كراهية؟ أم مجرد إهانة؟ أم تهديد؟).
3. النتائج: الحراس فشلوا في الاختبار
أخذ الباحثون 13 من أفضل أنظمة سلامة الذكاء الاصطناي في العالم (سواء التجارية مثل جوجل وOpenAI، أو مفتوحة المصدر) وأجروا عليهم هذا الاختبار الجديد.
كان الحكم قاسياً:
- تراجع الأداء: الأنظمة التي سجلت أكثر من 80% في اختبارات الإنجليزية القياسية، انخفضت درجاتها غالباً إلى أقل من 50% في هذا الاختبار المحلي.
- "فجوة التاميل": كان الأداء سيئاً بشكل خاص بالنسبة للغة التاميل، حيث سجلت العديد من الأنظمة أقل من 30%.
- "مقاس واحد لا يناسب الجميع" لا يعمل: أظهرت الدراسة أنه لا يمكنك مجرد تدريب حارس على الإنجليزية وتوقع أن يعمل في كل مكان؛ فهم بحاجة إلى تدريب محدد للثقافات المحلية.
4. لماذا يهم هذا؟
تجادل الورقة بأنه إذا أردنا أن يكون الذكاء الاصطناعي آمناً للجميع، فلا يمكننا الاعتماد فقط على قواعد الإنجليزية القياسية. نحن بحاجة إلى بناء أنظمة سلامة تفهم "النكهة المحلية".
الخلاصة:
RABAKBENCH يشبه اختبار رخصة القيادة لسلامة الذكاء الاصطناعي في البيئات متعددة الثقافات. إنه يثبت أن سائقي الذكاء الاصطناعي الحاليين بارعون على الطرق السريعة (الإنجليزية المعيارية) ولكنهم سيئون في شوارع المدينة (اللهجات المحلية). لقد أطلق الباحثون أسئلة وإجابات اختبارهم للجمهور حتى يتمكن المطورون الآخرون من بناء حراس سلامة أفضل وأكثر وعياً ثقافياً للمستقبل.
ما لا تدعيه الورقة:
- هي لا تدعي أنها أصلحت أنظمة الذكاء الاصطناعي بعد؛ بل قامت فقط ببناء الاختبار لتوضيح أنها معطلة.
- هي لا تقترح استخدام هذه الاختبارات للسلامة السريرية أو الطبية.
- هي لا تعد بأن الذكاء الاصطناعي المستقبلي سيكون مثالياً تلقائياً؛ بل توفر فقط خارطة طريق لكيفية قياسهم وتحسينهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.