ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts
تقدم هذه الورقة البحثية ThaiSafetyBench، وهو معيار مفتوح المصدر يتكون من 1,954 مطالبة باللغة التايلاندية ذات دلالات ثقافية دقيقة تكشف عن فجوات أمان كبيرة في النماذج اللغوية الكبيرة الحالية — لا سيما النماذج مفتوحة المصدر وتلك التي تواجه هجمات ذات خصوصية ثقافية — مع توفير مصنف عالي الأداء ولوحة صدارة لتعزيز تقييم الأمان في السياق التايلاندي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قمت ببناء أمين مكتبة آلي فائق الذكاء يمكنه الإجابة على أي سؤال بأي لغة. لقد قمت بتدريبه في الغالب على كتب باللغة الإنجليزية، لذا فهو بارع جداً في معرفة ما هو "آمن" لقوله بالإنجليزية. ولكن ماذا يحدث عندما تسأله سؤالاً باللغة التايلاندية؟ أو إذا كان السؤال يعتمد على أسرار ثقافية تايلاندية عميقة، مثل النميمة المحلية، أو القواعد الاجتماعية المحددة، أو المواضيع الحساسة المتعلقة بالملكية التايلاندية؟
هذه الورقة البحثية تشبه مفتش سلامة وصل للتو لاختبار أمين المكتبة الآلي هذا، وتحديداً بالنسبة للغة والثقافة التايلاندية. إليك قصة ما توصل إليه من نتائج، مقسمة ببساطة:
1. المشكلة: نقطة العمى "بالنظارات الإنجليزية"
معظم اختبارات السلامة للذكاء الاصطناعي تشبه فحص مكابح السيارة باستخدام تعليمات باللغة الإنجليزية فقط. وجد الباحثون أنه بينما يتفوق الذكاء الاصطناعي في اتباع قواعد السلامة بالإنجليزية، فإنه غالباً ما يرتبك أو يكسر القواعد عند التحدث بالتايلاندية.
لماذا؟ لأن الذكاء الاصطناعي لا يفهم "الأجواء" أو القواعد الثقافية الخفية في تايلاند. الأمر يشبه سائحاً يعرف التعريف القاموسي للكلمة، لكنه لا يعرف أن قولها في قرية تايلاندية معينة يعتبر وقاحة شديدة أو أمراً خطيراً.
2. الحل: ThaiSafetyBench (اختبار "الفخ التايلاندي")
لإصلاح ذلك، بنى الفريق اختباراً جديداً يسمى ThaiSafetyBench.
- الفخ: قاموا بإنشاء 1,954 سؤالاً مخادعاً (مطالبات) مكتوبة باللغة التايلاندية.
- المزيج: بعض الأسئلة كانت مجرد أشياء "سيئة" عامة (مثل "كيف أصنع قنبلة؟")، لكن الاختبار الحقيقي كان الفخاخ الثقافية المحددة. كانت هذه أسئلة مصممة لخداع الذكاء الاصطناعي باستخدام العامية التايلاندية، أو الأعراف الاجتماعية المحلية، أو المواضيع السياسية الحساسة التي قد لا يفهمها ذكاء اصطناعي مدرب بالإنجليزية.
- الهدف: معرفة ما إذا كان الذكاء الاصطناعي سيقول شيئاً ضاراً عن غير قصد عند سؤاله في سياق تايلاندي.
3. النتائج: من اجتاز الاختبار؟
قاموا باختبار 24 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (سواء النماذج الكبيرة والمكلفة من شركات مثل Google/OpenAI، أو النماذج المجانية مفتوحة المصدر التي يمكن لأي شخص تحميلها).
- "الأطفال الأثرياء" مقابل "الأطفال المفتوحين": كانت النماذج المغلقة والمصدرية الكبيرة (مثل GPT-4.1) تشبه رجال الأمن ذوي الخبرة؛ فقد عرفوا تماماً متى يقولون "لا" وحافظوا على هدوئهم. أما النماذج مفتوحة المصدر فكانت أكثر شبهاً بـ المتدربين المتحمسين؛ فبعضهم كان رائعاً، لكن الكثير منهم سمح لـ "الأشرار" (الطلبات الضارة) بالمرور عبر الباب.
- الفجوة الثقافية: كانت النتيجة الأكثر صدمة هي أن الذكاء الاصطناعي كان أسوأ بكثير في التعامل مع الفخاخ الثقافية الخاصة بتايلاند مقارنة بالأسئلة السيئة العامة. الأمر كما لو أن الحارس يعرف كيف يوقف لصاً يحمل مسدساً، لكنه يرتبك عندما يحاول شخص ما رشوه بوجبة محلية شهيرة. لم يفهم الذكاء الاصطناعي الفروق الثقافية الدقيقة، لذا فشل في اختبار السلامة.
- الحجم مهم (ولكن ليس كل شيء): بشكل عام، كانت نماذج الذكاء الاصطناعي الأكبر أكثر أماناً (مثل شبكة أكبر تصطاد المزيد من الأسماك). ومع ذلك، فإن بعض النماذج الأصغر التي تم تدريبها خصيصاً على بيانات تايلاندية قدمت أداءً جيداً بشكل مفاجئ، مما يثبت أن جودة بيانات التدريب تهم أكثر من مجرد الحجم الخام.
4. مجموعة الأدوات: جعل السلامة أرخص وأسهل
يتطلب تقييم الذكاء الاصطناعي عادةً حواسيب فائقة مكلفة أو دفع مبالغ طائلة لخبراء تقييم يعملون بالذكاء الاصطناعي. ولمساعدة الآخرين على القيام بذلك أيضاً، ابتكر الفريق أداتين مجانيتين:
- ThaiSafetyClassifier: وهو ذكاء اصطناعي صغير وخفيف الوزن يعمل كـ "راصد"، يمكنه النظر في المحادثة والقول فوراً: "هذا آمن" أو "هذا خطير". إنه يشبه جهاز كشف المعادن الذي يسهل تشغيله بتكلفة منخفضة ولكنه بدقة أجهزة التفتيش الأمنية المكلفة.
- لوحة المتصدرين (Leaderboard): قاموا ببناء لوحة نتائج عامة (مثل قائمة أعلى النقاط في ألعاب الفيديو) حيث يمكن لأي شخص رؤية مدى أمان نموذج الذكاء الاصطناعي الخاص به في اللغة التايلاندية. هذا يشجع الجميع على مواصلة تحسين نماذجهم للحصول على ترتيب أفضل.
الخلاصة الكبرى
هذه الورقة البحثية هي بمثابة جرس إنذار. لا يمكنك مجرد ترجمة قواعد السلامة من الإنجليزية إلى التايلاندية وتوقع أن تعمل. يجب أن تكون السلامة "مخبوزة" داخل الثقافة.
إذا أردنا أن يكون الذكاء الاصطناعي آمناً للشعب التايلاندي، فنحن بحاجة لاختباره بالفخاخ التايلاندية، وفهم الثقافة التايلاندية، وبناء أدوات تحترم تلك الفروق الدقيقة المحددة. وإلا، فقد يكون ذكاؤنا الاصطناعي مهذباً بالإنجليزية، ولكنه قد يكون مسيئاً أو خطيراً عن غير قصد بالتايلاندية.
باختاً: لقد بنوا "اختبار جهد" خاص بتايلاند للذكاء الاصطناعي، ووجدوا أن العديد من النماذج تعاني من "عمى ثقافي"، وقدموا للمجتمع أدوات مجانية لإصلاح ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.