JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs
تقدم هذه الورقة JUBAKU، وهو معيار تنافسي متجذر ثقافياً تم إعداده يدوياً من قبل مدونين يابانيين أصليين للكشف عن التحيزات الاجتماعية الكامنة في النماذج اللغوية الكبيرة اليابانية، مما يكشف أن النماذج الحالية تؤدي بشكل أسوأ بكثير في الصور النمطية ذات الخصوصية الثقافية مقارنة بالمعايير الإنجليزية المترجمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً ومطلعاً. تريد التأكد من أنه مهذب، وعادل، ولا يحمل أي تحيزات خفية. لذا، قررت إخضاعه لاختبار.
ولكن هنا تكمن الخدعة: الاختبار الذي قدمته له كُتب باللغة الإنجليزية واستند إلى الثقافة الأمريكية.
تجادل ورقة بحثية بعنوان "JUBAKU" (والتي تعني تقريباً "فخ" أو "تعويذة ربط" باليابانية) بأن هذا يمثل مشكلة ضخمة. فإذا اختبرت روبوتاً على كيفية تعامله مع الثقافة اليابانية باستخدام اختبار أمريكي، فقد تغفل عن الطرق المحددة والدقيقة التي قد يظهر بها تحيزه ضد اليابانيين. الأمر يشبه محاولة معرفة ما إذا كانت السمكة تستطيع تسلق الشجرة بدلاً من اختبار قدرتها على السباحة؛ الاختبار ببساطة هو البيئة الخاطئة.
إليك تفصيل بسيط لما فعله الباحثون ولماذا يهم ذلك:
1. المشكلة: "فخ الترجمة"
تخيل اختبارات التحيز الحالية (مثل CrowS-Pairs أو BBQ) كأنها اختبارات قيادة قياسية. هي رائعة للتحقق مما إذا كانت السيارة يمكنها التوقف عند الإشارة الحمراء أو الانعطاف يساراً بأمان. ولكن إذا أخذت نفس الاختبار إلى بلد يقودون فيه على الجانب الأيسر من الطريق ولديهم إشارات مرور مختلفة، فسيصبح الاختبار عديم الفائدة.
وجد الباحثون أن الاختبارات الموجودة للذكاء الاصطناعي الياباني كانت مجرد ترجمات لاختبارات إنجليزية.
- الخلل: لقد أغفلت الصور النمطية الخاصة باليابان. على سبيل المثال، قد تسأل الاختبارات الغربية عن العرق بطريقة تناسب الولايات المتحدة، لكنها قد تغفل عن الصور النمطية اليابانية المتعلقة بلهجات المناطق، أو التسلسل الهرمي الصارم في المدارس، أو الضغط الخفي لـ "قراءة الجو" (عدم إثارة جلبة).
- النتيجة: بدا الذكاء الاصطناعي "آمناً" في هذه الاختبارات، لكنه كان في الواقع بارعاً فقط في لعب لعبة لم يفهمها بالكامل.
2. الحل: بناء "فخ ثقافي" (JUBAKU)
لإصلاح ذلك، قام الفريق ببناء JUBAK، وهو اختبار مصمم خصيصاً للثقافة اليابانية.
- المفهك: بدلاً من مجرد ترجمة الأسئلة، قاموا ببناء 10 "فخاخ ثقافية" محددة بناءً على أشياء مثل النوع الاجتماعي، الدين، الطعام، والاختلافات الإقليمية.
- المنهجية (الجزء "الخصمي"): هذا هو الجزء الأكثر ذكاءً. تخيل أنك تحاول خداع كلب حراسة ذكي جداً. أنت لا تكتفي بطلب النباح منه فحسب؛ بل تحاول العث_ور على الكلمة أو العبارة الدقيقة التي تجعله ينبح عندما لا ينبغي له ذلك.
- استخدم الباحثون ذكاءً اصطناعياً فائق الذكاء (GPT-4o) لمساعدتهم في كتابة هذه الفخاخ.
- كانوا يكتبون محادثة وإجابتين محتملتين: واحدة مهذبة وعادلة، والأخرى تعتمد بشكل خفي على صورة نمطية.
- استمروا في تعديل القصة حتى اختار الذكاء الاصطناعي الفائق الإجابة النمطية.
- إذا وقع الذكاء الاصطناعي في الفخ، احتفظوا بالسؤال. وإذا لم يقع، غيروا القصة حتى يقع في الفخ.
- لما لماذا؟ إذا تمكن أذكى ذكاء اصطناعي من الوقوع في الفخ ليصبح منحازاً، فإن النماذج اليابانية ستتعرض للخداع بالتأكيد أيضاً.
3. التجربة: "المرآة السحرية"
أخذوا 9 نماذج مختلفة من الذكاء الاصطناعي الياباني وعرضوا عليها هذه الفخاخ. كما عرضوا عليها الاختبارات القديمة المترجمة للمقارنة.
- الاختبارات القديمة: أدى الذك ๆ الاصطناعي بشكل جيد. حصلوا على درجات عالية، وبدوا كمواطنين صالحين وغير منحازين.
- اختبار JUBAKU: انهار الذكاء الاصطناعي.
- انخفضت دقة أدائهم إلى متوسط 23% (حيث أن 50% تعني التخمين العشوائي).
- وهذا يعني أنهم كانوا يختارون الإجابة المتحيزة بشكل نشط أكثر من الإجابة العادلة.
- كان الأمر أشبه بعرض مرآة تعكس تحيزاتهم الخفية عليهم، وهو أمر لم يستطيعوا تجاهله.
4. التحقق البشري
للتأكد من أن الاختبار ليس معطلاً، طلبوا من بشر حقيقيين إجراء الاختبار. حصل البشر على 91% بشكل صحيح. أثبت هذا أن الفخاخ كانت واضحة ومنطقية؛ وأن الذكاء الاصطناعي هو من فشل لأنه كان يعتمد على الصور النمطية الخفية في بيانات تدريبه.
الخلاصة الكبرى
JUBAKU يشبه جهاز الأشعة السينية المتخصص للذكاء الاصطناعي.
- الاختبارات القياسية تشبه الفحص الصحي الأساسي؛ فهي تخبرك ما إذا كان الذكاء الاصطناعي يعاني من الحمى.
- أما JUBAKU فهو مثل التصوير بالرنين المغناطيسي الذي يبحث تحديداً عن الأورام الثقافية التي لا تظهر إلا في اليابان.
تخلص الورقة البحثية إلى أنه إذا أردنا أن يكون الذكاء الاصطناعي آمناً وعادلاً حقاً، فلا يمكننا مجرد ترجمة الاختبارات الغربية. يجب علينا بناء اختبارات تفهم الثقافة المحلية، وإلا فلن نرى أبداً التحيزات المختبئة في الظلال.
باختصار: لا يمكنك اختبار قلب روبوت ياباني باستخدام مسطرة أمريكية. لقد صنع JUBAKU مسطرة يابانية، واتضح أن الروبوتات كانت تحبس أنفاسها طوال الوقت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.