How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language
تثبت هذه الورقة تجريبيًا أن نماذج تحليل المشاعر للغة البنغالية ذات الموارد المنخفضة تظهر تحيزات مستمرة قائمة على النوع الاجتماعي والدين والجنسية بغض النظر عما إذا كانت مبنية على بنيات متعددة اللغات أو أحادية اللغة، مما يسلط الض الضوء على كيفية تسبب الجمع بين مجموعات البيانات المتنوعة والنماذج سابقة التدريب في إدخال عدم اتساق يؤدي إلى تفاقم الظلم المعرفي في الأنظمة الاجتماعية التقنية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فهم مشاعر البشر (مثل السعادة، أو الحزن، أو الغضب) من خلال إطلاعه على آلاف الجمل المكتوبة باللغة البنغالية. تريد أن يكون الروبوت عادلاً مع الجميع، بغض النظر عما إذا كان رجلاً أو امرأة، هندوسياً أو مسلماً، أو من بنغلاديش أو الهند.
هذه الورقة البحثية تشبه "تقرير درجات" لـ 38 نسخة مختلفة من ذلك الروبوت. سأل الباحثون: من أين يأتي الروبوت في عدم عدالته؟ هل هو من الكتب التي قرأها (مجموعات البيانات)، أم من المعلم الذي علمه (المطورون)، أم من الدماغ الذي بُني به (النموذج المدرب مسبقاً)؟
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. الإعداد: الروبوت، والمكتبة، والمعلمون
- الروبوتات (النماذج): بدأ الباحثون بـ "أدمغة أساسية" اثنين. أحدهما عام (mBERT) يعرف 104 لغات لكنه ليس خبيراً في أي منها. والآخر متخصص (BanglaBERT) لا يعرف سوى اللغة البنغالية وتم تدريبه خصيصاً على الكتب البنغالية.
- المكتبات (مجموعات البيانات): وجدوا 19 مجموعة مختلفة من الجمل البنغالية (مجموعات بيانات) من الإنترنت. اعتبر هذه كأنها مكتبات مختلفة؛ بعض المكتبات مليئة بالأخبار، وبعضها بمنشورات وسائل التواصل الاجتماعي، وبعضها بالروايات.
- المعلمون (المطورون): تم تنظيم هذه المكتبات من قبل أشخاص مختلفين. حاول الباحثون معرفة هؤلاء المعلمين (جنسهم، دينهم، وجنسيتهم) لمعرفة ما إذا كانت انحيازاتهم الشخصية ستنتقل إلى الروبوتات.
2. التجربة: "اختبار التذوق"
أعطى الباحثون الروبوتات "اختبار تذوق" خاصاً. قاموا بتغذيتها بأزواج من الجمل التي تعني الشيء نفسه تماماً ولكن تستخدم كلمات مختلفة للإشارة إلى الهوية.
- مثال: استخدمت إحدى الجمل كلمة لـ "الماء" شائعة في الهند، بينما استخدمت الأخرى كلمة لـ "الماء" شائلة في بنغلاديش.
- الهدف: إذا كان الروبوت عادلاً، فيجب أن يعطي كلا الجملتين نفس "درجة الشعور". إذا أعطى إحداهما درجة عالية (إيجابية) والأخرى منخفضة (سلبية)، فهو منحاز.
3. النتائج: ماذا وجدوا؟
أ. الروبوتات منحازة (تأثير "غرفة الصدى")
وجدت الدراسة أن معظم الروبوتات كانت غير عادلة.
- الجنس: 61% من الروبوتات أحبت الجمل المتعلقة بالرجال أكثر من النساء. و24% فقط أحبت النساء أكثر.
- الدين: 61% من الروبوتات فضلت الهويات الإسلامية، بينما فضلت 24% الهويات الهندوسية.
- الجنسية: 50% من الروبوتات فضلت الهويات البنغلاديشية، بينما فضلت 26% الهويات الهندية.
ب. المعلمون لم يهموا (تأثير "الشبح في الآلة")
قد تعتقد أنه "إذا كان المعلم رجلاً، فسيكون الروبوت متحيزاً ضد المرأة". تحقق الباحثون من ذلك، لكنهم لم يجدوا رابطاً واضحاً.
- على الرغم من أن معظم منشئي مجموعات البيانات كانوا رجالاً، ومسلمين، ومن بنغلاديش، إلا أن الروبوتات لم تنسخ ببساطة انحيازاتهم المحددة.
- الخلاصة: لم يأتِ الانحياز من الشخص المحدد الذي كتب البيانات، بل جاء من التفاعل بين البيانات ودماغ الروبوت.
ج. الدماغ أهم من المكتبة (المتخصص مقابل العام)
كانت هذه النتيجة الأكثر إثارة للدهشة.
- الروبوت المتخصص (BanglaBERT) كان عموماً أكثر عدلاً وأقل انحيازاً من الروبوت العام (mBERT).
- التشبيه: تخيل أن الروبوت العام يشبه سائحاً يحاول فهم ثقافة ما من خلال قراءة بعض الكتيبات السياحية بلغات عديدة؛ فهو يفهم الأساسيات لكنه يفتقد الفروق الدقيقة. أما الروبوت المتخصص فهو يشبه شخصاً محلياً نشأ وهو يتحدث اللغة؛ فهو يفهم الاختلافات الثقافية الدقيقة بشكل أفضل.
- ومع ذلك، لم تكن أي مكتبة مثالية. حتى أفضل مجموعات البيانات كانت تحتوي على انحيازات في بعض المجالات. فإذا كانت مجموعة بيانات عادلة فيما يتعلق بالجنس، فقد تكون غير عادلة فيما يتعلق بالدين.
4. الصورة الكبيرة: إنه تفاعل متسلسل
تجادل الورقة بأن الانحياز ليس مجرد "خطأ برمجي" في كود واحد. إنه تفاعل متسلسل.
- فكر في الأمر مثل سباق التتابع.
- العداء الأول (النموذج المدرب مسبقاً) يبدأ ببعض الانحيازات المتأصلة.
- العداء الثاني (مجموعة البيانات) يضيف نكهته الخاصة.
- عندما يسلمون العصا (الضبط الدقيق)، تكون النتيجة النهائية مزيجاً من كليهما.
- أحياناً، يمكن لـ "مجموعة بيانات جيدة" أن تصلح "نموذجاً سيئاً". وأحياناً، يمكن لـ "مجموعة بيانات سيئة" أن تفسد "نموذجاً جيداً".
5. لماذا هذا مهم (الظلم المعرفي)
يستخدم المؤلفون مصطلحاً معقداً وهو "الظلم المعرفي" (Epistemic Injustice). وببساطة، هذا يعني أن الروبوت يسلب بعض الناس أصواتهم بشكل غير عادل.
- إذا اعتقد الروبوت أن جملة كتبها شخص بنغلاديشي هي "سلبية" لمجرد أنه استخدم كلمة محلية معينة لـ "الماء"، فإن الروبوت يقول: "طريقتك في الكلام خاطئة أو سيئة".
- هذا غير عادل لأنه يعامل لغة مجموعة معينة على أنها "المعيار" ولغات أخرى على أنها "غير صحيحة"، مما يعزز الانقسامات الاجتماعية القديمة.
الملخص
تخلص الورقة إلى أنه لإصلاح الانحياز في اللغات ذات الموارد المحدودة مثل البنغالية، لا يمكننا فقط لوم الأشخاص الذين صنعوا البيانات. يجب أن ننظر إلى النظام بأكمله:
- لا تستخدم نماذج واحدة تناسب الجميع: النماذج المتخصصة (مثل BanglaBERT) تبدو قادرة على التعامل مع الثقافة المحلية بشكل أفضل من النماذج العامة.
- لا توجد مجموعة بيانات مثالية: كل مكتبة لديها بعض الانحياز، لذا يجب أن نكون حذرين بشأن المجموعة التي نختارها.
- التركيبة هي المفتاح: يأتي الانحياز من كيفية اختلاط النموذج والبيانات معاً، وليس من أحدهما فقط.
يدعو الباحثون إلى إجراء المزيد من "عمليات التدقيق" (الرقابة والتوازن) للتأكد من أن هذه الأدوات الرقمية لا تؤذي المجتمعات التي من المفترض أن تخدمها عن غير قصد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.