Investigating Bias in Bulgarian in the Context of Large Language Models
تقدم هذه الورقة مجموعة بيانات بلغارية مُعنونة يدويًا لتقييم كشف التحيز، كاشفةً عن توافق عالٍ بين المقيّمين البشريين ولكن تباينًا كبيرًا بين البشر والنماذج اللغوية الكبيرة، مع إثبات أن التلقين باللغة البلغارية يحسن محاذاة النموذج مع الأحكام البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً فائق الذكاء كيف يفهم القصص البشرية. تعطي هذا الروبوت ملايين الكتب، والمقالات، والمواقع الإلكترونية ليقرأها، آملًا أن يتعلم ليس فقط القواعد اللغوية، بل وأيضاً كيف يكون عادلاً، ولطيفاً، ومحايداً. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي العقول الاصطناعية التي تقف وراء برامج الدردشة الآلية ومحركات البحث. لكن هنا تكمن المشكلة: الروبوتات تتعلم من خلال محاكاة ما تراه. فإذا كانت الكتب التي تقرؤها تحتوي على صور نمطية قديمة أو آراء غير عادلة حول مجموعات معينة من الناس، فقد يتعلم الروبوت تلك التحيزات أيضاً عن غير قصد. الأمر يشبه طالباً لا يقرأ إلا كتب التاريخ المكتوبة من جانب واحد من الحرب؛ فقد يعتقد أن ذلك الجانب هو دائماً على حق. العلماء قلقون لأنه إذا بدأت هذه الروبوتات في اتخاذ قرارات بشأن الوظائف، أو القروض، أو الأخبار، فقد تعامل الناس بغير عدل عن غير قصد. السؤال الكبير هو: هل يمكننا تعليم هذه الروبوتات رصد عدم الإنصاف في النصوص، وهل ترى الأمر بنفس الطريقة التي يراه البشر؟
تتعمق هذه الورقة البحثية في هذا السؤال، ولكن مع لمسة مختلفة: فهي تنظر إلى اللغة البلغارية. معظم أبحاث الذكاء الاصطناعي تركز على اللغة الإنجليزية، وهو أمر يشبه دراسة نكهة واحدة فقط من نكهات الآيس كريم والافتراض بأنك فهمت محتويات المجمد بأكمله. أراد الباحثون معرفة ما إذا كانت القواعد نفسها تنطبق على لغة ذات موارد رقمية أقل وثقافة مختلفة تماماً. لقد قاموا ببناء "مجموعة أدوات اختبار" خاصة باستخدام 3,177 جملة من ويكيبيديا البلغارية. قرأ خبيران بشريان هذه الجمل وقاما بتقييمها على مقياس من 0 إلى 5 لمعرفة مدى انحيازها، بحثاً عن عدم الإنصاف المتعلق بالنوع الاجتماعي، أو الدين، أو العرق، أو المظهر، أو الإعاقة. ثم طلبوا من ثلاثة نماذج مختلفة من الذكاء الاصطناعي (Gemma 4، وBgGPT-Gemma-3، وQwen 3) تقييم نفس الجمل.
كانت النتائج صادمة، كأن تسأل إنساناً وروبوتاً أن يحكما على خدعة سحرية وتحصل على إجابات مختلفة تماماً. اتفق البشر مع بعضهم البعض في معظم الأوقات (لم يختلفوا سوى بنسبة 4.9% حول ما إذا كانت الجملة منحازة أم لا). ومع ذلك، عندما حاولت نماذج الذكاء الاصطناعي القيام بنفس المهمة، كانت أقل موثوقية بكثير. اختلف الروبوتات مع البشر بنسبة تتراوح بين 24% إلى 34%. والأسوأ من ذلك، أنه عندما قال البشر إن جملة ما كانت منحازة، لم يلحظ الروبوت ذلك غالباً، وعندما كان الروبوت يحدد شيئاً كمنحاز، كان البشر يروْن أنه أمر طبيعي.
تشير الورقة البحثية إلى أن الروبوتات ليست مجرد "مخطئة"؛ بل هي تتبع قواعد مختلفة. كان البشر صارمين جداً بشأن مدى سوء الانحياز (بإعطاء درجات عالية للانحياز القوي)، لكن الروبوتات كانت أكثر حذراً، حيث أعطت درجات منخفضة جداً حتى عندما رأى البشر انحيازاً قوياً. الأمر كما لو أن البشر يصرخون: "هذا فظيع!" بينما يهمس الروبوت: "ربما هو فظ قليلاً؟".
ومع ذلك، كان هناك اكتشاف مثير للاهتمام. أحد نماذج الذكاء الاصطناعي، BgGPT-Gemma-3، تم بناؤه خصيصاً لبلغاريا. عندما وجه الباحثون إليه أسئلة باللغة الإنجليزية، كان أداؤه ضعيفاً. ولكن عندما قاموا بتغيير التعليمات إلى اللغة البلغارية، بدأ الروبوت فجأة يرى الانحياز بشكل يشبه البشر. يبدو الأمر كما لو أن التحدث بلغة الروبوت الأصلية قد أيقظ جزءاً مختلفاً من دماغه، مما ساعده على فهم السياق الثقافي بشكل أفضل.
تخلص الدراسة إلى أننا لا نستطيع الاعتماد على الروبوتات لإصلاح الانحياز في اللغات ذات الموارد المحدودة مثل البلغارية بعد. فهي حالياً مختلفة جداً عن الحكم البشري. وتقترح المؤلفة أنه بدلاً من الاعتماد على ذكاء اصطناعي واحد للقيام بالتقييم، قد نحتاج إلى استخدام فريق من أنواع مختلفة من الذكاء الاصطناعي ثم جعل البشر يراجعون عملهم. كما تؤكد على أننا بحاجة إلى بناء قواميس وأدوات أفضل مخصصة للثقافة البلغارية، لأن الروبوتات تفتقر حالياً إلى الإشارات الثقافية الدقيقة التي يلتقطها البشر فوراً. وحتى ذلك الحين، لا تزال الروبوتات في مرحلة التعلم لتكون عادلة حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.