Subjective Multi-Bias Detection with Large Language Models
تقدم هذه الورقة مشروعاً يستخدم النماذج اللغوية الكبيرة للكشف عن ثلاثة أنواع من الانحيازات الذاتية -التأطير، والإبستمولوجي، والديموغرافي- وتصنيفها في النصوص، وذلك بالاستفادة من مجموعة بيانات WIKIBIAS التي تضم أكثر من 4,000 زوج من تعديلات ويكيبيديا لتحديد المواقف والتشويهات غير اللائقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتصفح موجز أخبار أو تقرأ مقالاً على ويكيبيديا، فتعثرت بجملة تبدو "غريبة" قليلاً. ربما تجعل مجموعة معينة من الناس تبدو كأنهم أشرار دون قول ذلك صراحة، أو تستخدم كلمات منمقة لجعل ادعاء واهٍ يبدو كأنه حقيقة مطلقة. هذا هو عالم التحيز الذاتي. الأمر لا يتعلق بمجرد الكذب؛ بل يتعلق بالطرق الخفية والمراوغة التي يمكن للكُتّاب من خلالها تحريف الحقيقة أو إخفاء آرائهم داخل "الحقائق". إن اكتشاف هذا يمثل تحدياً هائلاً للحواسيب لأن التحيز، على عكس المسائل الرياضية ذات الإجابة الصحيحة أو الخاطئة الواضحة، غالباً ما يختبئ في النبرة، واختيار الكلمات، والافتراضات غير المعلنة.
لسنوات، حاول العلماء تعليم الحواسيب رصد هذه الحيل باستخدام نماذج مثل BERT، وهو يشبه طالباً ذكياً جداً قرأ ملايين الكتب ولكنه لا يزال يخطئ أحياناً في إدراك "روح" الجملة أو سياقها الضمني. ومؤخراً، وصلت جيل جديد من النماذج اللغوية الكبيرة (LLMs). فكر في هذه النماذج كأدمغة ذكاء اصطناعي خارقة لا تكتفي بقراءة الكلمات فح، بل تفهم الرقصة المعقدة للغة البشرية، والثقافة، والسياق. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكن لهذه الأدمغة الضخمة للذكاء الاصطناعي أن تمسك أخيراً بالتحيزات الذاتية الماكرة التي تستمر النماذج القديمة في تفويتها؟
هذه الورقة البحثية هي قصة فريق من الباحثين الذين قرروا وضع هذه الأدمغة الجديدة للذكاء الاصطناعي تحت الاختبار. لقد تولوا مهمة التعامل مع مجموعة بيانات صعبة تسمى WIKIBIAS، والتي تحتوي على أكثر من 4,000 زوج من الجمل من تعديلات ويكيبيديا. هذه الأزواج تشبه لقطات "قبل وبعد"، حيث قام شخص ما بتعديل جملة لإضافة نوع معين من التحيز. كان الباحثون يبحثون عن ثلاثة أنواع محددة من الحيل: تحيز التأطير (استخدام كلمات أحادية الجانب لفرض وجهة نظر معينة)، والتحيز المعرفي (لغة مبطنة تجعل القصة تبدو أكثر أو أقل مصداقية مما هي عليه)، والتحيز الديموغرافي (كلمات تفترض أشياء عن جنس الشخص، أو دينه، أو خلفيته).
أولاً، جربوا الطريقة التقليدية: نموذج BERT قياسي. كان الأمر يشبه طلب طالب مجتهد لكنه يعاني من قصر نظر ليقوم بتصحيح الأوراق. والنتيجة؟ حصل النموذج على درجة 0.33 على مقياس يسمى "macro-F1" (وهي طريقة لقياس مدى أداء النموذج عبر جميع الفئات). لقد عانى النموذج، خاصة مع أنواع التحيز الأكثر تعقيداً وأقل شيوعاً، حيث كان يخلط بينها أو يخطئها تماماً. كان من الواضح أن الأدوات القديمة لم تكن حادة بما يكفي لهذه المهمة.
لذا، بنى الفريق شيئاً جديداً: EnsembleLlama. بدلاً من الاعتماد على ذكاء اصطناعي واحد، أنشأوا "فريقاً من الخبراء". لقد أخذوا نموذجاً قوياً مفتوح المصدر يسمى LLaMA2 (تحديداً نسخة الـ 7 مليارات بارامتر) وأعطوه مهمة خاصة. فبدلاً من محاولة تخمين أنواع التحيز الثلاثة معاً — وهو أمر كان يربك النموذج لأن بعض التحيزات نادرة — قاموا بتدريب ثلاثة "خبراء مصغرين" منفصلين. خبير واحد ينظر فقط في تحيز التأطير، وآخر يبحث فقط في التحيز المعرفي، والثالث يبحث فقط في التحيز الديموغرافي. ثم قاموا بتجميع هؤلاء الخبراء الثلاثة معاً، تاركين لهم مهمة التصويت على الإجابة النهائية.
كانت النتائج نقطة تحول جذري. فباستخدام هذا النهج القائم على "المجموعة"، قفزت درجة النموذج من 0.33 لتصل إلى 0.59. هذا يمثل تحسناً بنسبة 26% عن النموذج الأساسي القديم. لم يصبح النموذج أفضل في الأمور السهلة فحسب، بل حسن بشكل كبير قدرته على رصد التحيزات النادرة والصعبة التي كانت النماذج القديمة تخطئها باستمرار. على سبيل المثال، عندما رأى النموذج القديم جملة عن متطوع من الجيش الجمهوري الأيرلندي (IRA) وظن أنه مجرد "تحيز تأطير"، حدد الفريق الجديد بشكل صحيح أنه "تحيز معرفي".
ومع ذلك، فإن الباحثين حذرون من وصف هذا بأنه حل مثالي. فقد أقروا بأنه بينما يعد نموذجهم أفضل بكثير، إلا أنه لا يزال ليس مثالياً. هناك حالات ارتبك فيها الذكاء الاصطناعي، مثل حالة جملة عن مدرسة أسسها الآباء تم تصنيفها خطأً على أنها "بلا تحيز" بينما كانت في الواقع تحتوي على "تحيز تأطير". ويقترحون أن نجاح النموذج لا يزال مرتبطاً بمدى فهمه للنص والمعرفة التي تمت تغذيته بها. كما أشاروا إلى أن مجرد تكديس الخبراء قد ساعد، ولكن قد تكون هناك طرق أكثر ذكاءً لدمجهم في المستقبل.
باخت-الاختصار، تظهر هذه الورقة البحثية أنه من خلال تقسيم مشكلة صعبة إلى أجزاء أصغر واستخدام عقل ذكاء اصطناعي جديد وقوي لمعالجة كل جزء، يمكننا رصد التحيز الذاتي بشكل أفضل من ذي قبل. إنها خطوة كبيرة للأمام، لكن الرحلة نحو الفهم الكامل للتحيز البشري في النصوص لا تزال مستمرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.