Bi-directional Bias Attribution: Debiasing Large Language Models without Modifying Prompts
تقترح هذه الورقة إطار عمل يكتشف الكلمات المسببة للصور النمطية ويعزو التحيز إلى عصبونات محددة في النماذج اللغوية الكبيرة، مما يتيح إزالة التحيز بفعالية من خلال التدخل المباشر في التنشيط دون الحاجة إلى ضبط دقيق أو تعديلات في المطالبات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نماذج اللغات الكبيرة (LLMs) كطهاة موهوبين للغاية قرأوا كل وصفة وقصة كُتبت تقريباً. يمكنهم إعداد أطباق مذهلة (إجابات) لأي طلب. ومع ذلك، ولأنهم تعلموا من العالم الحقيقي، فقد يضيفون أحياناً "مكونات سرية" من التحيز عن طريق الخطأ. على سبيل المثال، إذا سألت: "من هو الطبيب؟" فقد يفترضون تلقائياً أن الطاهي رجل، أو إذا سألت عن "ممرضة"، فقد يفترضون أنها امرأة. هذه ليست خيارات خبيثة؛ بل هي مجرد تكرار للنماذج التي رآها النموذج في بيانات التدريب الخاصة به.
تقترح الورقة البحثية التي قدمتها، بعنوان "نسب التحيز ثنائي الاتجاه" (Bi-Directional Bias Attribution)، طريقة جديدة لإصلاح هذه "المكونات السرية" دون الحاجة إلى إعادة تدريب الطاهي بالكامل أو تغيير طريقة طلب الزبائن للطعام.
إليك شرح مبسط لكيفية قيامهم بذلك:
1. المشكلة في الطرق القديمة
عادةً، لإصلاح طاهٍ متحيز، لديك خياران سيئان:
- إعادة التدريب: تجعل الطاهي يتدرب باستخدام كتب طبخ جديدة ومتوازنة تماماً. وهذا يستغرق وقتاً هائلاً، ومالاً، وطاقة (قدرة حوسبية).
- هندسة الأوامر (Prompt Engineering): تخبر الزبون: "يرجى سؤال الطاهي بطريقة محددة جداً لضمان عدم تحيزه". وهذا أمر مزعج للمستخدم ويجعل المحادثة ركيكة.
أراد المؤلفون حلاً يصلح عادات الطاهي الداخلية دون جعله يتدرب مرة أخرى أو تغيير كيفية تحدث الزبائن معه.
2. الخطوة الأولى: إيجاد "الكلمات المحفزة" (إشارات الصور النمطية)
أولاً، احتاج الباحثون لمعرفة أي كلمات محددة في الجملة تسبب تحيز النموذج.
- التشبيه: تخيل مفتاح ضوء، عندما يتم تشغيله، يفعّل فكرة متحيزة معينة. أراد الباحثون معرفة أي الكلمات تعمل بالضبط كمفتاح لهذا التشغيل.
- كيف فعلوا ذلك: اختبروا الآلاف من الصفات والأسماء (مثل "لطيف"، "طبيب"، "محارب") لمعرفة أي منها جعل توقعات النموذج تصبح ضيقة للغاية ويمكن التنبؤ بها (انخفاض "الاعتلاج" أو الـ entropy). إذا كانت كلمة مثل "مربي/راعي" تجعل النموذج متأكداً بنسبة 99% أن الشخص أنثى، فقد تم وضع علامة على هذه الكلمة كـ "إشارة صورة نمطية" (Stereotype Cue).
3. الخطوة الثانية: العمل الاستقصائي "ثنائي الاتجاه"
بمجرد الحصول على الكلمات المحفزة، احتاجوا لمعرفة أين تعيش هذه التحيزات داخل دماغ النموذج. يتكون النموذج من ملايين الوحدات المعالجة الصغيرة المسماة نيورونات (عصبونات). استخدم المؤلفون استراتيجيتين مختلفتين للتحري للعثور على النيورونات "السيئة":
- نسب التحيز الأمامي (محقّق "التوقع"):
- السيناريو: يرى النموذج كلمة متحيزة (مثل "مربي/راعي") ويتوقع جنساً معيناً.
- الطريقة: تتبعوا المسار من الكلمة إلى التوقع لمعرفة أي نيورونات محددة كانت تقوم بالعمل الشاق لجعل ذلك التخمين المتحيز.
- نسب التحيز الخلفي (محقّق "الفرق"):
- السيناريو: يقارنون بين رد فعل النموذج تجاه "ممرض ذكر" مقابل "ممرضة أنثى".
- الطريقة: بحثوا عن النيورونات التي تعمل بشكل مختلف بناءً على الجنس، مما حدد الأجزاء التي تخلق الفجوة بين المجموعتين.
باستخدام كلا المحققين، حصلوا على خريطة كاملة توضح بالضبط أي النيورونات مسؤولة عن التحيز.
4. الخطوة الثالثة: "زر الصمت" (التدخل)
الآن بعد أن عرفوا بالضبط أي النيورونات تسبب المشاكل، لم يقوموا بحذفها أو إعادة تدريب النموذج. بدلاً من ذلك، قاموا ببساطة بـ تجميد تلك النيورونات المحددة.
- التشبيه: تخيل جوقة موسيقية صاخبة حيث يغني بعض المغنين بنشاز. بدلاً من طرد الجوقة بأكملها أو تعليمهم الغناء من جديد، يمكنك فقط وضع زر كتم للصوت للمغنيين الذين يغنون بنشاز.
- النتيجة: قاموا بضبط تنشيط هذه "النيورونات المتحيزة" لتكون قيمة ثابتة ومحايدة. هذا يمنعها من دفع النموذج نحو صورة نمطية، بينما يستمر بقية النموذج (المغنون الجيدون) في العمل بشكل مثالي.
5. النتائج
اختبر الباحثون هذا على ثلاثة نماذج ذكاء اصطناعي شهيرة (Llama-3.1، Llama-3.2، و Mistral).
- العدالة: أصبحت النماذج أكثر عدلاً. فعند السؤال عن الأطباء أو الممرضات، توقفت عن افتراض أجناس محددة وبدأت في التخمين بشكل أكثر توازناً (قرب نسبة 50/50).
- الأداء: والأهم من ذلك، لم تصبح النماذج "أغبى". ظلت تفهم اللغة جيداً ويمكنها الإجابة على الأسئلة بشكل صحيح. "زر الكتم" أسكت التحيز فقط، ولم يسكت الذكاء.
ملخص
تقدم هذه الورقة نهجاً "جراحياً" لإصلاح تحيز الذكاء الاصطناعي. فبدلاً من إجراء عملية إصلاح شاملة وثقيلة (إعادة التدريب) أو حل مؤقت غير متقن (تغيير الأوامر)، حددوا "الثمار الفاسدة" (النيورونات) المحددة داخل النموذج باستخدام طريقة تحقيق ثنائية الاتجاه وقاموا بتحييدها ببساطة. وهذا يسمح للذكاء الاصطناعي بأن يظل ذكياً ومفيداً مع معاملة جميع الفئات من الناس بمزيد من العدالة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.