Uncertainty Drives Social Bias Changes in Quantized Large Language Models
تكشف هذه الدراسة أن التكميم ما بعد التدريب يغير بشكل جذري التحيزات الاجتماعية للنماذج اللغوية الكبيرة من خلال عملية "قلب التحيز المقنع" المدفوع بعدم اليقين، مما يتسبب في تحولات ديموغرافية كبيرة وغير متماثلة تظل غير مكتشفة بواسطة المقاييس الإجمالية رغم التغيرات الجوهرية في الاستجابات الفردية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أمين مكتبة حكيماً ومدرباً جيداً (نموذج لغوي كبير)، وقد تم تعليمه معاملة الجميع بإنصاف، بغض النظر عن أعمارهم أو جنسهم أو خلفياتهم. تريد وضع معرفة هذا الأمين في حقيبة ظهر أصغر وأكثر سهولة في الحمل، لكي يتمكن من العمل على هاتف أو كمبيوتر محمول رخيص. تسمى هذه العملية الكمية (Quantization). إنها تشبه تحويل موسوعة ضخمة عالية الدقة إلى كتيب صغير الحجم لتوفير المساحة.
تجادل هذه الورقة البحثية بأنه بينما يوفر هذا الضغط مساحة، فإنه يتسبب بالخطأ في بعثرة إحساس أمين المكتبة بالعدالة بطرق لم نتوقعها.
إليك تفصيل ما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. "الخلط الخفي" (قلب التحيز المقنع)
المفاجأة الأكبر هي أنه عندما تنظر إلى متوسط درجة عدالة أمين المكتبة، تبدو متطابقة تماماً قبل الضغط وبعده. الأمر يشبه رمي عملة معدنية 1000 مرة؛ إذا حصلت على 500 صورة و500 كتابة، فإن المتوسط هو 50/50.
ومع ذلك، وجد الباحثون أن 21% من الإجابات الفردية قد انقلبت بالفعل.
- قبل الضغط: قد يكون أمين المكتبة قد قال: "لا يمكنني التقرير، هذا نمط شائع" (غير متحيز).
- بعد الضغط: فجأة قال أمين المكتبة: "نعم، هذا النمط شائع حقاً" (متحيز).
- الخدعة: في الوقت نفسه، وبالنسبة لأسئلة أخرى، انقلب أمين المكتبة من متحيز إلى غير متحيز. ولأن هذه الانقلابات حدثت في اتجاهات متعاكسة، فقد ألغت بعضها البعض في النتيجة النهائية. بدا "الرقم" محايداً، لكن الإجابات الفردية كانت مختلفة تماماً.
2. "الطاولة المهتزة" (عدم اليقين يقود التغيير)
لماذا قلب أمين المكتبة إجاباته؟ وجدت الورقة أن هذا يحدث غالباً عندما يكون أمين المكتبة غير متأكد.
تخيل أمين المكتبة كشخص يقف على طاولة مهتزة.
- الإجابات الواثقة: عندما يكون أمين المكتبة متأكداً بنسبة 100% من الإجابة، تكون الطاولة مستقرة. الضغط لا يهز استقراره.
- الإجابات غير المتأكدة: عندما يتردد أمين المكتبة (عدم يقين عالٍ)، تكون الطاولة مهتزة بالفعل. الضغط هنا يشبه شخصاً يعطي تلك الطاولة المهتزة دفعة صغيرة. يسقط أمين المكتبة عن موقفه "غير المتحيز" ويستقر على موقف "متحيز" (أو العكس).
وجدت الدراسة أن الإجابات غير المتأكدة كانت أكثر عرضة بـ 3 إلى 11 مرة لتغيير رأيها بعد الضغط مقارنة بالإجابات الواثقة.
3. "الحقيبة الثقيلة" (قوة الكمية)
ليست كل حقائب الظهر متشابهة.
- ضغط 8-بت: هذا يشبه حقيبة ظهر متينة وثقيلة قليلاً. يحافظ على توازن أمين المكتبة إلى حد كبير.
- ضغط 4-بت: هذه حقيبة ظهر ضئيلة وفائقة الخفة. تجبر أمين المكتبة على التخلي عن الكثير من التفاصيل. وجدت الدراسة أن استخدام هذه الحقيبة "الأخف" تسبب في 4 إلى 6 مرات أكثر من التقلبات الفوضوية في الإجابات.
4. "الخلط غير المتكافئ" (التأثير غير المتماثل)
هذا هو الجزء الأكثر خطورة. على الرغم من أن متوسط درجة العدالة ظل كما هو، إلا أن التغييرات لم تحدث بالتساوي للجميع.
تخيل مجموعة من الناس ينتظرون في طابور.
- عندما يتم ضغط أمين المكتبة، قد يتعرض المجموعة (أ) (مثل الرجال) فجأة لمعاملة أسوأ (يزداد التحيز بنسبة تصل إلى 18.6%).
- وفي الوقت نفسه، قد تُعامل المجموعة (ب) (مثل قصار القامة) بشكل أفضل (ينخفض التحيز بنسبة تصل إلى 14.1%).
لأن مجموعة واحدة ساءت معاملتها وأخرى تحسنت، فإن "المتوسط" يبدو جيداً. ولكن في الواقع، تعاني مجموعات معينة بينما تستفيد أخرى. تسمي الورقة هذا تأثيراً غير متماثل. إنه يشبه الأرجوحة (السيسو)؛ إذا ارتفع أحد الجانبين وانخفض الآخر، فإن نقطة المركز لا تتحرك، لكن الأشخاص على الأطراف يمرون بتجارب مختلفة تماماً.
5. "الأكبر ليس دائماً أفضل"
قد تعتقد أن أمين مكتبة أكبر وأذكى (نموذج أكبر) سيكون أكثر استقراراً. وجدت الورقة لا يوجد دليل على أن النماذج الأكبر هي الأكثر أماناً. فالنموذج الصغير والنموذج العملاق كلاهما تعرض للاهتزاز بنفس القدر عند الضغط. لا يمكنك الافتراض ببساطة أن "الأكبر هو الأكثر أماناً" عند ضغطها.
الخلاصة
تخلص الورقة إلى أن ضغط نماذج الذكاء الاصطعي يشبه لعب لعبة "جينجا" (Jenga). يمكنك إزالة الكتل (البيانات) لجعل البرج أصغر، لكنك قد لا تلاحظ أن البرج أصبح غير مستقر حتى ينقلب فجأة في اتجاه معين.
ولأن "المتوسط" يخفي هذه التقلبات الفردية، فلا يمكننا الوثوق بالاختبارات القياسية لإخبارنا ما إذا كان النموذج المضغوط آمناً أم لا. يقترح الباحثون:
- لا تثق في المتوسط: انظر إلى الإجابات الفردية، خاصة تلك التي يبدو فيها النموذج غير متأكد.
- استخدم حقائب ظهر أثقل: ضغط 8-بت أكثر أماناً بكثير من ضغط 4-بت.
- افحص مجموعات محددة: تأكد من أن النموذج لا يضر مجموعة ما بالخطأ بينما يساعد أخرى.
يحذر المؤلفون من أنه إذا قمنا بنشر هذه النماذج المضغوطة في مجالات عالية المخاطر (مثل الرعاية الصحية أو القانون) دون التحقق من هذه التقلبات الخفية، فقد نُدخل بالخطأ تحيزات ضارة كنا نعتقد أننا قد أصلحناها بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.