How Quantization Shapes Bias in Large Language Models
تُقيّم هذه الدراسة بشكل شامل كيف يؤثر تكميم الأوزان والتنشيط على أشكال مختلفة من التحيز في النماذج اللغوية الكبيرة، كاشفةً أنه بينما يمكنه تقليل السمية والحفاظ على المشاعر، فإنه غالباً ما يفاقم الصور النمطية وعدم الإنصاف في المهام التوليدية، لا سيما في ظل الضغط الشديد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة معرفية عبقرية، لكنها ثقيلة للغاية (نموذج لغوي كبير). هي تعرف كل شيء، لكنها ثقيلة جداً بحيث يصعب حملها على هاتف أو كمبيوتر صغير. ولجعلها محمولة، قررت "ضغطها". لقد أخذت الكتب الضخمة عالية الدقة وتقلصت بها إلى كتيبات صغيرة بحجم الجيب. تسمى هذه العملية "الكمنتة" (Quantization).
هذه الورقة البحثية تطرح سؤالاً مهماً للغاية: عندما نقوم بتقليص هذه الكتب لجعلها أخف وزناً، هل نمزق بالخطأ الصفحات التي تتحدث عن العدالة، أم أننا نكتب بالخطأ بعض الصور النمطية السيئة؟
إليك تفصيل ما وجده الباحثون، باستخدام تشبيهات من الحياة اليومية.
1. عملية "التقليص"
تخيل النموذج الذكي كصورة فوتوغرافية ضخمة وعالية الدقة.
- النموذج الأصلي: صورة بدقة 4K. كل بكسل مثالي، وكل تفصيل حاد.
- الكمنتة (Quantization): أنت تضغط تلك الصورة لتصبح بصيغة JPEG منخفضة الدقة لتوفير المساحة.
- الهدف: تريد أن تظل الصورة تبدو جيدة بما يكفي للتعرف على الوجه، لكنك لا تهتم إذا كانت التفاصيل الصغيرة ضبابية قليلاً.
اختبر الباحثون طرقاً مختلفة لتقليص الصورة (استراتيجيات مختلفة مثل GPTQ و AWQ و SmoothQuant) ومستويات مختلفة من الضغط (من "ضبابي قليلاً" إلى "مربعات مشوهة جداً").
2. الأخبار الجيدة: "فلتر السمية"
أحد أكثر النتائج إثارة للدهشة هو أن تقليص النموذج جعل مخرجاته أقل سمية.
- التشبيه: تخيل حفلة صاخبة ومزعجة (الذكاء الاصطناعي الأصلي). أحياناً، يقول الضيوف أشياء مسيئة أو مهينة. عندما تقوم بتقليص النموذج، فالأمر يشبه خفض مستوى الصوت من مكبرات الصوت وطلب من الجميع التحدث بنبرات خافتة.
- النتيجة: أظهرت النماذج "المكمتة" عدداً أقل بكثير من الكلمات النابية والتعليقات المسيئة. يبدو أن عملية الضغط تعمل بالصدفة كـ "فلتر أخلاقي"، حيث تنعم الحواف الخشنة وتجعل الذكاء الاصطناعي أكثر أدباً.
3. الأخبار السيئة: "مضخم الصور النمطية"
ومع ذلك، بينما أصبح الذكاء الاصطناعي أقل سوءاً في الألفاظ، أصبح أكثر تمسكاً بالصور النمطية.
- التشبيه: تخيل طالباً يحاول الإجابة على سؤال في اختبار.
- النموذج الأصلي: يعرف الحقائق تماماً. إذا سُئل: "من هي الممرضة؟" فقد يقول: "يمكن أن يكون رجلاً أو امرأة"، لأنه يعرف البيانات.
- النموذج المضغوط: نظرًا لأنه "ضبابي" وأقل يقيناً، يبدأ في التخمين بناءً على الأنماط الأكثر وضوحاً واعتياداً التي يتذكرها. إذا سُئل: "من هي الممرضة؟" فمن المرجح أن يخمن "امرأة" لمجرد أن هذا هو النمط الأكثر شيوعاً في بيانات تدريبه، حتى لو كان السياق يوحي بغير ذلك.
- النتيجة: كانت النماذج المكمتة أكثر عرضة لاتخاذ قرارات غير عادلة (مثل افتراض أن الرجل هو المدير والمرأة هي المساعدة) وكانت أكثر عرضة للاعتماد على الصور النمطية القديمة. لم يصبحوا "أشراراً" أكثر، لكنهم أصبحوا أقل تفكيراً وأكثر اعتماداً على الافتراضات الكسولة.
4. قوة "الاستنتاج" الخارقة
نظرت الورقة أيضاً في "نماذج الاستنتاج" (الذكاء الاصطناعي الذي يُعلم التفكير خطوة بخطوة، مثل معلم الرياضيات) مقابل النماذج العادية.
- التشبيه:
- النموذج العادي: عداء سريع ينطلق نحو خط النهاية. قد يتعثر في صورة نمطية بسبب السرعة.
- نموذج الاستنتاج: متنزّه يتوقف لينظر إلى الخريطة. هو يفكر: "مهلاً، هل هذا صحيح حقاً؟" قبل الإجابة.
- النتيجة: كانت نماذج "الاستنتاج" أقل انحيازاً بطبيعتها. ولكن إليكم الخدعة: عندما تقوم بضغطها، فإنها تفقد هذه القوة الخارقة. إذا قمت بتقليص نموذج "الاستنتاج" كثيراً، فإنه يتوقف عن التفكير خطوة بخطوة ويبدأ في التخمين، تماماً مثل النماذج العادية. عملية الضغط "تُضعف" قدرته على التفكير المنطقي.
5. فجوة "العدالة"
عندما طلب الباحثون من الذكاء الاصطناعي اتخاذ قرارات (مثل "من يحصل على القرض؟")، كانت النماذج المكمتة غير عادلة قليلاً.
- التشبيه: تخيل قاضياً متعباً ويعاني من صداع (النموذج المكمت). من المرجح أن يتخذ قراراً سريعاً ومنحازاً بناءً على شعور داخلي بدلاً من وزن الأدلة بعنافي.
- النتيجة: كانت النماذج المكمتة أكثر عرضة لاختيار مجموعة على أخرى بشكل غير عادل، خاصة عندما كان الضغط شديداً (أي جعل النموذج صغيراً جداً).
الخلاصة الكبرى
تخلص الورقة إلى أن الكمنتة هي عملية مقايضة.
- الإيجابيات: تجعل الذكاء الاصطناعي أسرع، وأرخص في التشغيل، وللمفاجأة، أقل سمية.
- السلبيات: تجعل الذكاء الاصطناعي أكثر تمسكاً بالصور النمطية وأقل عدلاً في قراراته. كما تجعل الذكاء الاصطناعي "أقل ذكاءً" في التفكير بعمق.
الدرس النهائي:
إذا كنت تريد تشغيل ذكاء اصطناعي على هاتف أو جهاز صغير، فلا بد لك من ضغطه. لكن لا يمكنك ضغطه بشكل أعمى. يجب أن تكون حذراً. إذا قلصته كثيراً (مثل الانتقال من صورة 4K إلى صورة مصغرة صغيرة جداً)، فقد توفر المساحة، لكنك ستفقد "الإنسانية" والعدالة في النموذج. ستحصل على روبوت مهذب، ولكنه أيضاً متحيز وغير ذكي جداً.
الباحثون يخبروننا: "كن حذراً في إعدادات الضغط الخاصة بك. لا تنظر فقط إلى مدى صغر حجم النموذج؛ بل تحقق مما إذا كان لا يزال يتصرف بعدالة."
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.