The Asymmetric Harms of LLM Compression
تكشف هذه الورقة أن المقاييس التجميعية القياسية تفشل في رصد الأضرار غير المتماثلة لضغط النماذج اللغوية الكبيرة، والتي تضعف بشكل غير متناسب القدرة على الاحتفاظ بالمعرفة الأساسية، وتحافظ على مستويات ثقة عالية في المعلومات المفقودة حديثاً، وتخفي التحولات المتعارضة في التحيزات الاجتماعية عبر المجموعات السكانية الفرعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة هي البرامج الحاسوبية القوية التي تقف وراء العديد من أدوات الذكاء الاصطناي المتقدمة اليوم، وهي قادرة على كتابة القصص، والإجابة على الأسئلة المعقدة، وحل المشكلات. ولجعل هذه البرامج الضخمة مفيدة على الأجهزة اليومية مثل الهواتف الذكية أو أجهزة الكمبيوتر المحمولة، يقوم المهندسون غالباً بتقليص حجمها، وهي عملية تُعرف باسم "الضغط". ويتم ذلك لتوفير المساحة وتسريع وتيرة تفكير الحاسوب، تماماً مثل حزم حقيبة سفر ثقيلة بشكل أكثر إحكاماً من أجل رحلة. لسنوات عديدة، كانت الطريقة القياسية للتحقق مما إذا كانت عملية التقليص هذه قد نجحت هي النظر في الدرجة الإجمالية للبرنامج؛ فإذا كانت النسخة المضغوطة لا تزال تجيب على معظم الأسئلة بشكل صحيح وتبدو طبيعية، فإنها تُعتبر آمنة للاستخدام. ومع ذلك، فإن هذا النهج يعامل النموذج ككيان واحد متجانس، بافتراض أنه إذا كان متوسط الأداء يبدو جيداً، فإن كل شيء بداخله يعمل بشكل جيد.
لقد شرع فريق من الباحثين في البحث بعمق أكبر من مجرد هذه الدرجات المتوسطة. فقد أرادوا معرفة ما إذا كانت عملية تقليص هذه النماذج تخفي مشكلات محددة وغير متساوية قد تكون خطيرة أو غير عادلة. لقد فحصوا ثلاثة نماذج لغوية كبيرة مختلفة واختبروها مقابل إحدى عشرة طريقة مختلفة لضغطها. وبدلاً من مجرد التحقق مما إذا كان النموذج يحصل على الإجابة الصحيحة، بحثوا فيما يحدث للحقائق المحددة التي تعرفها النماذج، ومدى ثقة النماذج في نفسها عندما تخطئ، وما إذا كانت النماذج تعامل المجموعات المختلفة من الناس بشكل مختلف. وتكشف أعمالهم أن الضغط لا يجعل النموذج فقط أسوأ قليست في كل شيء؛ بل إنه يخلق مشهداً غريباً وغير متكافئ حيث تضيع بعض المعارف بينما يظل النموذج واثقاً بشكل خطير، وحيث يمكن للتحيزات الخفية أن تتغير بطرق تغفل عنها درجات المتوسط تماماً.
بدأ الباحثون بالتساؤل عن كيفية تأثير الضغط على ذاكرة النموذج لأنواع مختلفة من الحقائق. في العالم الحقيقي، هناك بعض الحقائق التي تُعد معرفة عامة، مثل عاصمة دولة ما، بينما توجد حقائق أخرى نادرة، مثل عدد سكان بلدة صغيرة ومنسية. ووجد الفريق أنه عندما يتم ضغط نموذج ما، فإنه لا يفقد هذه الحقائق النادرة بمعدل أكبر من الحقائق الشائعة، كما قد يتوقع المرء. بدلاً من ذلك، يحدث العكس بطريقة دقيقة؛ فبينما لا يزال النموذج يجيب على الأسئلة المتعلقة بالحقائق الشائعة بشكل صحيح أكثر من الأسئلة المتعلقة بالحقائق النادرة، إلا أنه يفقد في الواقع نسبة أكبر من قدرته على استرجاع تلك الحقائق الشائعة. أما الحقائق النادرة، ومن المثير للدهشة، فهي تحتفظ بدقتها الأصلية بشكل أفضل من الحقائق الشائعة. وهذا يعني أن الطريقة القياسية لقياس الأداء، التي تنظر إلى العدد الإجمالي للإجابات الصحيحة، تخفي حقيقة أن إدراك النموذج للمعلومات المعروفة جيداً يضعف أكثر من إدراكه للتفاصيل الغامضة.
والأمر الأكثر إثارة للقلق هو ما يحدث عندما ينسى النموذج شيئاً ما. فقد اكتشف الباحثون أنه عندما يفقد النموذج المضغوط قطعة من المعرفة كانت لديه، فإنه غالباً لا يدرك أنه قد نسيها. فبدلاً من أن يصبح غير متأكد أو يعترف بأنه لا يعرف الإجابة، غالباً ما يظل النموذج واثقاً جداً في استجابته الجديدة والخاطئة. وفي كثير من الحالات، حتى بعد أن يتسبب الضغط في فشل النموذج في سؤال أجاب عليه بشكل صحيح سابقاً، لا يزال النموذج يتحدث بدرجة عالية من اليقين. هذا الإفراط في الثقة ليس ثابتاً عبر جميع أنواع الضغط أو جميع النماذج، ولكنه نمط متكرر ومقلق. ويشير هذا إلى أن النموذج المضغوط قد يعطي إجابة خاطئة بنفس السلطة التي يعطي بها إجابة صحيحة، مما يجعل من الصعب على المستخدم معرفة متى يكون الجهاز مخطئاً.
كما بحثت الدراسة في كيفية تأثير الضغط على العدالة والتحيز، وتحديداً كيف تعاملت النماذج مع مجموعات مختلفة من الناس بناءً على الجنس أو غيرها من الخصائص. ووجد الباحثون أن النظر في درجة التحيز الإجمالية يمكن أن يكون مضللاً. فقد يظهر النموذج المضغوط تغيراً طفيفاً جداً في درجة تحيزه الإجمالية، مما يدفع المراقبين للاعتقاد بأنه لا يزال عادلاً. ومع ذلك، عندما نظروا عن كثب إلى مجموعات محددة، وجدوا أن تفضيلات النموذج كانت تتغير بشكل كبير في اتجاهات متعاكسة لأشخاص مختلفين. على سبيل المثال، قد يصبح النموذج أكثر تحيزاً ضد مجموعة واحدة بينما يصبح في الوقت نفسه أقل تحيزاً ضد مجموعة أخرى، وهذان التغيران يلغيان بعضهما البعض في المتوسط النهائي. وهذا يعني أن النموذج قد يبدو متوازناً تماماً على الورق بينما يصبح في الواقع أكثر ضرراً لأفراد أو مجتمعات معينة.
تتحدى هذه النتائج الفكرة القائلة بأن النموذج المضغوط هو مجرد نسخة أصغر وأسرع من النموذج الأصلي. وتظهر الأبحاث أن عملية تقليص هذه النماذج تخلق تغييرات غير متماثلة تفشل الاختبارات القياسية في رصدها. فالنماذج لا تتدهور بشكل متساوٍ فحسب؛ بل تفقد سيطرتها على المعرفة الشائعة بينما تحتفظ بالحقائق النادرة، وتصبح واثقة في خطئها، وتخفي تحيزات عميقة وغير متساوية خلف درجات الأداء المستقرة. ويخلص المؤلفون إلى أنه قبل نشر هذه النماذج المضغوطة في العالم الحقيقي، يجب اختبارها بفحوصات أكثر تفصيلاً ودقة. فلم يعد الاعتماد على الأداء المتوسط كافياً، لأنه يترك الممارسين عاجزين عن رؤية الأضرار المحددة وغير المتساوية التي يسببها الضغط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.