When Pruning Meets Interpretability: Preserving Sparse Autoencoder Robustness in LLMs
تُثبت هذه الورقة أن طرق التقليم القائمة على التنشيط مثل Wanda وSparseGPT تحافظ بشكل أفضل على متانة المشفّر التلقائي المتناثر (Sparse Autoencoder) في النماذج اللغوية الكبيرة مقارنة بالتقليم القائم على المقدار من خلال التحكم في طاقة الاضطراب، بينما تكشف أيضاً أن الطبقات الوسطى حساسة بشكل فريد للتقليم وتقترح استراتيجية تخصيص تخلخل على مستوى الطبقات لتحسين كفاءة النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة أدمغة رقمية هائلة، تم تدريبها على ما يقرب من التاريخ المكتوب بأكمله للبشرية للتنبؤ بالكلمة التالية في الجملة. ولفهم كيفية تفكير هذه النماذج، طور الباحثون أداة تسمى "المشفّر التلقائي المتناثر" (sparse autoencoder). فكر في هذه الأداة كمترجم يستمع إلى الإشارات الكهربائية الداخلية للنموذج ويترجمها إلى قائمة من المفاهيم البسيطة القابلة للقراءة البشرية، مثل "يتم مناقشة كلمة 'ملك'" أو "تجري عملية رياضية". هذا الترجمة أمر بالغ الأهمية لأنها تسمح للعلماء برؤية ما يفعله النموذج بالضبط داخل "صندوقه الأسود"، مما يساعدهم في العثور على التحيزات الخفية أو السلوكيات الخطيرة. ومع ذلك، مع ازدياد حجم هذه النماذج وتكلفتها في التشغيل، يحاول المهندسون بشكل متزايد تقليص حجمها عن طريق إزالة الاتصالات غير الضرورية، وهي عملية تُعرف باسم "التقليم" (pruning)، لجعلها أسرع وأرخص. والسؤال الحاسم هو ما إذا كانت عملية التقليص هذه ستكسر المترجم. فإذا تم تعديل النموذج، هل سيظل المترجم يفهم الإشارات الجديدة، أم سيبدأ في إنتاج كلام غير مفهوم؟
لقد وضع فريق من الباحثين في جامعة ولاية أوهايو نصب أعينهم الإجابة على هذا السؤال من خلال دراسة ما يحدث عندما تقوم بتقليص نموذج لغوي كبير بعد أن تم بناء المترجم بالفعل. واكتشفوا أن الطريقة المستخدمة لتقليص النموذج تهم أكثر بكثير من مقدار التقليص نفسه. فبعض الطرق الشائعة، التي تقوم ببساطة بإزالة أصغر الاتصالات في الشبكة، تعمل كأداة فظة تشوش الإشارات الداخلية. وعند استخدام هذه الطرق، يفقد المترجم قدرته على التعرف على المفاهيم، حتى لو بدا أن النموذج لا يزال يعمل بشكل جيد في الاختبارات القياسية. ووجد الباحثون أن هذا يحدث لأن هذه الطرق الفظة تتجاهل شكل البيانات المتدفقة عبر النموذج، مما يؤدي فعلياً إلى تشويه الإشارات ذاتها التي يعتمد عليها المترجم. وفي المقابل، فإن الطرق الأحدث والأكثر تطوراً التي تنظر إلى كيفية تحرك البيانات فعلياً عبر الشبكة، تحافظ على دقة المترجم، مما يبقي الإشارات الداخلية واضحة والمفاهيم قابلة للتمييز.
وكشفت الدراسة عن ضعف هيكلي مفاجئ في هذه النماذج؛ إذ إن الطبقات الوسطى من الشبكة، والتي تقع بين المدخلات والمخرجات، هي أكثر هشاشة بشكل ملحوظ من البداية أو النهاية. فعندما قام الباحثون بتقليم النموذج، عانت الأجزاء الوسطى من أكبر قدر من الضرر، مما تسبب في فشل المترجم حتى عندما بدا أداء النموذج الإجمالي مقبولاً. أدى هذا الاكتشاف إلى استراتيجية جديدة لتقليص النماذج: فبدلاً من إزالة الاتصالات بشكل متساوٍ عبر الشبكة بأكملها، يجب على المهندسين توخي المزيد من الحذر مع الطبقات الوسطى ويمكنهم أن يكونوا أكثر جرأة مع الطبقات اللاحقة. ومن خلال اتباع هذا الجدول غير المتساوي، تمكنوا من تقليص النموذج مع الحفاظ على عمل المترجم بشكل مثالي، محققين توازناً أفضل بين الكفاءة والفهم.
وللوصول إلى هذه الاستنتاجات، لم يكتفِ الباحثون بالنظر فيما إذا كان النموذج لا يزال قادراً على الإجابة على الأسئلة بشكل صحيح، بل استخدموا مجموعة شاملة من الاختبارات المصممة خصيصاً للتحقق مما إذا كان المترجم لا يزال يقول الحقيقة. فقد تحققوا مما إذا كان المترجم لا يزال قادراً على إعادة بناء الإشارات الأصلية، وما إذا كانت المفاهيم الفردية لا تزال تعمل بشكل صحيح، وما إذا كان إزالة مفهوم معين سيظل يغير سلوك النموذج بالطريقة المتوقعة. وأظهرت نتائجهم أن الطريقة القديمة والبسيطة لتقليص النماذج تسببت في فشل المترجم بصمت؛ فقد ينتج النموذج نصوصاً جيدة، لكن الخريطة الداخلية للمفاهيم تكون قد تعطلت. أما الطرق الأذكى والجديدة فقد حافظت على الخريطة سليمة. ويقدم هذا العمل دليلاً واضحاً لأي شخص يرغب في ضغط هذه النماذج القوية دون فقدان القدرة على فهم كيفية عملها، مما يضمن أنه بينما نجعل هذه الأنظمة أصغر وأسرع، فإننا لا نفقد المفتاح لفك رموز منطقها الداخلي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.