Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير) تتكون من 30 أو 40 طابقاً. كل طابق يحتوي على فريق من الخبراء الذين يساعدون المكتبة في الإجابة على الأسئلة. المشكلة هي أن المكتبة ضخمة جداً لدرجة أنها بطيئة ومكلفة في التشغيل. أنت تريد تسريح بعض الطوابق لجعلها أسرع، لكنك لا تريد أن تفقد قدرة المكتبة على التفكير.

هذا البحث يطرح سؤالاً بسيطاً ولكنه ثوري: أي الطوابق عديمة الفائدة حقاً؟

الطريقة القديمة: الرؤية "الهيكلية"

لفترة طويلة، اعتقد الباحثون أن الطوابق "عديمة الفائدة" هي جزء ثابت من تصميم المبنى. كانوا يعتقدون أن "الطابق 15 كسول بطبيعته، بغض النظر عما نطلبه من المكتبة للقيام به".

حاولوا العثور على هذه الطوابب الكسولة من خلال النظر في المخططات الهندسية للمبنى (الرياضيات الداخلية للنموذج) أو من خلال تجربة طرق مختلفة لاختيار الطوابق التي سيتم تسريحها (خوارزميات البحث). افترضوا أن هناك "قائمة واحدة مثالية" للطوابق التي يجب قطعها، وإذا وجدتم تلك القائمة، فيمكنكم استخدامها لأي مهمة.

الاكتشاف الجديد: الرؤية "الوظيفية"

يجادل هذا البحث بأن الرؤية القديمة خاطئة. فبدلاً من كونها خاصية ثابتة للمبنى، يعتمد التكرر (الفائض) تماماً على المهمة التي توظف المكتبة من أجلها.

فكر في الأمر مثل فريق رياضي:

• إذا كنت بحاجة للفوز في مباراة كرة قدم، فقد تضع النجم المهاجم على مقاعد البدلاء لأنه بطيء جداً في الدفاع.
• إذا كنت بحاجة للفوز في مباراة كرة سلة، فإن ذلك النجم نفسه يصبح ضرورياً.

يُظهر البحث أن طبقة (طابق) في نموذج الذكاء الاصطناعي قد تكون "عديمة الفائدة" إذا كنت تطلب منها كتابة قصة (قياس الارتباك/Perplexity، أو مدى سلاسة النص)، ولكن نفس تلك الطبقة تصبح "حاسمة" إذا طلبت منها حل لغز منطقي (قياس دقة المهمة).

التجربة: اختبار النظرية

اختبر الباحثون هذه الفكرة عبر أخذ ثلاثة نماذج مختلفة من الذكاء الاصطناعي ومحاولة تقليصها باستخدام هدفين مختلفين:

1. الهدف أ (السلاسة): جعل الذكاء الاصطناعي يبدو سلساً وطبيعياً عند كتابة النصوص.
2. الهدف ب (الاستنتاج): جعل الذكاء الاصطناعي يجيب على أسئلة المنطق والمنطق العام بشكل صحيح.

كما اختبروا سبع طرق مختلفة (خوارزميات) لتحديد الطبقات التي سيتم قطعها، وتراوحت بين "اختيار أول 7 طبقات" ببساطة إلى عمليات بحث "تطورية" معقدة.

النت النتائج الثلاث الكبرى

1. الهدف يغير عملية القطع
عندما استهدفوا السلاسة، قامت الخوارزميات باستمرار بقطع كتلة محددة من الطوابق الوسطى. كان الأمر كما لو أن الجميع اتفقوا على: "نحن لا نحتاج إلى القسم الأوسط لكتابة القصص".
ولكن عندما استهدفوا الاستنتاج، كانت القطوع متناثرة في جميع أنحاء المبنى. اختارت خوارزميات مختلفة طوابق مختلفة.

• المجاز: إذا كنت تقلم شجرة لجعل مظهرها جميلاً (السلاسة)، فأنت تقطع الأغصان الوسطى. أما إذا كنت تقلمها لتثمر (الاستنتاج)، فأنت تقطع الأغصان العلوية. "الأجزاء عديمة الفائدة" تعتمد على ما تريد من الشجرة أن تفعله.

2. الذكاء الاصطناعي "السلس" ليس هو الذكاء الاصطناعي "الذكي"
كان هذا الجزء الأكثر إثارة للدهشة. وجدوا أن نموذج الذكاء الاصطناعي الذي بدا أكثر سلاسة (أقل "ارتباكاً") لم يكن هو النموذج الذي أجاب على أسئلة المنطق بشكل أفضل.
في الواقع، كانت التصنيفات غالباً متناقضة تماماً. فالنموذج الذي كان الأفضل في كتابة جمل سلسة كان أحياناً الأسوأ في حل الألغاز.

• المجاز: الشخص الذي يتحدث بلكنة مثالية ومفردات رائعة قد لا يكون هو الشخص الأفضل لإصلاح محرك سيارة معطل. لا يمكنك الحكم على الميكانيكي من خلال لكنته.

3. "الكيفية" تهم أقل من "السبب"
اختبر الباحثون سبع طرق مختلفة للبحث عن أفضل الطبقات للقطع. وجدوا أنه بمجرد اختيار هدف (السلاسة أو الاستنتاج)، لم تكن طريقة البحث المستخدمة تهم كثيراً.
سواء استخدموا طريقة بسيطة وسريعة أو طريقة معقدة وبطيئة، فقد انتهوا إلى نفس النتيجة تقريباً (ضمن نطاق 1-3% من الدقة).

• المجاز: إذا كنت تريد خبز كعكة، فلا يهم إذا استخدمت ملعقة خشبية، أو مخفقة، أو ذراعاً آلياً (طريقة البحث). ما يهم هو أنك تتبع وصفة الكعكة (الهدف). إذا اتبعت "وصفة الكعكة"، ستحصل على كعكة. وإذا اتبعت "وصفة الخبز"، ستحصل على خبز. تغيير الأداة لا يغير النتيجة بقدر ما يغير الوصفة.

الخلاصة

يخلص البحث إلى أن الهدف الذي تضعه هو العامل الأهم، وهو أهم بكثير من الخوارزمية المتطورة التي تستخدمها للعثور على القطوع.

• لا تضيع وقتك في محاولة العثات على خوارزمية بحث معقدة "مثالية".
• ابذل الوقت في تصميم الهدف (الوصفة) بعناية بما يتناسب مع المهمة المحددة التي تريد من الذكاء الاصطناعي القيام بها.

إذا كنت تريد ذكاءً اصطناعياً سريعاً للكتابة، فقم بالتحسين من أجل الكتابة. وإذا كنت تريده للاستنتاج، فقم بالتحسين من أجل الاستنتاج. لا توجد قائمة "واحدة تناسب الجميع" للطبقات التي يجب قطعها.