تقدم الورقة البحثية إطار عمل MoP (خليط من المقلِّمات)، وهو إطار عمل تكراري يوحد بين تقليم العمق والعرض ليتفوق على الأساليب الحالية أحادية البعد في الدقة وتقليل زمن الاستجابة عبر نماذج LLaMA وLLaVA.
المؤلفون الأصليون:Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur JordaBruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao
المؤلفون الأصليون: Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao
تخيل أنك تحاول حمل مكتبة ضخمة وثقيلة في حقيبة ظهر. هذه المكتبة تحتوي على مجموع المعرفة البشرية، مكتوبة بلغة معقدة للغاية لا يستطيع قراءتها إلا أذكى الحواسيب. تُسمى هذه "المكتبات" بنماذج اللغات الكبيرة (LLMs). إنها مذهلة في كتابة القصص، وحل المسائل الرياضية، وحتى الدردشة كصديق. لكن هناك مشكلة: فهي ضخمة وثقيلة جدًا لدرجة أنها تتطلب كميات هائلة من الكهرباء وحواسيب فائقة السرعة لمجرد فتح الكتاب وقراءة جملة واحدة. إذا أردت استخدامها على حاسوب محمول عادي أو هاتف، فغالبًا ما تكون ثقيلة جدًا وبطيئة للغاية بحيث يصعب حملها.
ولإصلاح ذلك، حاول العلماء جعل هذه المكتبات أصغر حجمًا دون التخلص من الكتب المهمة. إحدى هذه الطرق تسمى "التقليم" (Pruning). فكر في التقليم كأنه أعمال البستنة؛ لديك شجيرة ضخمة وكثيفة (النموذج الحاسوبي الكبير)، وتريد تقليمها لتصبح أصغر وأكثر ترتيبًا. يمكنك قطع أغصان كاملة (لجعل الشجيرة أقصر)، أو يمكنك تقليم الأوراق من الأغصان (لجعل الشجيرة أقل كثافة). لفترة طويلة، كان على البستانيين الاختيار: إما قطع أغصان كاملة أو تقليم الأوراق، ولكن ليس كليهما في نفس الوقت. وكان السؤال هو: أي طريقة ستجعل الشجيرة أصغر مع الحفاظ على صحتها وقدرتها على الإثمار؟
تقدم هذه الورقة أداة بستنة جديدة تسمى MoP، والتي ترمز إلى Mixture of Pruners (خليط من المقلمين). بدلاً من اختيار طريقة واحدة للتقليم، فإن MoP هو بستاني ذكي ومتكرر يحاول تجربة الطريقتين في كل خطوة. تخيل أنك تقلم شجيرتك؛ عند كل عملية قطع، تسأل MoP سؤالين: "إذا قطعت هذا الغصن بالكامل، كيف سيبدو شكل الشجيرة؟" و"إذا قمت بتقليم الأوراق من هذا الغصن بدلاً من ذلك، كيف سيبدو شكلها؟". ثم يختار النسخة التي تجعل الشجيرة تبدو أكثر تشابهًا مع النبتة الأصلية والصحية. ويكرر هذه العملية، متنقلاً بين قطع الأغصان وتقليم الأوراق، حتى تصبح الشجيرة صغيرة بما يكفي لتناسب حقيبة ظهرك.
اختبر الباحثون هذه الطريقة على بعض أذكى العقول الحاسوبية في العالم، مثل نماذج LLaMA-2 و LLaMA-3. ووجدوا أن MoP أفضل بكثير في تقليص هذه النماذج مقارنة باستخدام طريقة واحدة فقط. فعندما قاموا بتقليص النماذج بنسبة 40% (أي جعلها أصغر بنسبة 40%)، حافظت MoP على ذكاء النماذج تمامًا مثل المنافسين، لكنها جعلتها أيضًا تعمل بشكل أسرع بشكل ملحوظ. في الواقع، أصبحت النماذج أسرع بنسبة 39% في الإجابة على الأسئلة. والأمر المثير للدهشة حقًا هو أنهم جربوا ذلك على نموذج يمكنه رؤية الصور وقراءة النصوص (يُسمى LLaVA-1.5)؛ ووجدوا أنه على الرغم من أنهم "علموا" النموذج المقلم باستخدام النصوص فقط (بدون صور)، إلا أنه ظل قادرًا على فهم الصور بشكل جيد تقريبًا كما كان في السابق. يشير هذا إلى أن دمج استراتيجيتي التقليم يخلق عقلًا حاسوبيًا أصغر، وأسرع، وأذكى، لا يفقد مساره حتى عندما يصبح صغيرًا جدًا.
ملخص تقني: ضغط النماذج اللغوية الكبيرة باستخدام MoP: خليط من أدوات التقليم (Mixture of Pruners)
بيان المشكلة تواجه النماذج اللغوية الكبيرة (LLMs) متطلبات حوسبة هائلة، مما يستلزم طرقاً لتقليل عدد المعلمات وتسريع الاستدلال دون التضحية بالأداء. وبينما يعد تقليم النماذج (Model Pruning) استراتيجية فعالة، تركز النهج الحالية عادةً على بُعد واحد فقط: إما تقليم العمق (إزالة طبقات كاملة من المحولات/Transformer) أو تقليم العرض (إزالة المكونات الداخلية مثل رؤوس الانتباه أو عصبونات MLP). يوفر تقليم العمق تسريعاً فائقاً للاستدلال من خلال تقليل الحوسبة المتسلسلة، بينما يسمح تقليم العرض باختيار أكثر دقة للهياكل الزائدة، مما يحافظ غالباً بشكل أفضل على أداء المهام اللاحقة. وتحدد الورقة البحثية وجود انقسام في الأدبيات الحالية حيث نادراً ما يتم توحيد هذه القوى المتكاملة، مما يؤدي إلى مقايضات غير مثالية بين نسبة الضغط، والدقة، وزمن الاستجابة (Latency).
المنهجية: خليط من أدوات التقليم (MoP) يقترح المؤلفون إطار عمل MoP، وهو إطار تكراري يوحد تقليم العمق والعرض في استراتيجية متماسكة. تعمل الآلية الجوهرية كما يلي:
اختيار المسار التكراري: في كل تكرار، يولد MoP نموذجين مرشحين للمضي قدماً في مسار التقليم:
مرشح العمق: يزيل طبقة محول كاملة (تحديداً الطبقة الثالثة من النهاية، مع الحفاظ على الطبقتين الأخيرتين وفقاً لما توصلت إليه الدراسات حول الفائض).
مرشح العرض: يزيل عدداً مكافئاً من المعلمات عن طريق تقليم رؤوس الانتباه وعصبونات MLP عبر الطبقات.
مطابقة المعلمات: لضمان مقارنة عادلة، يتم معايرة خطوة تقليم العرض لإزالة نفس عدد المعلمات تماماً الذي تمت إزالته في خطوة العمق. يتطلب هذا تحكماً دقيقاً، وهو ما حققه المؤلفون باستخدام معيار AMP (تقليم مقدار التنشيط).
التقييم والاختيار: يخضع كلا المرشحين لخطوة استعادة قصيرة (Recovery Fine-tuning) على مجموعة فرعية من بيانات التدريب. بعد ذلك، يقوم معيار المسار (P) بتسجيل المرشحين مقابل النموذج الأصلي غير المقلم باستخدام مقاييس مثل تشابه جيب التمام (Cosine Similarity)، أو تباعد كولباك - ليبلر (KL divergence)، أو الارتياب (Perplexity - PPL)، أو حتى الاختيار العشوائي. يتم اختيار المرشح صاحب الدرجة الأقرب للنموذج الأصلي (أقل انحرافاً) ليصبح هو الأساس للدورة التالية.
الاستعادة النهائية: بمجرد الوصول إلى نسبة الضغط المستهدفة، يخضع النموذج المقلم النهائي لعملية استعادة كاملة عبر الضبط الدقيق على مجموعة بيانات التدريب الكاملة.
يتميز إطار العمل بكونه نموذجياً، مما يسمح بدمج معايير تقليم مختلفة للعمض والعرض، بالإضافة إلى استراتيجيات اختيار مسار مختلفة.
المساهمات الرئيسية تسلط الورقة الضوء على خمس مساهمات رئيسية:
إطار عمل موحد: يجمع MoP بفعالية بين تقليم العمق والعرض، مستفيداً من مزايا زمن الاستجابة لتقليل الطبقات والدقة الانتقائية لإزالة المكونات.
النمطية: يسمح التصميم بدمج تركيبات متنوعة من معايير التقليم، مما يسمح بدمج الأساليب الحديثة في المستقبل.
مخطط تقليم متنوع: من خلال توزيع عمليات الإزالة عبر كلا البُعدين، يحقق MoP نسب ضغط أعلى دون استنزاف بُعد واحد.
التوسع متعدد الوسائط: على عكس معظم أدبيات التقليم التي تركز فقط على النصوص، اختبر المؤلفون MoP على بنيات لغوية فقط (LLaMA) وبنيات متعددة الوسائط (LLaVA).
الاستعادة النصية فقط للمهام البصرية: لاحظ المؤلفون أن الاستعادة عبر الضبط الدقيق باستخدام مجموعة بيانات نصية فقط (Alpaca) يمكنها بشكل مفاجئ استعادة الأداء في الاختبارات المعيارية البصرية في النماذج اللغوية-البصرية المقلمة.
النتائج قيم المؤلفون MoP على نماذج LLaMA-2 7B، وLLaMA-3 8B، وLLaVA-1.5 7B:
الدقة: في LLaMA-2 وLLaMA-3، يتفوق MoS باستمرار على طرق التقليم الهيكلي المنافسة (مثل SliceGPT، وAmoebaLLM، وPruneNet) عبر نسب ضغط 20%، و30%، و40%. والجدير بالذكر أن أداء "أسوأ بذرة" (worst-seed) لـ MoP (باستخدام اختيار مسار عشوائي) يتجاوز غالباً متوسط أداء أفضل النماذج المنافسة، مما يشير إلى المتانة ضد تباين اختيار المسار.
زمن الاستجابة (Latency): يترجم MoP التقليم الهيكلي إلى تسريع حقيقي. عند ضغط بنسبة 40%، يقلل المنهج زمن الاستجهاء النهائي بنسبة 39% (تسريع بمقدار 1.63×) على بطاقة NVIDIA RTX 4090. وعند ضغط بنسبة 30%، يحقق تسريع بمقدار 1.38×، متفوقاً على الطرق الأخرى التي تتطلب ضغطاً أكثر عدوانية (مثل 50%) لتحقيق مكاسب مماثلة.
الأداء متعدد الوسائط: في LLaVA-1.5، يحافظ MoP على قدرات استدلال كبيرة. عند ضغط بنسبة 40%، يحتفظ النموذج بحوالي 78% من قدرته التنبؤية المتوسطة. والأهم من ذلك، تُظهر الدراسة أن الضبط الدقيق باستخدام بيانات نصية فقط (Alpaca) يستعيد الأداء بفعالية في المهام البصرية (ScienceQA، وVizWiz)، وهو ما وصفه المؤلفون كملاحظة مبتكرة.
الأهمية والادعاءات تدعي الورقة أن MoP يرسي آفاقاً جديدة في التقليم الهيكلي من خلال التغلب على الصلابة الهيكلية للنهج أحادي المحور. توفر الاستراتيجية الهجينة مرونة استثنائية، مما يضمن أنه حتى في ظل ظروف اختيار مسار غير مواتية، يقدم المنهج أداءً رفيع المستوى. ويؤكد المؤلفون أن هذا النهج لا يطور حالة الفن (state-of-the-art) للنماذج اللغوية الكبيرة الفعالة فحسب، بل يثبت أيضاً جدوى التقليم الهجين للعرض والعمق في المجال متعدد الوسائط. علاوة على ذلك، فإن اكتشاف أن الضبط الدقيق للاستعادة باستخدام البيانات النصية فقط يكفي للمهام البصرية في النماذج اللغوية-البصرية المقلمة يشير إلى مسار أكثر كفاءة لنشر الأنظمة متعددة الوسائط المضغوطة، مما يقلل الحاجة إلى مجموعات بيانات استعادة متعددة الوسائط باهظة التكلفة.