💬 NLP

Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model

تقترح هذه الورقة طريقة تقليم تكيفية على مستوى الدفعات وخالية من التدريب لنماذج الاستدلال الكبيرة، تستخدم اختيار (top-k) الدوري وآلية ذاكرة التنشيط للتغلب على تدهور الدقة في الطرق الحالية أثناء الاستدلال بالدفعات، مما يحقق تسريعاً كبيراً مع الحفاظ على أداء استدلال عالٍ.

المؤلفون الأصليون: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

نُشر 2026-08-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو لغز منطقي مخادع. لديك مساعد ذكي للغاية ولكنه جائع جداً (نموذج استدلال ضخم - Large Reasoning Model) يمكنه التفكير في الخطوات للوصول إلى الإجابة. العائق هو أن هذا المساعد دقيق للغاية لدرجة أنه يكتب مذكرات ضخمة، خطوة بخوة، لأفكاره قبل أن يعطيك الإجابة النهائية. وبينما تجعل هذه "سلسلة الأفكار" (chain of thought) المساعد ذكياً للغاية، إلا أنها تجعله بطيئاً ومكلفاً في التشغيل، مثل محاولة تشغيل حاسوب خارق ببطارية واحدة من نوع AA.

لجعل هذا المساعد أسرع، يحاول العلماء غالباً "تقليم" (pruning) قدراته — ببساطة، يخبرون المساعد بتجاهل أجزاء معينة من دماغه (النيورونات/العصبونات) التي لا يبدو أنه يحتاجها في اللحظة الحالية. فكر في الأمر كطاهٍ، بينما يقوم بالتحضير لمأدبة ضخمة، يقرر التوقف عن تقطيع الخضروات للأطبى التي لم تُطلب بعد. المشكلة هي أنه عندما تحاول الطبخ لحشد كبير في وقت واحد (الاستنتاج بالدفعات - batched inference)، فإن الطرق القديمة لتحديد ما يجب تقطيعه تنهار. إنهم يستخدمون قاعدة ثابتة تعمل لشخص واحد ولكنها تصبح مربكة عند تطبيقها على مجموعة، مما يجعل المساعد ينسى كيف يفكر ويبدأ في تكرار الهراء. تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لتحديد ما يجب تقليمه، مما يضمن بقاء المساعد حاد الذهن حتى عند خدمة حشد من الناس.

المشكلة: خطأ "المقاس الواحد الذي يناسب الجميع"

تخيل أنك قائد أوركسترا تقود فرقة موسيقية. إذا كان لديك عازف كمان واحد فقط، يمكنك بسهولة أن تقول له: "اعزف بصوت عالٍ الآن، ثم اعزف بهدوء لاحقاً". ولكن إذا كان لديك قسم كامل من عازفي الكمان يعزفون معاً (دفعة واحدة)، وأعطيتهم جميعاً نفس التعليمات بالضبط بناءً على ما يفعله عازف كمان واحد عادةً، فقد تتحول الموسيقى إلى فوضى.

هذا بالضبط ما يحدث لنماذج الذكاء الاصطناعي الحالية عندما تحاول معالجة طلبات متعددة في وقت واحد. تستخدم الطرق الحالية لتسريع هذه النماذج "عتبة" (threshold) كقاعدة؛ وهي تشبه قول: "إذا كان نشاط النيورون فوق 5، احتفظ به؛ وإذا كان تحت 5، أطفئه". هذا يعمل بشكل جيد عندما يفكر الذكاء الاصطناعي بمفرده. ولكن عندما تغذيه بدفعة من الأسئلة المختلفة، تختلط مستويات نشاط النيورونات مع بعضها البعض، مما يغير المتوسط. القاعدة القديمة (العتبة وهي 5) لم تعد تتوافق مع الواقع الجديد. والنتيجة؟ يقوم الذكاء الاصطناعي بإيقاف تشغيل النيورونات الخاطئة عن طريق الخطأ، فيصبح "دماغه" مشوشاً، ويبدأ في الفشل في مهام الاستدلال. تظهر الورقة أنه عندما تحاول تشغيل هذه النماذج على دفعة من 4 طلبات، تفقد الطرق الحالية الأفضل ذكاءها بالكامل تقريباً، حيث تنخفض دقتها بهوامش هائلة (أحياناً أكثر من 50 نقطة).

الحل: استراتيجية "Top-K" الدورية مع ذاكرة

يقترح المؤلفون طريقة جديدة تسمى التقليم المتكيف مع الدفعات (Batch-wise Adaptive Pruning). فبدلاً من استخدام خط ثابت "ناجح/راسب"، يستخدمون نهجاً أكثر مرونة وذكاءً يعتمد على حيلتين رئيسيتين.

أولاً، توقفوا عن استخدام الخط الثابت وبدأوا في استخدام اختيار "Top-K". تخيل أن لديك مجموعة من 100 عداء (نيورونات) وهناك متسع لـ 50 منهم فقط في الحافلة. بدلاً من القول: "اركض فقط إذا كنت أسرع من 10 ثوانٍ"، أنت ببسال تقول: "أسرع 50 عداءً هم من سيصعدون الحافلة". هذا لا يهم إذا كان العداءون سريعين أو بطيئين اليوم؛ فأنت تختار الأفضل دائماً. هذا يحل مشكلة "التوزيع المتغير" الذي كسر الطرق القديمة.

ثانياً، أدركوا أن النيورونات المهمة لا تطلق شرارتها مرة واحدة وتختفي؛ بل لها إيقاع. لاحظت الورقة أنه خلال مهام الاستدلال الطويلة، تميل النيورونات الأكثر أهمية إلى "إعادة الإطلاق" (الاستيقاظ والقيام بالعمل) في نمط منتظم، كل 22.8 توكن (وحدات نصية) تقريباً. وللحاق بهذا الإيقاع، يقوم الأسلوب الجديد بتحديث قناع التقليم (pruning mask) بشكل دوري فقط (كل 20 خطوة) بدلاً من كل كلمة. هذا يوفر الوقت لأن الكمبيوتر لا يضطر للتوقف وإعادة الحساب لتحديد النيورونات التي يجب الاحتفاظ بها في كل لحظة صغيرة.

ولكن الجزء الأكثر ذكاءً هو أنهم أضافوا ذاكرة تنشيط (Activation Memory). فكر في هذا كأنه "شريط مقتطفات مميزة" أو ملاحظة لاصقة. إذا كان أحد النيورونات فائق الأهمية في الدفعة الأولى من الأفكار، فإن الذاكرة تحتفظ بسجل لذلك. وحتى لو كان النيورون هادئاً لعدة خطوات، فإن الذاكرة تضمن عدم طرده من الحافلة لمجرد أنه أخذ قيلولة قصيرة. بهذه الطريقة، يحتفظ الذكاء الاصطناعي بالنيورونات المهمة باستمرار عبر الزمن، مما يمنعه من نسيان المنطق الذي بدأ به.

النتائج: سريع، ذكي، وجاهز للحشود

اختبرت الورقة هذه الطريقة الجديدة على نماذج استدلال قوية (تحديداً DeepSeek-R1-Distill-Qwen-7B و DeepSeek-R1-Distill-Llama-8B) باستخدام اختبارات معايير رياضية وعلمية صعبة. كانت النتائج مذهلة.

عند التشغيل مع حجم دفعة قدره 4 (معالجة أربعة أسئلة في وقت واحد) بهدف تقليل حجم النموذج بنسبة 50%:

الطريقة الأفضل القديمة (TEAL) انهارت، وحققت دقة متوسطة تبلغ حوالي 14.3% فقط.
حافظت الطريقة الجديدة على دقة متوسطة قوية بلغت 54.0%.
هذا تحسن هائل قدره 39.7 نقطة مئوية.

علاوة على ذلك، جعلت الطة الجديدة النماذج أسرع بالفعل. فمن خلال قطع العمل غير الضروري، حققت تسارعاً قدره 1.40x مقارنة بتشغيل النموذج الكامل غير المقلم. وتشير الورقة إلى أن هذا التسارع مفيد بشكل خاص عندما يكون الكمبيوتر مشغولاً (compute-bound)، وهو ما يحدث عند معالجة العديد من الطلبات في وقت واحد.

ماذا يعني هذا؟

يؤكد المؤلفون بحذر أن هذه الطريقة "خالية من التدريب" (training-free)، مما يعني أنها لا تتطلب إعادة تعليم النموذج؛ بل تقوم فقط بتعديل كيفية تشغيل النموذج في الوقت الفعلي. كما يشيرون إلى أنه بينما قد تنجح طرق أخرى في المهام البسيطة، إلا أنها تفشل بشكل ذريع في الاستدلال المعقد عند العمل بنظام الدفعات. هذا النهج الجديد، من خلال استخدام التحديث الدوري والذاكرة لما هو مهم، يحافظ على حدة استدلال الذكاء الاصطناعي مع جعله فعالاً بما يكفي للتعامل مع أعباء العمل في العالم الحقيقي حيث يسأل العديد من المستخدمين أسئلة في نفس الوقت. إنه إصلاح عملي يسمح لهذه النماذج الضخمة والذكية بالعمل بشكل أسرع دون أن تفقد قدرتها على التفكير بعمق.

ملخص تقني: التقليم التكيفي على مستوى الدفعة لنماذج الاستدلال الكبيرة

بيان المشكلة
تحقق نماذج الاستدلال الكبيرة (LRMs) أداءً عالياً في المهام المعقدة من خلال توليد سلاسل تفكير ممتدة، ولكنها تتسبب في تكاليف حوسبة باهظة. وفي بيئات الإنتاج، يتطلب الإنتاجية العالية الاستدلال بالدفعات (معالجة عينات متعددة في وقت واحد). ومع ذلك، فإن طرق التقليم التكيفي الحالية الخالية من التدريب، مثل TEAL وCATS، تفشل بشكل كبير في هذا النظام.

تتمثل آلية الفشل الجوهرية في جانبين:

انزياح التوزيع: تستخدم الطرق الحالية قناع تقليم (pruning mask) واحداً للدفعة بأكملها. حيث تقوم بتجميع تنشيطات كل عينة (على سبيل المثال، عبر المتوسط) وتطبيق عتبة (threshold) تمت معايرتها مسبقاً (offline) على توزيعات العينة الواحدة. يؤدي هذا التجميع إلى إزاحة توزيع التنشيط، مما يجعل العتبة لا تتوافق مع البيانات، مما يؤدي إلى انحراف في نسبة التخلخل (sparsity ratio) الفعلية وانهيار في دقة الاستدلال.
المقايضة بين الثبات والديناميكية: لا تستطيع طرق التقليم الثابتة (الأنماط الثابتة) تتبع أنماط التنشيط المتطورة أثناء سلاسل الاستدلال الطويلة. وفي المقابل، فإن اختيار قناع جديد عند كل خطوة توكن (token step) أمر مكلف حوسبياً، مما يلغي أي تسريع مستهدف.

المنهجية
يقترح المؤلفون التقليم التكيفي على مستوى الدفعة، وهو طريقة خالية من التدريب مصممة خصيصاً للاستدلاء بالدفعات في نماذج الاستدلال الكبيرة. تعتمد هذه الطريقة على مكونين رئيسيين:

اختيار الـ Top-k الدوري:
- بدلاً من استخدام عتبة معايرة (وهي حساسة لانزياحات التوزيع)، تستخدم الطريقة اختيار الـ top-k على درجات الأهمية المجمعة. يعتمد اختيار الـ top-k فقط على الترتيب النسبي للدرجات، مما يجعله قوياً ضد انزياحات التوزيع الناتجة عن تجميع الدفعات.
- لتجنب العبء الحوسبي لتحديث القناع عند كل خطوة توكن، يتم تحديث قناع التقليم بشكل دوري (كل $T_{trans}$ خطوة) بدلاً من كل خطوة فك تشفير.
- تجميع الدفعة: بالنسبة لدفعة مكونة من $B$ من العينات، يتم تجميع درجات الأهمية لكل عينة في متجه واحد باستخدام القيمة القصوى للعناصر (element-wise maximum) (بدلاً من المتوسط). يضمن هذا النهج التحفظي أن العصبون الحرج لواحد على الأقل من العينات يحتفظ بدرجة عالية، مما يمنع تقليمه بسبب انخفاض تنشيطه في العينات الأخرى داخل نفس الدفعة.
ذاكرة التنشيط:
- تكشف ملاحظات أنماط تنشيط النماذج اللغوية الكبيرة (LLM) أن العصبونات المهمة تظهر إعادة اشتعال دورية (periodic re-firing) أثناء عمليات توليد الاستدلال الطويلة (على سبيل المثال، إعادة الاشتعال كل ~22 توكن بنسبة إعادة اشتعال تبلغ ~76%).
- لالتقاط ذلك، تحتفظ الطريقة بـ ذاكرة تنشيط تراكم درجات الأهمية عبر مراحل التحديث. يتم تحديث الذاكرة عبر القيمة القصوى للعناصر ( $m_n \leftarrow \max(m_{n-1}, s_n)$ ).
- يضمن هذا أن العصبونات التي تم تحديد أهميتها في المراحل السابقة تظل مرشحة للاحتفاظ بها، حتى لو انخفض تنشيطها مؤقتاً، مما يسمح للقناع بالتكيف مع الأنماط المتطورة دون فقدان المكونات الحرجة.

تدفق الخوارزمية
تعمل الطريقة عبر ثلاث مراحل أثناء التوليد التكراري (autoregressive generation):

مرحلة المدخلات: معالجة المطالبة الأولية (prompt) لحساب درجات الأهمية الأولية.
مرحلة الاستكشاف الكثيف: تنفيذ عدد محدد من الخطوات الكثيفة ( $T_{init}$ ) لتحديد اتجاه الاستدلال وجمع إحصائيات التنشيط الخاصة بالسياق. يتم تحديث الذاكرة، ويتم إنشاء أول قناع تقليم.
مرحلة التقليم التكيفي الدوري: التناوب بين الحوسبة المتخلخلة (sparse computation) لعدد ( $T_p$ ) من الخطوات، والاستكشاف الكثيف لعدد ( $T_E$ ) من الخطوات. في نهاية كل مرحلة استكشاف كثيف، يتم تحديث ذاكرة التنشيط، ويتم إنشاء قناع top-k جديد بناءً على الذاكرة المتراكمة.

المساهمات الرئيسية

التحديد التجريبي للانهيار في الدفعات: الورقة هي الأولى التي تثبت تجريبياً أن طرق التقليم الحالية (سواء كانت ثابتة أو تكيفية) تضعف بشدة في مهام الاستدلال تحت الاستدلال بالدفعات. وتحديداً، تفقد الطرق التكيفية مثل TEAL ما بين 58.4 إلى 67.7 نقطة مئوية من متوسط الدقة عند حجم دفعة 4 مقارنة بالنماذج الكثيفة.
إطار عمل قوي للتقليم بالدفعات: قدم المؤلفون طريقة تحافظ على الدقة في إعدادات الدفعات من خلال استبدال الاختيار القائم على العتبة باختيار top-k الدوري ودمج ذاكرة التنشيط لتتبع تكرار أهمية العصبونات.
عمل خالٍ من المعايرة: على عكس الطرق التي تتطلب معايرة خارجية (مثل Wanda وTEAL)، تعتمد هذه الطريقة حصرياً على تنشيطات وقت التشغيل، مما يجعلها خالية من المعايرة.

النتائج التجريبية
أُجريت التجارب على DeepSeek-R1-Distill-Qwen-7B وDeepSeek-R1-Distill-Llama-8B عبر خمسة معايير استدلال (GSM8K, MATH500, MINERVA, AMC23, GPQA-DIAMOND).

الدقة: عند استهداف تخلخل بنسبة 50% وحجم دفعة 4، تفوقت الطريقة المقترحة على أفضل النتائج السابقة (TEAL) بمقدار 39.7 نقطة مئوية في متوسط الدقة على نموذج Qwen-7B (54.0% مقابل 14.3%) وبمقدار 24.1 نقطة على نموذج Llama-8B.
الاستقرار: على عكس TEAL، الذي يظهر أداءً عالياً عند حجم دفعة 1 ولكنه ينهار مع زيادة حجم الدفعة، تحافظ الطريقة المقترحة على أداء ثابت عبر جميع أحجام الدفعات (1، 4، 8، 16).
التسريع: تحقق الطريقة تسريعاً قدره 1.40× مقارنة بالاستدلال الكثيف عند تخلخل فعلي بنسبة 50% على نموذج Qwen-7B. يكون التسريع أكثر وضوحاً في إعدادات الدفعات لأن الطريقة تقلل هيكلياً من أبعاد مصفوفة الأوزان، مما يقلل الحوسبة مباشرة، بينما تصبح الطرق التي تعتمد على تخطي التنشيطات الصفرية أقل فعالية مع تحول أعباء العمل من كونه مقيداً بالذاكرة إلى مقيداً بالحوسبة.
التخلخل العالي: تحافظ الطريقة على أداء قوي حتى عند مستويات التخلخل العالية (على سبيل المثال، 71.0% دقة عند تخلخل مستهدف بنسبة 50%)، بينما تتدهور النماذج المرجعية بشكل حاد بعد تخلخل بنسبة 40%.

الأهمية والادعاءات
تدعي الورقة أن طريقتها تعالج عقبة حرجة في نشر نماذج الاستدلال الكبيرة: عدم توافق تقنيات التقليم التكيفي الحالية مع الاستدلال بالدفعات. ومن خلال حل مشكلة انزياح التوزيع المتأصلة في تجميع الدفعات والاستفادة من الطبيعة الدورية لإعادة اشتعال العصبونات، تمكن الطريقة من تحقيق استدلال فعال وعالي الإنتاجية دون الانهيار في الأداء الذي شهدته الطرق السابقة. ويؤكد المؤلفون أن مكاسبهم مدفوعة بـ اختيار الـ top-k الدوري وذاكرة التنشيط، وليس بالاختيار المحدد لمشغل التجميع (max مقابل mean)، والذي أظهر فروقاً طفيفة فقط في الأداء.

أبحاث مشابهة