🤖 machine learning

Deterministic Differentiable Structured Pruning for Large Language Models

تقدم هذه الورقة البحثية طريقة "التقليم التفاضلي الحتمي" (DDP)، وهي منهجية مبتكرة تقضي على عدم التطابق بين التدريب والاختبار والعشوائية في أساليب التقليم الهيكلي السابقة من خلال التحسين المباشر لنموذج بديل ناعم حتمي لهدف l0، مما يحقق تقارباً أسرع، وتعبيراً أكبر، وقدرة فائقة على الاحتفاظ بالأداء (على سبيل المثال، فقدان بنسبة ~1%) في النماذج اللغوية الكبيرة مثل Qwen3 عند مستويات تخلخل عالية.

المؤلفون الأصليون: Weiyu Huang, Pengle Zhang, Xiaolu Zhang, Jun Zhou, Jun Zhu, Jianfei Chen

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weiyu Huang, Pengle Zhang, Xiaolu Zhang, Jun Zhou, Jun Zhu, Jianfei Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير، أو LLM) يمكنها كتابة القصص، وحل المسائل الرياضية، وكتابة الأكواد البرمجية. لكن هناك عقبة: هذه المكتبة ضخمة لدرجة أنها تتطلب مستودعًا مليئًا بالحواسيب باهظة الثمن لمجرد قراءة صفحة واحدة. إنها بطيئة، ومكلفة للتشغيل، ويصعب وضعها في حقيبة ظهر عادية (مثل هاتف أو كمبيوتر محمول).

الهدف من هذه الورقة البحثية هو تقليص حجم المكتبة دون فقدان الكتب الجيدة.

المشكلة: "الضربة الواحدة" مقابل "النرد الفوضوي"

في السابق، حاول الناس تقليص هذه المكتبات بطريقتين رئيسيتين:

نهج "الضربة الواحدة": تخيل أمين مكتبة ينظر إلى الرفوف ويقول: "أعتقد أن 20% من هذه الكتب مملة"، ثم يرميها فورًا. هذه الطريقة سريعة، لكن أمين المكتبة قد يرمي بالخطأ جوهرة مخفية، مما يترك فجوات في معرفة المكتبة.
النهج "العشوائي" (الطريقة القديمة): هذا يشبه محاولة تقليص المكتبة عن طريق رمي النرد. ترمي النرد لكل كتاب لتقرر ما إذا كان سيبقى أم سيذهب. إذا قال النرد "ابقَ"، تحتفظ به؛ وإذا قال "اذهب"، ترميه.
- العيب: أثناء التدريب، ترمي النرد في كل مرة تقرأ فيها كتابًا. ولكن عندما تستخدم المكتبة فعليًا لاحقًا، لا يمكنك رمي النرد؛ بل تحتاج إلى قائمة ثابتة من الكتب. هذا يخلق عدم تطابق: المكتبة تدربت باستخدام قائمة فوضوية وعشوائية، لكن عليها أن تؤدي باستخدام قائمة ثابتة. إنه يشبه موسيقيًا يتدرب مع بندول إيقاع (Metronome) يتسارع ويتباطأ بشكل عشوائي، ثم يحاول عزف حفلة موسيقية بدقة زمنية مثالية.

الحل: التقليم التفاضلي الحتمي (DDP)

يقترح المؤلفون طريقة جديدة تسمى DDP. فكر في الأمر كأنه مفتاح تعتيم ذكي وقابل للضبط لكتب المكتبة، وليس مجرد مفتاح تشغيل/إيقاف بسيط أو رمي للنرد.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "مفتاح التعتيم" (الحتمي)

بدلاً من رمي النرد، تخيل أن لكل كتاب مفتاح تعتيم بجانبه.

0 يعني أن الكتاب تمت إزالته تمامًا.
1 يعني أن الكتاب مفتوح بالكامل.
0.5 يعني أن الكتاب مفتوح جزئيًا (لا يزال موجودًا، لكنه يساهم بشكل أقل).

الكمبيوتر لا يخمن؛ بل يحسب بالضبط مدى سطوع كل مفتاح. هذا يزيل "الضجيج" الناتج عن رميات النرد العشوائية. جلسة التدريب (الممارسة) والعرض الحقيقي (التشغيل) أصبحا الآن متطابقين تمامًا.

2. "البديل الناعم" (المسار السلس)

الجزء الصعب هو أننا نريد لمفاتيح التعتيم أن تصبح في النهاية إما مغلقة تمامًا (0) أو مفتوحة تمامًا (1). نحن لا نريدها أن تظل عالقة عند 0.5 للأبد.

يستخدم المؤلفون حيلة ذكية تسمى "البديل الناعم المتدرج" (annealed soft surrogate).

تخيل قطعة من الصلصال. في بداية التدريب، يكون الصلصال ناعمًا ولينًا. يمكن لمفاتيح التعتيم أن تكون في أي مكان (0.2، 0.5، 0.8). هذا يعطي الكمبيوتر قدرًا كبيرًا من الحرية للاستكشاف وإيجاد التكوين المثالي.
مع تقدم التدريب، يتصلب الصلصال. تُجبر المفاتيح على الاستقرار في مكانها، إما مفتوحة تمامًا أو مغلقة تمامًا.
بنهاية المطاف، تحصل على مكتبة مهيكلة تمامًا حيث تمت إزالة 20% بالضبط من الكتب، ولكن الكتب المتبقية مرتبة بأكثر طريقة فعالة ممكنة.

3. "المعلم" (نقل المعرفة)

للتأكد من أن المكتبة المصغرة لا تزال ذكية، يستخدم الكمبيوتر المكتبة الضخمة الأصلية كـ "معلم".

يحاول "الطالب" (المكتبة التي يتم تقليصها) محاكاة إجابات "المعلم".
إذا قال المعلم: "السماء زرقاء"، يجب على الطالب أن يتعلم قول ذلك أيضًا، حتى لو كان لديه كتب أقل. هذا يضمن أن الطالب لن يفقد ذكاءه لمجرد أنه أصبح أصغر حجمًا.

لماذا يعد هذا أمرًا مهمًا؟

لا مزيد من عدم التطابق: نظرًا لأن الكمبيوتر يتدرب باستخدام نفس القواعد التي يستخدمها في العالم الحقيقي، فإن النتائج تكون أكثر استقرارًا بكثير.
جودة أفضل: في الاختبارات، حافظت هذه الطريقة على ذكاء المكتبة شبه كامل (فقدت حوالي 1% فقط من الأداء) حتى عند إزالة 20% إلى 50% من المحتوى. الطرق السابقة فقدت الكثير من الذكاء.
السرعة: اختبروا ذلك على أجهزة حقيقية (مثل NVIDIA H20 و RTX 5090). والنتيجة؟ عملت المكتبات المصغرة بسرعة أكبر بمقدار 1.3 إلى 2.2 مرة. هذا يشبه تحويل شاحنة ثقيلة وبطيئة إلى سيارة رياضية رشيقة دون فقدان حمولتها.

الخلاصة

تقدم هذه الورقة طريقة أذكى لتقليص نماذج الذكاء الاصطناعي الضخمة. فبدلاً من قطع أجزاء منها عشوائيًا أو استخدام التخمين الفوضوي، تستخدم "مفتاح تعتيم" رياضي دقيق يتصلب تدريجيًا ليأخذ شكلًا نهائيًا فعالًا.

النتيجة: تحصل على ذكاء اصطناعي أصغر، وأسرع، وأرخص، وهو ذكي تقريبًا مثل النموذج الضخم الأصلي، مما يجعل من الممكن تشغيل ذكاء اصطناعي قوي على الأجهزة التي نستخدمها كل يوم بالفعل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Deterministic Differentiable Structured Pruning for Large Language Models" (التقليم الهيكلي التفاضلي الحتمي للنماذج اللغوية الكبيرة).

1. بيان المشكلة (Problem Statement)

تعد النماذج اللغوية الكبيرة (LLMs) مكلفة حاسوبياً من حيث التشغيل. ويقدم التقليم الهيكلي (Structured Pruning) حلاً عبر إزالة مكونات معمارية كاملة (مثل رؤوس الانتباه، أو قنوات MLP، أو خبراء MoE) لتقليل حجم النموذج وتكلفة الاستدلال دون الحاجة إلى أجهزة متخصصة.

ومع ذلك، تواجه الطرق الحالية قيوداً كبيرة:

الاستدلالات أحادية الخطوة (One-shot Heuristics): سريعة ولكنها هشة؛ فهي تعتمد على درجات أهمية ثابتة وغالباً ما تسبب تدهوراً كبيراً في الأداء تحت ظروف التشتت (Sparsity) الشديدة.
التخفيفات العشوائية (Stochastic Relaxations): الطرق التي تتعلم الأقنعة (Masks) عبر التحسين من طرف إلى طرف غالباً ما تستخدم تخفيفات Hard-Concrete. هذه الطرق تُدخل العشوائية (أخذ عينات عشوائية) أثناء التدريب لتقريب معيار $\ell_0$ $ℓ_{0}$ المتقطع. وهذا يؤدي إلى:
- عدم التطابق بين التدريب والاختبار (Train-Test Mismatch): يستخدم التدريب أقنعة عشوائية، بينما يتطلب النشر أقنعة محددة (Deterministic)، مما يسبب عدم الاستقرار.
- قدرة تعبيرية محدودة (Limited Expressiveness): تكون الأقنعة مقيدة بنطاق قريب من الثنائية (Binary) أثناء التدريب، مما يحد من مساحة البحث عن أنماط التشتت المثلى.
- بطء التقارب (Slow Convergence): يُدخل ضجيج أخذ العينات تبايناً في التدرجات (Gradients)، مما يبطئ عملية التحسين.

2. المنهجية: التقليم التفاضلي الحتمي (DDP)

يقترح المؤلفون DDP، وهو إطار عمل للتحسين القائم على القناع فقط (Mask-only optimization)، والذي يلغي العشوائية ويمكّن التحسين التفاضلي للتشتت الهيكلي.

المكونات الأساسية

التحسين القائم على القناع فقط (Mask-Only Optimization):
- يتم تجميد الأوزان المدربة مسبقاً. يتم فقط تحسين مجموعة من متغيرات البوابة القابلة للتعلم (الأقنعة).
- هذا يقلل مساحة البحث بشكل جذري (على سبيل المثال، بالنسبة لنموذج بـ 685 مليار معلمة، تكون متغيرات القناع في حدود عشرات الملايين فقط)، مما يسمح بالتقارب ضمن ميزانية عدد قليل من الرموز (Tokens) (أقل من 30 مليون رمز).
التمرير الأمامي الحتمي (Deterministic Forward Pass):
- بدلاً من أخذ العينات العشوائية، يستخدم DDP بوابة ReLU حتمية للتمرير الأمامي: $m = \text{ReLU}(z)$ ، حيث $z$ هي لوجيتات (Logits) قابلة للتعلم.
- هذا يوسع نطاق قيمة القناع من النطاق القريب من الثنائي $[0, 1]$ إلى $[0, \infty)$ ، مما يسمح بالتحجيم المستمر لمساهمات المكونات ويتجنب تغير الإشارة.
البديل الناعم المُنعم لـ $\ell_0$ (Annealed Soft Surrogate for $\ell_0$ ):
- للتعامل مع معيار $\ell_0$ غير القابل للتفاضل دون استخدام أخذ العينات، يقدم DDP بديلاً حتمياً ناعماً (Deterministic smooth surrogate) يسمى $s = \phi(z; \mu_t)$ يُستخدم فقط للتنظيم (Regularization).
- يقوم هذا التعيين بإسقاط اللوجيتات إلى درجات الاحتفاظ $s \in [0, 1]$ .
- التنعيم (Annealing): يتم تنعيم معامل الحدة $\mu_t$ من دالة سيجمويد (Sigmoid) ناعمة إلى دالة خطوة حادة عبر خطوات التدريب. ومع اقتراب $\mu_t$ من الصفر، يتقارب البديل إلى سلوك $\ell_0$ الدقيق.
طريقة لاغرانج المعززة (Augmented Lagrangian Method - ALM):
- تتم صياغة مشكلة التقليم كمسألة تحسين مقيدة: تقليل الخسارة مع مراعاة نسبة الاحتفاظ المستهدفة $\rho$ .
- تفرض منهجية ALM هذا القيد باستخدام حد الجزاء: $L_{sparsity} = \lambda_1(\bar{s} - \rho) + \lambda_2(\bar{s} - \rho)^2$ .
- يتم تحديث مضاعفات لاغرانج ( $\lambda$ ) عبر صعود التدرج لفرض ميزانية التشتت بصرامة.
خسارة التثني (Binarization Loss):
- لتسريع التقارب وضمان أن تصبح الأقنعة حاسمة (0 أو 1)، يتم إضافة خسارة تثني صريحة: $L_{bin} = \sum s_k(1-s_k)$ . هذه الخسارة تعاقب القيم المتوسطة، مما يدفع الدرجات نحو النقاط الطرفية $\{0, 1\}$ .
تقطير المعرفة (Knowledge Distillation):
- يعمل النموذج الكثيف الأصلي كمعلم خالٍ من المعلمات (Parameter-free teacher). يتم إضافة خسارة تباعد KL لتوجيه الطالب المقلم، مما يحافظ على القدرات عالية المستوى بأقل قدر من التكاليف الإضافية.

3. المساهمات الرئيسية

إزالة العشوائية: يزيل DDP عدم التطابق بين التدريب والاختبار المتأصل في طرق Hard-Concrete عبر استخدام عملية تحسين حتمية بالكامل.
توسيع القدرة التعبيرية: من خلال فصل قناع التمرير الأمامي (ReLU) عن درجة التنظيم (Soft surrogate)، تسمح الطريقة بمساحة بحث أوسع، مما يكتشف أنماط تشتت ذات جودة أعلى من الأقنعة الثنائية المحدودة.
الضمانات النظرية: توفر الورقة تحليلاً للتقارب يوضح أنه تحت التنعيم المرحلي ( $\mu \to 0$ ) والتثني، يستعيد المنهج سلوك $\ell_0$ المتقطع الدقيق مع استيفاء شروط KKT للبديل المريح.
القابلية للتوسع: تتوسع الطريقة لتشمل نماذج ضخمة (مثل Qwen3-32B، ومقياس DeepSeek-R1) بأقل تكلفة حاسبية، حيث تتطلب فقط تحديثات القناع.

4. النتائج التجريبية

تم تقييم المنهجية على النماذج الكثيفة (LLaMA-7B/13B، وسلسلة Qwen3) ونماذج خليط الخبراء (MoE) (DeepSeekMoE-16B، وQwen3-30B-A3B).

الأداء مقابل النماذج المرجعية (Baselines):
- النماذج الكثيفة: عند تشتت بنسبة 20% و50%، تفوق DDP باستمرار على أفضل الطرق أحادية الخطوة (LoRAPrune, SlimLLM) وطرق تعلم الأقنعة الأخرى. على سبيل المثال، في نموذج LLaMA-7B عند تشتت 50%، حقق DDP دقة متوسطة بلغت 56.07% مقابل 53.16% لنموذج SlimLLM.
- نماذج MoE: أظهر DDP مكاسب كبيرة في تقليم MoE. في نموذج DeepSeekMoE-16B عند تشتت 60%، حسن الدقة المتوسطة بمقدار +6.6 نقطة عن أقوى نموذج مرجعي (58.18 مقابل 51.62) مع تقليل الارتباك (Perplexity) بشكل كبير.
الكفاءة:
- يتقارب التدريب ضمن 30 مليون رمز (حوالي 20-40 دقيقة على 4 وحدات GPU من نوع H20).
- تسريع نهاية إلى نهاية (End-to-End Speedup): باستخدام vLLM، حقق DDP تسريعاً يصل إلى 2.20 ضعفاً على RTX 5090 لنموذج LLaMA-7B عند تشتت 50%، و1.51 ضعفاً لنموذج Qwen3-30B-A3B عند تشتت 60%.
أنماط التشتت:
- تكتشف المنهجية تلقائياً أنماطاً قابلة للتفسير: يتركز التقليم في الطبقات المتأخرة وفي خبراء MoE الذين يتم توجيه المسارات إليهم بشكل أقل تكراراً، مما يتماشى مع التوقعات النظرية للزيادة (Redundancy).

5. الأهمية

تجسر هذه الورقة الفجوة بين العملية (تكلفة حاسوبية منخفضة، اعتماد القناع فقط) والجودة (الحفاظ على الأداء العالي). من خلال إزالة الضجيج العشوائي وعدم التطابق بين التدريب والاختبار الذي تعاني منه طرق التقليم التفاضلية السابقة، يوفر DDP حلاً قوياً وقابلاً للتوسع لنشر النماذج اللغوية الكبيرة في البيئات ذات الموارد المحدودة. كما يثبت أن التشتت الهيكلي عالي الجودة يمكن تعلمه بكفاءة دون الحاجة لإعادة تدريب كامل للنموذج أو ضبط معقد للنماذج الاستدلالية.