ملخص تقني: النماذج اللغوية الكبيرة يمكنها ضغط النماذج اللغوية الكبيرة: التقليم التكيفي بواسطة الوكلاء

بيان المشكلة

مع توسع النماذج اللغوية الكبيرة (LLMs)، تعيق متطلبات الحوسبة والذاكرة الضخمة عملية نشرها. وبينما يوفر "التقليم ما بعد التدريب" (post-training pruning) حلاً لتقليل هذه التكاليف دون الحاجة لإعادة تدريب مكلفة، إلا أن الأساليب الحالية تواجه قيوداً حرجة:

1. الاستدلالات الموحدة: تعتمد النهج الحالية مثل SparseGPT وWanda على نسب تخلخل (sparsity) موحدة أو استدلالات مصممة يدوياً لتحديد التقليم لكل طبقة. وتفشل استراتيجية "المقاس الواحد الذي يناسب الجميع" هذه في مراعاة الأهمية المتباينة للطبقات المختلفة في الحفاظ على قدرات النموذج.
2. تدهور المعرفة الواقعية: تكشف الاختبارات المرجعية الحديثة (مثل LLM-KICK) أن النماذج اللغوية الكبيرة المقلمة، وخاصة تلك التي تستخدم التقليم المهيكل (structured pruning)، تعاني من تدهور كارثي في المعرفة الواقعية. يمكن للأساليب المهيكلة أن تفقد أكثر من 97% من الدقة في المهام كثيفة المعرفة (مثل FreebaseQA) حتى عند نسب تخلخل متواضعة (25-30%)، رغم الزيادة الطفيفة في الارتياب (perplexity). وهذا يشير إلى أن الارتياب مقياس غير كافٍ لتقييم القدرة الحقيقية للنماذج المضغوطة.

المنهجية

يقترح المؤلفون التقليم الموجه بالوكيل (Agent-Guided Pruning)، وهو إطار عمل يعمل فيه نموذج تأسيسي كوكيل تقليم تكيفي لاختيار الطبقات التي سيتم تقليمها بذكاء في كل تكرار. تعمل هذه الطريقة دون إعادة تدريب وهي مستقلة عن نوع النموذج (model-agnostic).

المكونات الأساسية

1. توصيف حساسية الطبقات (Layer-Wise Sensitivity Profiling):

   • يقوم النظام ببناء ملفات تعريف الحساسية لكل طبقة خطية من خلال الجمع بين مقاييس وزن التنشيط المستوحاة من Wanda (مقدار الأوزان مضروباً في معايير تنشيط المدخلات) ودرجات أهمية التدرج (المستوحاة من ++Wanda).
   • يتم توحيد هذه المقاييس باستخدام معيار الدرجة المعيارية (z-score standardization) للسماح بالمقارنة المستقلة عن النموذج عبر أنواع الطبقات غير المتجانسة. تشير درجات z السالبة إلى الطبقات ذات الحساسية الأقل من المتوسط (الأكثر أماناً للتقليم)، بينما تشير الدرجات الموجبة إلى حساسية أعلى.

2. صنع القرار بواسطة وكيل LLM:

   • يعمل نموذج تأسيسي (تحديداً gemini-3-flash-preview) كوكيل. في كل تكرار، يتلقى الوكيل:
     • التخلخل الحالي والمستهدف الإجمالي.
     • ملفات تعريف الطبقات المرتبة (z-scores).
     • الارتياب الحالي والأساسي.
     • ملخصات التغذية الراجعة من التكرارات السابقة.
   • يقوم الوكيل بالاستنتاج حول الطبقات التي يجب تقليمها لموازنة مكاسب التخلخل مع صحة النموذج، ويخرج قرارات بصيغة JSON مهيكلة تتعلق بزيادات تخلخل طبقات محددة.

3. آلية التأمل الذاتي (Self-Reflection Mechanism):

   • يعمل الوكيل في حلقة تغذية راجعة تكرارية. بعد كل خطوة تقليم، يتلقى ملخصاً لنتائج القرار السابق، بما في ذلك مكسب التخلخل، وتغير الارتياب، وتقييماً نوعياً.
   • يسم يسمح هذا للوكيل بالتعلم من القرارات السابقة، وإدراك الأنماط (مثل إعطاء الأولوية للطبقات ذات درجات z السالبة للغاية) وتعديل استراتيجيته (مثل أن يصبح أكثر تحفظاً مع تدهور الارتياب).

4. التراجع عن نقطة التحقق (Checkpoint Rollback):

   • تعمل آلية أمان تراقب تدهور الارتياب. إذا تجاوزت زيادة الارتياب عتبة معينة (15%)، يقوم النظام بالعودة إلى نقطة التحقق السابقة، واستبعاد قرارات التكرار الحالي، وتقديم تغذية راجعة سلبية للوكيل لتشجيعه على اتباع نهج أكثر تحفظاً.

المساهمات الرئيسية

تحدد الورقة خمس مساهمات رئيسية:

• أول إطار عمل "النموذج اللغوي كوكيل": يقدم أول إطار عمل يستخدم نموذج لغوي كبير كوكيل تقليم تكيفي لاختيار الطبقات بشكل تكراري، مما يلغي الحاجة إلى تصميم الاستدلال اليدوي.
• آلية التأمل الذاتي: طور آلية تمكن وكيل التقليم من التعلم من القرارات السابقة وتحسين استراتيجيته من خلال التغذية الراجعة التكرارية.
• التوصيف المستقل عن النموذج: يقترح نهج توصيف إحصائي باستخدام توحيد الدرجة المعيارية (z-score) لمقاييس Wanda وأهمية التدرج لمقارنة أنواع الطبقات غير المتجانسة.
• التراجع عن نقطة التحقق: ينفذ شبكة أمان تحافظ على جودة النموذج من خلال التراجع عن المحاولات غير الناجحة، مما يظهر تصحيحاً ذاتياً فعالاً مع معدلات تراجع منخفضة.
• التفوق التجريبي: يحقق تحسينات جوهرية على أسس التقليم المهيكل، وتحديداً معالجة مشكلة تدهور المعرفة الواقعية.

النتائج التجريبية

تم تقييم النهج على نماذج Qwen3-4B و Qwen3-8B، مستهدفاً تخلخلاً بنسبة 45-50% تقريباً. تمت مقارنة النتائج مع الأسس المرجعية للتقليم المهيكل (أنماط 2:4 و 4:8).

• دقة MMLU: حقق النهج الموجه بالوكيل تحسناً نسبياً بنسبة 56% في دقة MMLU مقارنة بأفضل أساس مهيكل (4:8) على نموذج 8B.
• الحفاظ على المعرفة الواقعية: في اختبار FreebaseQA، أظهرت الطريقة تحسناً بمقدار 19 ضعفاً في الاحتفاظ بالدقة مقارنة بالأساس المهيكل 4:8 (25.16% مقابل 1.33% لـ Qwen3-8B)، مما يعالج مباشرة الانهيار الكارثي الملاحظ في الأعمال السابقة.
• الارتياب (Perplexity): أدت الطريقة إلى تدهور أقل في الارتياب بنسبة 69% مقارنة بالأساس 4:8.
• الكفاءة والاستقرار: لم يتطلب إطار العمل أي إعادة تدريب. عبر 21-40 تكراراً، أظهر الوكيل تصحيحاً ذاتياً فعالاً مع معدلات تراجع منخفضة (9.5% لـ Qwen3-8B و 10% لـ Qwen3-4B)، مما يشير إلى أن الوكيل نجح في تعلم كيفية الموازنة بين التخلخل وجودة النموذج.

الأهمية والادعاءات

يزعم البحث أنه يؤسس لنموذج جديد حيث يمكن للنماذج التأسيسية توجيه ضغط النماذج التأسيسية الأخرى بفعالية. تكمن أهمية هذا العمل في:

1. حل مشكلة تدهور المعرفة: يعالج مباشرة الانفصال بين الارتياب وأداء المهام، مبيناً أن التقليم التكيفي الموجه بالوكيل يمكنه الحفاظ على مسارات المعرفة الواقعية الحرجة التي يدمرها التقليم الموحد أو المهيكل.
2. التعلم الميتا (Meta-Learning) في الضغط: يثبت أن سياسات التقليم يمكن صقلها من خلال الخبرة (التعلم الميتا) بدلاً من الاعتماد على مقاييس أهمية ثابتة، والتكيف مع الحساسيات غير المتجانسة لطبقات النماذج اللغوية الكبيرة الحديثة.
3. الأتمتة: يفتح آفاقاً لتحسين البنية العصبية المؤتمت بالكامل دون الحاجة إلى تصميم استدلال يدوي أو إعادة تدريب مكلفة.

يخلص المؤلفون إلى أن نتائجهم تثبت جدوى استخدام وكلاء النماذج اللغوية الكبيرة لضغط النماذج اللغوية الكبيرة بطرق تحافظ على القدرات التي قد تغفل عنها المقاييس التقليدية والاستدلالات الثابتة.