🤖 machine learning

SparseForge: Efficient Semi-Structured LLM Sparsification via Annealing of Hessian-Guided Soft-Mask

تُعد SparseForge إطار عمل لما بعد التدريب يعمل على تعزيز كفاءة التخفيف شبه المهيكل للنماذج اللغوية الكبيرة من خلال الجمع بين تقدير الأهمية الموجه بـ "هسيان" (Hessian) والتقليل التدريجي الناعم للقناع، مما يحقق دقة فائقة بعدد أقل بكثير من رموز إعادة التدريب مقارنة بالطرق الحالية.

المؤلفون الأصليون: Liu Hanzuo, Chaofan Lin, Weixuan Sun, Yulong Wang, Key, Rayying, Mingyu Gao

نُشر 2026-05-08

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Liu Hanzuo, Chaofan Lin, Weixuan Sun, Yulong Wang, Key, Rayying, Mingyu Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير، أو LLM) تعرف كل شيء تقريبًا. ومع ذلك، فهي كبيرة جدًا لدرجة أنها تشغل مستودعًا كاملاً وتتطلب فريقًا ضخمًا من المكتبيين لإدارتها. أنت تريد تقليص هذه المكتبة لتناسب مكتبًا عاديًا وتعمل بشكل أسرع، لكن لا يمكنك مجرد رمي الكتب عشوائيًا؛ لأنك إذا فعلت ذلك، ستفقد المكتبة قدرتها على تكوين جمل مفيدة.

هذه هي المشكلة التي يحلها SparseForge.

المشكلة: معضلة "القرار الجماعي"

تتمتع الرقائق الحاسوبية الحديثة (مثل تلك التي تنتجها NVIDIA) بقدرة رائعة على التعامل مع نوع معين من "التقليص" يسمى التخلخل بنسبة 2:4 (2:4 sparsity). فكر في هذا كقاعدة لمجموعة من أربعة أصدقاء يجلسون حول طاولة: يجب أن يغادر اثنان منهم بالضبط، ويبقى اثنان.

حاولت الطرق القديمة حل هذه المشكلة عبر النظر إلى كل كتاب على حدًا، وتحديد أي الكتب هي "الأقل أهمية"، ثم إجبار المجموعات على الامتثال للقاعدة.

العيب: هذا يشبه سؤال أربعة أصدقاء ليقرروا من سيغادر، ولكن اتخاذ القرار بشكل فوري. إذا اخترت الشخصين الخطأ ليغادرا لأنك لم تفكر مليًا، فإن المحادثة بأكملها ستتعطل. ولإصلاح المحادثة المتعطلة، اضطرت الطرق القديمة لإعادة تعليم المكتبة آلاف المرات (باستخدام كميات هائلة من البيانات)، وهو أمر بطيء ومكلف.

الحل: عملية "التلدين" (Annealing)

يقترح مؤلفو هذه الورقة البحثية، SparseForge، طريقة أكثر ذكاءً. فبدلاً من اتخاذ قرار حازم وفوري، يعاملون القرار مثل عمل تشكيل المعادن.

التسخين (القناع الناعم - The Soft Mask): تخيل أن كتب المكتبة مصنوعة من طين ناعم وقابل للتشكيل. بدلاً من اتخاذ قرار "بقاء" أو "رحيل" فورًا، يقوم النظام بتخصيص درجة "ناعمة" لكل كتاب تتراوح بين 0 و1. الأمر يشبه كون الكتب "طرية" قليلاً. يقوم النظام بدفع الطين بلطف، مما يسمح للكتب باستكشاف مواضع مختلفة. إنه لا يفرض قرارًا نهائيًا بعد.
دليل الهيسيان (النحات الخبير - The Hessian Guide): لمعرفة أي الكتب مهمة حقًا، يستخدم النظام "مستشعر انحناء" خاصًا (يسمى الوعي بالهيسيان - Hessian-awareness). فبدلاً من مجرد النظر إلى مدى ثقل الكتاب (المقدار)، فإنه ينظر إلى مدى الضرر الذي سيلحق بفهم المكتبة إذا تمت إزالة هذا الكتاب تحديدًا. يساعد هذا النظام في معرفة أي صديقين من كل مجموعة من أربعة هم الأكثر حيوية للبقاء.
التبريد المفاجئ (التقسية - The Quenching): بمجرد أن يستكشف النظام جميع الاحتمالات ويجد الترتيب المثالي، فإنه يقوم بـ "تبريد" الطين ببطء. إنه يحول الدرجات الناعمة تدريجيًا إلى قرار "بقاء" (1) أو "رحيل" (0) حازم. ولأن النظام استكشف الخيارات أولاً، فإن القرار الحازم النهائي يكون أكثر دقة بكثير.

النتائج: تحقيق المزيد بموارد أقل

تزعم الورقة البحثية أن هذه الطريقة تعد نقطة تحول في الكفاءة:

بيانات أقل، ذكاء مماثل: لجعل مكتبتهم تعمل بشكل جيد، احتاجت SparseForge فقط إلى إعادة قراءة 5 مليارات كلمة (توكنز).
هزيمة العمالقة: احتاجت طريقة سابقة رفيعة المستوى إلى إعادة قراءة 40 مليار كلمة لتحقيق نتيجة مماثلة. حققت SparseForge نفس الذكاء (أو أفضل قليلاً) باستخدام 8 أضعاف أقل من البيانات.
أسرع وأصغر: نظرًا لأن المكتبة النهائية تتبع قاعدة "2 من كل 4"، فإنها تشغل مساحة أقل في ذاكرة الكمبيوتر (باستخدام حوالي 58% من المساحة فقط) وتعمل بسرعة أكبر بمقدار 1.4 مرة على الأجهزة الحديثة.

الخلا الخلاصة

SparseForge تشبه النحات الماهر الذي لا يكتفي فقط بنحت التمثال بالإزميل (الطرق القديمة). بدلاً من ذلك، يقوم بتسخين الحجر، ويتركه يستقر في الشكل المثالي، ثم يبرده ليكشف عن تحفة فنية. يتيح ذلك تقليص نماذج الذكاء الاصطنا الضخمة إلى حجم يمكن إدارته دون فقدان ذكائها، مما يوفر كميات هائلة من الوقت وقوة الحوسبة في هذه العملية.

ملخص تقني: SparseForge

بيان المشكلة

توفر الندرة شبه المهيكلة (مثل أنماط 2:4) مسارًا عمليًا لتسريع النماذج اللغوية الكبيرة (LLMs) عبر دعم الأجهزة الأصلي (مثل وحدات NVIDIA Sparse Tensor Cores). ومع ذلك، تواجه عملية التناقص (sparsification) بعد التدريب تحت هذه القيود عقبة حرجة: تدهور كبير في الجودة.

تعتمد الطرق الحالية عادةً على حساب درجات الأهمية متبوعة بإسقاط صلب (hard projection) على الهياكل المتناقصة. وتحت قيود الهيكلية شبه المنتظمة، لا تكون قرارات التقليم مستقلة؛ حيث تتنافس الأوزان داخل المجموعات المقيدة. غالبًا ما تؤدي القرارات الصلبة المبكرة إلى إزالة أوزان قد تكون مهمة فرديًا ولكنها غير مثالية في ظل وجود تقييم غير دقيق، مما يؤدي إلى فقدان الدقة. ولتعويض الأداء، تعتمد الأساليب الحالية الرائدة (SOTA) (مثل CAST) على إعادة تدريب متناقص واسع النطاق (على سبيل المثال، 40 مليار توكن)، مما يؤدي إلى تكاليف حوسبة عالية ومقايضة غير فعالة بين الدقة والتكلفة.

يجادل المؤلفون بأن العقبة الأساسية ليست حجم توكنات إعادة التدريب، بل جودة قناع الندرة (sparsity mask).

المنهجية: SparseForge

SparseForge هو إطار عمل لما بعد التدريب مصمم لتحسين كفاءة الاسترداد من خلال تحسين قناع الندرة مباشرة بدلاً من زيادة حجم توكنات إعادة التدريب. وهو يستخدم خط أنابيب تلدين القناع (mask annealing pipeline) الذي يعامل القناع كمتغير مستمر وقابل للتحسين قبل تحويله إلى نمط ثنائي قابل للتنفيذ برمجياً على الأجهزة.

يعمل إطار العمل من خلال ثلاث آليات أساسية:

1. حلقة إعادة التدريب مزدوجة المسار (مرحلة "التسخين")

يقوم SparseForge بتحسين أوزان النموذج وقناع ناعم (soft mask) صريح ( $m \in [0, 1]$ ) بشكل مشترك في حلقة موحدة.

التحسين المنفصل: بينما يتم تحديث الأوزان في كل خطوة عبر دوال الخسارة القياسية، يتم تحديث القناع الناعم بشكل أقل تكراراً ( $T_{update}$ خطوات) باستخدام قاعدة تعلم مخصصة. يحافظ هذا على القناع في حالة مستمرة، مما يسمح للنموذج باستكشاف البدائل المهيكلة دون الالتزام بقرارات ثنائية هشة في وقت مبكر من التدريب.
فرع SLoRB: يمكن استخدام فرع منخفض الرتبة متناقص (sparse low-rank branch) اختيارياً لتعويض السعة المفقودة أثناء التقليم.

2. تقدير الأهمية المدرك لهيسيان (Hessian-Aware)

لحل مشكلة التنافس داخل المجموعة (حيث تتنافس عدة أوزان داخل مجموعة 2:4 على البقاء)، يتجاوز SparseForge مجرد التقييم القائم على المقدار.

إشارة الدرجة الثانية: يستخدم معيارًا مدركًا للهيسيان لتقدير حساسية الخسارة تجاه إزالة الوزن. تُشتق درجة الأهمية كـ $s = (H + \epsilon) \odot W^2$ ، حيث $H$ هو تقريب للقطر لـ Hessian.
التقدير الفعال: نظرًا لأن تشكيل مصفوفة Hessian الكاملة أمر باهظ التكلفة، يتم تقدير القطر باستخدام مقدر عشوائي من نوع Hutchinson باستخدام متجهات Rademacher.
توليد البوابة الناعمة: يتم توحيد هذه الدرجات وتمريرها عبر دالة sigmoid مع معامل درجة حرارة (temperature parameter) لإنشاء بوابة ناعمة، مما يرمز إلى التنافس داخل كل مجموعة مع الحفاظ على الاستمرارية.

3. التلدين التدريجي (مرحلة "التبريد")

لسد الفجوة بين القناع الناعم المتعلم والقناع الثنائي الصلب المطلوب، يستخدم SparseForge استراتيجية تصليد تدريجية:

منظم التفضيل الثنائي: يتم إضافة حد $L_{mid} = \sum m_{ij}(1-m_{ij})$ إلى الخسارة، مما يعاقب قيم القناع الغامضة (0.5) ويشجع القيم نحو 0 أو 1.
المزج التدريجي: يتم مزج البوابة الناعمة تدريجياً مع "هدف صلب" (أعلى $N$ مدخل في كل مجموعة بناءً على درجات هيسيان) باستخدام عامل خلط $\beta$ .
تلدين درجة الحرارة: يتم تلدين درجة حرارة (T) الخاصة بالـ sigmoid هندسياً لزيć حد القرار.
الإسقاط النهائي: بمجرد انفصال القناع بشكل كافٍ، تقوم خطوة استكمال نهائية بتحويل القناع الناعم إلى نمط ثنائي صلب 2:4، يليه مرحلة ضبط دقيق قصيرة لاستيعاب أخطاء الإسقاط.

المساهمات الرئيسية

إعادة صياغة العقبة: يحدد البحث أن الاسترداد المتناقص تحت القيود شبه المنتظمة محدود بجودة القناع أكثر من حجم إعادة التدريب. يغير هذا الاستبصار التركيز من توسيع نطاق التوكنات إلى تحسين القناع نفسه.
إطار عمل SparseForge: إطار عمل جديد لما بعد التدريب يقوم صراحةً بتحسين قناع ناعم وتلدينه تدريجياً إلى نمط ثنائي قابل للنشر. يقدم قاعدة تحديث قناع موجهة بالهيسيان وآلية تبريد تدريجية.
اختراق في الكفاءة: يحقق SparseForge استرداداً رائداً (SOTA) باستخدام عدد أقل بكثير من توكنات إعادة التدريب، مما يثبت أن تحسين القناع هو رافعة أكثر كفاءة من مجرد زيادة حجم البيانات.

النتائج التجريبية

قيم المؤلفون SparseForge على نماذج متنوعة (GPT-2, OPT, LLaMA-2, Qwen3, DeepSeek-MoE) تحت تباعد 2:4.

أداء LLaMA-2-7B:
- حقق SparseForge متوسط دقة zero-shot بنسبة 57.27% باستخدام 5 مليارات توكن إعادة تدريب فقط.
- يتفوق هذا على دقة النموذج الكثيف (56.43%) ويقترب من نتيجة CAST† الرائدة (57.52%)، والتي تطلبت 40 مليار توكن (أي تقليل بنسبة 8 أضعاف في تكلفة التدريب).
- يتفوق بشكل كبير على طرق أخرى مثل Wanda وSparseGPT وMaskLLM.
الاتساق عبر النماذج: أظهرت الطريقة اتساقًا في الأداء عبر عائلات النماذج، مع انخفاض طفيف في الدقة (عادةً أقل من 3%) مقارنة بالنماذج الكثيفة، حتى بالنسبة للنماذج الأكبر مثل Qwen3-14B وDeepSeek-MoE.
تسريع الأجهزة: أظهرت اختبارات الاستدلال من النهاية إلى النهاية على وحدات NVIDIA H800 GPU باستخدام TensorRT-LLM تسريعاً في الإنتاجية بنسبة 1.40x–1.44x وانخفاضاً في بصمة الذاكرة بنسبة 42% (7.31 GB مقابل 12.55 GB) مقارنة بالنموذج الكثيف الأساسي.
دراسات الاستئصال (Ablation Studies): أدى إزالة الأهمية المدركة للهيسيان، أو فرع SLoRB، أو مكونات التلدين التدريجي إلى انخفاض كبير في الدقة، مما يؤكد ضرورة كل مكون.

الأهمية والادعاءات

يدعي البحث أن التحسين المتمحور حول القناع هو اتجاه واعد للضغط المتناقص للنماذج اللغوية الكبيرة المتوافقة مع الأجهزة. ومن خلال معاملة القناع كمتغير مستمر واستخدام معلومات الدرجة الثانية لتوجيه تطوره، يثبت SparseForge أنه يمكن تحقيق ندرة شبه منتظمة عالية الجودة دون التكلفة الباهظة لإعادة التدريب واسع النطاق.

يشير المؤلفون بتواضع إلى أن أداء الطريقة حساس لاختيار مجموعة بيانات إعادة التدريب (على سبيل المثال، عدم التطابق بين التدريب الموجه للاستدلال وبيانات C4 العامة يمكن أن يؤثر على النتائج) وأنه بينما يتوسع إطار العمل ليشمل أنماطًا أخرى (مثل block-16)، فإن التركيز الأساسي والتحقق يظلان على نمط 2:4. يشير العمل إلى أن "كيفية" التحسين (جودة القناع) لا تقل أهمية عن "مقدار" التحسين (حجم التوكنات) في تحقيق أداء يقارب النماذج الكثيفة في النماذج المتناقصة.