🤖 machine learning

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

يُعدُّ PATCH إطار عمل هجين للتخلخل (sparsity) يقوم بتقسيم مصفوفات أوزان النماذج اللغوية الكبيرة (LLM) إلى بلاطات (tiles) ذات خرائط كثيفة قابلة للتعلم أو خرائط تخلخل بنسبة 2:4 لتمكين نسب تخلخل مستمرة بين 0% و50%، مما يحقق دقة فائقة وتسريعًا عمليًا على وحدات معالجة الرسومات مقارنة بطرق التقصيف (pruning) الحالية غير المنظمة أو شبه المنظمة الجامدة.

المؤلفون الأصليون: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

نُشر 2026-04-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (LLM) كأنه مكتبة هائلة ومنظمة للغاية تحتوي على مليارات الكتب (المعلمات/Parameters). لتشغيل هذه المكتبة بسرعة على جهاز كمبيوتر عادي، يجب عليك إزالة بعض الكتب. ومع ذلك، تواجه معضلة صعبة:

النهج "الفوضوي" (التخلخل غير المنظم - Unstructured Sparsity): تقوم برمي الكتب عشوائياً من كل مكان على الرفوف. هذا يحافظ على معرفة المكتبة بدقة عالية لأنك تستطيع أن تكون انتقائياً للغاية، لكنه يخلق فوضى عارمة. فالمكتب (وحدة معالجة الرسومات/GPU) الذي يحاول العثور على الكتب سيضطر للقفز في كل مكان، مما يجعل العملية بطيئة وغير فعالة.
النهج "الصارم" (تخلخل 2:4 - 2:4 Sparsity): تقرر اتباع قاعدة صارمة: "في كل مجموعة من أربعة كتب، يجب عليك إزالة كتابين بالضبط". هذا يجعل عمل المكتب بسيطاً وسريعاً لأن النمط يمكن التنبؤ به. ومع ذلك، فإن هذه القاعدة صارمة للغاية؛ فأحياناً يكون الكتابان اللذان "يجب" عليك إزالتهما هما في الواقع أهم الكتب، مما يتسبب في فقدان المكتبة لذكائها ودقتها.

هنا يأتي دور PATCH: أمين المكتبة "الذكي"

يقدم هذا العمل طريقة جديدة تسمى PATCH (التقليم باستخدام تكوين قابل للتعلم على مستوى البلاطات للتخلخل الهجين). بدلاً من الاختيار بين النهجين "الفوضوي" و"الصارم"، يعمل PATCH كأمين مكتبة ذكي يقسم المكتبة إلى بلاطات (أقسام رفوف صغيرة يمكن إدارتها).

إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:

نظام البلاطات: تخيل أن المكتبة مقسمة إلى بلاطات مربعة، مثل الفسيفساء.
القرار: يتعلم نظام PATCH اتخاذ قرار لكل بلاطة:
- الخيار (أ) (كثيف - Dense): أبقِ هذه البلاطة ممتلئة بالكتب تماماً. هذا مخصص للمناطق "الحرجة" في المكتبة حيث تكون الدقة هي الأهم.
- الخيار (ب) (تخلخل 2:4): طبق القاعدة الصارمة "أزل اثنين من أربعة" على هذه البلاطة. هذا مخصص للمناطق التي تمتلك فيها المكتبة كتباً زائدة أو مكررة يمكن إزالتها بأمان لتوف توفير المساحة وزيادة السرعة.
عملية التعلم: النظام لا يخمن. إنه "يدرب" نفسه ليعرف بالضبط أي البلاطات يجب أن تكون ممتلئة وأيها يجب أن تكون متخلخلة. إنه يتعلم الحفاظ على الأجزاء المهمة كثيفة والأجزاء المكررة متخلخلة، بينما يتبع في الوقت نفسه قواعد صديقة للأجهزة (Hardware-friendly).

لماذا يعد هذا أمراً هاماً؟

أفضل ما في العالمين: يجسّر PATCH الفجوة. فهو يحافظ على دقة المكتبة (مثل النهج الفوضوي) ولكنه ينظمها بحيث يمكن للحواسيب قراءتها بسرعة (مثل النهج الصارم).
سرعة مرنة: يمكنك أن تقول لـ PATCH: "أريد تصغير المكتبة بنسبة 25%" أو "50%". سيقوم بتعديل عدد "البلاطات الممتلئة" مقابل "البلاطات المتخلخلة" لتحقيق هذا الهدف بدقة، بدلاً من أن يظل عالقاً عند نسبة تقليل ثابتة قدرها 50%.
نتائج واقعية: اختبر المؤلفون هذا على نماذج تتراوح من الصغيرة إلى الكبيرة جداً (تصل إلى 13 مليار معلمة).
- السرعة: على بطاقة رسومات قياسية للمستهلكين (A6000 GPU)، جعل PATCH النماذج تعمل بشكل أسرع بـ 1.18 إلى 1.38 مرة من النماذج الأصلية غير المقلمة.
- الذكاء: على عكس الطرق الأخرى التي تجعل النماذج "أقل ذكاءً" عندما تزيد سرعتها، جعل PATCH النماذج في الواقع أكثر دقة (بنسبة 0.37% إلى 2.96%) مقارنة بالطريقة الصارمة الرائدة حالياً (MaskLLM).

الملخص

فكر في PATCH كوسيلة لتنظيف مستودع ضخم. بدلاً من رمي الأشياء عشوائياً (مما يبطئ حركة الرافعات الشوكية) أو اتباع قاعدة غبية ترمي الأشياء المهمة، يقوم PATCH بتعيين مناطق معينة لتكون ممتلئة وأخرى ليتم إخلاؤها وفق نمط تحبه الرافعات الشوكية. النتيجة هي مستودع أسرع في التنقل، ومع ذلك لا يزال يحتوي على المعرفة الأساسية بالكامل.

إليك ملخص تقني مفصل لورقة البحث "PATCH: LEARNABLE TILE-LEVEL HYBRID SPARSITY FOR LLMs".

1. بيان المشكلة

تقدم النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً، لكنها تعاني من تكاليف باهظة في الذاكرة والحوسبة أثناء النشر. ويعد تقليم النماذج (Model Pruning) حلاً أساسياً، ومع ذلك تواجه الأساليب الحالية مقايضة جوهرية:

التخلخل غير المنظم (Unstructured Sparsity): يسمح بوجود عناصر غير صفرية في مواقع عشوائية، مما يحافظ على دقة عالية ولكنه يخلق أنماط وصول إلى الذاكرة غير منتظمة تمنع تسريع المعالجة بكفاءة عبر وحدات المعالجة الرسومية (مثل Tensor Cores).
التخلخل شبه المنظم (مثل 2:4): يفرض نمطاً ثابتاً (عنصران غير صفريين لكل أربعة عناصر) وهو صديق للأجهزة ويسرع الاستدلال. ومع ذلك، فإن نسبة التخلخل الثابتة (50%) والتطبيق الموحد عبر جميع الطبقات غالباً ما يؤديان إلى تدهور كبير في الدقة، خاصة عند استخدام طرق التقليم بنظام الخطوة الواحدة (One-Shot pruning).

تجد الطرق الحالية صعوبة في سد الفجوة بين مرونة التقليم غير المنظم وكفاءة الأجهزة للتقليم شبه المنظم، لا سيما فيما يتعلق بعدم القدرة على تعديل نسب التخلخل بشكل مستمر أو توزيع التخلخل بشكل غير موحد عبر الطبقات.

2. المنهجية: PATCH

يقترح المؤلفون PATCH (التقليم باستخدام تكوين قابل للتعلم على مستوى البلاطات للهيكل الهجين)، وهو إطار عمل يتيح نسبة تخلخل مستمرة بين 0% و50% مع الحفاظ على التوافق مع الأجهزة.

الآلية الجوهرية

يقسم PATCH مصفوفات الأوزان إلى بلاطات (Tiles) (على سبيل المثال، $b_1 \times b_2$ ). ولكل بلاطة، يتعلم النموذج اتخاذ القرار بشأن ما إذا كانت ستظل كثيفة (Dense) (تخلخل 0%) أو تصبح متخلخلة بنمط 2:4 (تخلخل 50%).

توليد القناع الهجين (Hybrid Mask Generation): القناع النهائي هو مزيج مرجح بين خيار "كثيف" وخيار "متخلخل بنمط 2:4".
التوزيعات القابلة للتعلم:
1. اختيار البلاطة: يحدد توزيع لوجيت (logit) قابل للتعلم احتمال أن تكون البلاطة كثيفة أو متخلخلة. يتم أخذ عينات من هذا التوزيع باستخدام Gumbel-Softmax لتمكين التحسين القابل للتفاضل.
2. اختيار النمط: داخل البلاطات التي تُصنف كمتخلخلة، يختار توزيع منفصل قابل للتعلم نمط 2:4 المحدد (من بين 6 تبديلات ممكنة).
هدف التحسين: يجمع هدف التدريب بين:
- خسارة النمذجة القياسية (مثل التنبؤ بالرمز التالي).
- تنظيم التخلخل (Sparsity Regularization): مصطلح يعاقب الانحرافات عن نسبة التخلخل العالمية المستهدفة ( $\rho$ )، مما يتيح تحكماً دقيقاً في النطاق من 0 إلى 50%.
- تنظيم الأوزان: يعزز قيم الأوزان الكبيرة لدعم انتشار التدرج (gradient propagation).

المتغيرات

PATCHJoint: يقوم بتحسين اختيار مستوى البلاطة (كثيفة مقابل متخلخلة) وأنماط 2:4 الدقيقة داخل البلاطات المتخلخلة بشكل مشترك. يُستخدم للنماذج الصغيرة (أقل من مليار معلمة).
PATCHTile: متغير موفر للذاكرة حيث يتم تجميد أنماط 2:4 (يتم تهيئتها من طريقة One-Shot عالية الجودة مثل MaskLLM)، ويتم تحسين قرارات مستوى البلاطة (كثيفة/متخلخلة) فقط. يتيح ذلك التوسع لنماذج أكبر (تصل إلى 13 مليار معلمة) مع ذاكرة GPU محدودة.

الاستدلال والنشر

التكامل مع STOICC: بما أن مكتبات GPU القياسية (cuBLAS, cuSPARSELt) لا تدعم البلاطات الهجينة (كثيفة/متخلخلة)، يستخدم PATCH نظام STOICC، وهو مترجم يعتمد على Triton. يقوم STOICC بضبط تكوينات النواة تلقائياً (أحجام البلاطات، مثلاً $128 \times 128$ ) للتعامل مع التنفيذ الهجين بكفاءة.
التوافق مع الأجهزة: من خلال ضمان اتباع البلاطات المتخلخلة بدقة لنمط 2:4، يستفيد PATCH من وحدات NVIDIA/AMD Tensor Cores للتسريع، بينما تستخدم البلاطات الكثيفة نوى كثيفة قياسية.

3. المساهمات الرئيسية

إطار عمل التخلخل الهجين: يقدم أول طريقة تمكن من الحصول على نسبة تخلخل مستمرة (0%–50%) عن طريق دمج بلاطات كثيفة ومتخلخلة بنمط 2:4 ديناميكياً داخل نفس مصفوفة الأوزان.
التخصيص غير الموحد القابل للتعلم: على عكس طرق 2:4 الثابتة، يتعلم PATCH تخصيص التخلخل بشكل تكيفي. فهو يحافظ على الكثافة في الطبقات الحساسة (مثل كتل Transformer المبكرة/المتأخرة، وآليات الانتباه) ويطبق التخلخل على الطبقات الزائدة (مثل كتل المنتصف، ومصفوفات MLP Up/Gate/Down).
تدريب نهائي قابل للتفاضل: يستخدم Gumbel-Softmax لتحسين اختيار القناع وتقليم الأوزان بشكل مشترك، مما يتجنب فقدان الدقة المرتبط بتقليم الخطوة الواحدة (One-Shot).
النشر العملي: يثبت أول تكامل ناجح للتخلخل الهجين على مستوى البلاطات مع مترجم (STOICC) لتحقيق تسريع حقيقي على وحدات معالجة الرسوميات الاستهلاكية.

4. النتائج التجريبية

قيم المؤلفون PATCH على نماذج تتراوح من 0.5 إلى 13 مليار معلمة (Qwen-2.5, LLaMA-2/3, Gemma-3) باستخدام 8 مهام تنزيلية (Zero-Shot) وقياس الارتياب (Perplexity) لـ WikiText2.

الدقة:
- يتفوق PATCH باستمرار على أساليب تقليم 2:4 المتطورة (MaskLLM, SparseGPT, Wanda, ProxSparse).
- في نموذج LLaMA-2 7B، يحقق PATCH متوسط دقة قدره 51.58% عند تخلخل 25%، مقارنة بـ 48.62% لـ MaskLLM (عند تخلخل 50%) و 45.92% لـ ProxSparse.
- يقلص PATCH الفجوة مع النماذج الكثيفة بشكل كبير؛ فعند تخلخل 25%، يكون ضمن حوالي 2 نقطة مئوية من دقة النموذج الكثيف.
- الارتياب (Perplexity): يحقق PATCH ارتياباً أقل من جميع النماذج المرجعية. بالنسبة لـ LLaMA-2 7B عند تخلخل 25%، يبلغ الارتياب 5.86 مقابل 6.78 لـ MaskLLM.
التسريع والكفاءة:
- على وحدة NVIDIA A6000 (LLaMA-2 7B)، يحقق PATCH تسريعاً في نهاية العملية (end-to-end) يتراوح بين 1.18× إلى 1.38× مقارنة بالنماذج الكثيفة.
- تنخفض متطلبات الذاكرة إلى 0.59×–0.76× من النموذج الكثيف.
- يتفوق PATCH على التقليم غير المنظم (الذي لا يوفر أي تسريع) والتقليم 2:4 الصارم (الذي غالباً ما يقلل الدقة بشدة لدرجة تجعل التسريع غير مبرر).
دراسات الاستئصال (Ablation Studies):
- العالمي مقابل طبقة بطبقة: تتفوق أهداف التخلخل العالمية (التي تسم تسمح بتخلخل متغير لكل طبقة) بشكل كبير على الأهداف الموحدة لكل طبقة.
- حجم البلاطة: الأداء قوي عبر أحجام البلاطات المختلفة، حيث توفر $4 \times 4$ أدق تحكم. ومع ذلك، تتطلب كفاءة الأجهزة بلاطات تنفيذ أكبر ( $128 \times 128$ ).
- التهيئة (Initialization): الطريقة قوية تجاه أولويات التهيئة؛ حيث يتيح هدف التخلخل العالمي إعادة التوزيع الديناميكي أثناء التدريب.

5. الأهمية

يمثل PATCH خطوة هامة للأمام في كفاءة استدلال النماذج اللغوية الكبيرة من خلال حل معضلة "الدقة مقابل التسريع".

سد الفجوة: نجح في الجمع بين فوائد تسريع الأجهزة للتخلخل شبه المنظم ومرونة التخصيص غير المنظم.
العملية: يتجاوز مجرد التقليم النظري ليثبت تسريعاً حقيقياً على الأجهزة الفعلية باستخدام بنية تحتية للمترجمات (STOICC).
القابلية للتوسع: يثبت المتغير الموفر للذاكرة (PATCHTile) أن التخلخل الهجين يمكن تطبيقه على نماذج أكبر (13B+) دون ميزانيات حوسبة ضخمة لتدريب الأقنعة.
الاتجاه المستقبلي: الإطار مستقل عن النمط ويمكن نظرياً توسيعه لأنماط N:M أخرى (مثل 4:8) مع دعم الأجهزة الجديدة لها، مما يجعله حلاً متعدد الاستخدامات لمستقبل ضغط النماذج اللغوية الكبيرة.

باختصار، يقدم PATCH استراتيجية تقليم مرنة وقابلة للتعلم وفعالة من حيث الأجهزة، تمكن الممارسين من ضبط المقايضة بين جودة النموذج وسرعة الاستدلال بدقة غير مسبوقة.