PATCH: Learnable Tile-level Hybrid Sparsity for LLMs
يُعدُّ PATCH إطار عمل هجين للتخلخل (sparsity) يقوم بتقسيم مصفوفات أوزان النماذج اللغوية الكبيرة (LLM) إلى بلاطات (tiles) ذات خرائط كثيفة قابلة للتعلم أو خرائط تخلخل بنسبة 2:4 لتمكين نسب تخلخل مستمرة بين 0% و50%، مما يحقق دقة فائقة وتسريعًا عمليًا على وحدات معالجة الرسومات مقارنة بطرق التقصيف (pruning) الحالية غير المنظمة أو شبه المنظمة الجامدة.