FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression

ملخص تقني: FLAT-LLM

بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) أداءً فائقاً، لكنها تواجه تحديات كبيرة في النشر ضمن البيئات محدودة الموارد بسبب عدد معاملاتها الضخم ومتطلباتها الحسابية العالية. وبينما توجد تقنيات لضغط النماذج مثل التكميم (Quantization)، وتقطير المعرفة (Knowledge Distillation)، والتقليم (Pruning)، والتحلل منخفض الرتبة (Low-rank Decomposition)، إلا أن طرق التحلل منخفض الرتبة الحالية تعاني من قيود حرجة:

1. تدهور الدقة: غالباً ما تتطلب عملية تفكيك القيم المفردة (SVD) القياسية تقريبات عالية الرتبة للحفاظ على المعلومات، مما يفشل في تقليل المعاملات بشكل كبير، خاصة بالنسبة للمصفوفات المربعة الشائعة في نماذج LLM (مثل Llama). ويؤدي قطع الكثير من القيم المفردة إلى فقدان جوهري في المعلومات.
2. بنى غير فعالة: الطرق مثل SliceGPT، التي تقوم بإسقاط الحالات الخفية (Hidden States) في فضاءات منخفضة الرتبة، غالباً ما تتطلب إدراج وحدات محول (Adapter Modules) على مسارات المتبقي (Residual Paths). وهذا يؤدي إلى عبء إضافي في الذاكرة ويحد من سرعة الاستنتاج.
3. تكاليف معايرة عالية: طرق تحديد الرتب التكيفية (مثل Adaptive SVD) تتطلب غالباً إعادة تدريب خاصة بالمهمة أو ضبطاً مكثفاً للمعلمات الفائقة (Hyperparameters)، مما يجعلها غير عملية للتوسع مع النماذج الكبيرة (مثل LLaMA-70B).

المنهجية

يقترح المؤلفون FLAT-LLM (التحويل منخفض الرتبة لتمثيل التنشيط الدقيق للنماذج اللغوية الكبيرة)، وهو طريقة ضغط هيكلية لا تتطلب تدريباً وتعمل ضمن فضاء التنشيط لطبقات الانتباه متعدد الرؤوس (MHA).

1. قطع الأوزان بناءً على تحليل المكونات الرئيسية (PCA) لكل رأس

يستغل FLAT-LLM الطبيعة منخفضة الرتبة لفضاءات التنشيط عبر إجراء تحليل المكونات الرئيسية (PCA) لكل رأس على حدة داخل وحدة MHA.

• الآلية: لكل رأس انتباه، تحسب الطريقة مصفوفة التباين لمخرجات القيمة ($Y^h_v$) باستخدام عينات المعايرة. ثم تقوم بإجراء PCA للحصول على المتجهات الذاتية.
• الامتصاص المشترك: بدلاً من مجرد قطع الأوزان، يقوم FLAT-LLM بقطع المتجهات الذاتية إلى رتبة منخفضة $r$ وامتصاص القاعدة الناتجة في مصفوفات إسقاط القيمة ($W^h_v$) والمخرجات ($W^h_o$). هذا يحول الحساب من $Y^h_o = \text{Softmax}(A^h) X (W^h_v)^\top (W^h_o)^\top$ إلى شكل مضغوط حيث يتم تقليل البعد الوسيط من $d_{hid}$ إلى $r$.
• التعامل مع الاستعلام (Query) والمفتاح (Key): بينما يتم ضغط أوزان القيمة والمخرجات بشكل مشترك، يتم ضغط إسقاطات الاستعلام والمفتاح بشكل مستقل باستخدام نفس إجراء PCA لكل رأس. ويجادل المؤلفون بأن تطبيق PCA لكل رأس على هذه الإسقاطات يعطي خطأ تقريب أقل مقارنة بالتحلل منخفض الرتبة للمصفوفة الكاملة عند نفس مستوى التخلخل.
• التوافق: هذا النهج متوافق مع بنيات انتباه الاستعلام المجمعة (GQA) ولا يضيف أي عبء إضافي في الذاكرة من وحدات المحول.

2. اختيار الرتبة المحافظة على الأهمية (IPRS)

إدراكاً منها بأن الأبعاد الجوهرية تختلف عبر طبقات فك التشفير، يستخدم FLAT-LLM استراتيجية إعادة توزيع جشعة لتخصيص رتب غير متجانسة.

• مقياس الأهمية: تحسب الطريقة تشابه جيب التمام (Cosine Similarity) بين الحالات الخفية المدخلة والمخرجة لكل طبقة من طبقات فك التشفير. ويتم اشتقاق انحراف زاوي معياري ($t_l$) ليعمل كمقياس للأهمية، حيث يشير الانحراف الأعلى إلى أن الطبقة أقل قابلية للضغط (أي ذات بُعد جوهري أعلى).
• إعادة التوزيع الجشعة: تقوم خوارزمية جشعة (الخوارزمية 1) بتخصيص ميزانية الرتبة المتبقية. فهي تخصص الرتب بشكل متكرر بما يتناسب مع مقاييس الأهمية، مع قص القيم التي تتجاوز الحد الأعلى (نسبة الرتبة 1) وإعادة توزيع الميزانية المتبقية على الطبقات الأخرى. هذا يضمن تحقيق نسبة الضغط الإجمالية مع الحفاظ على القدرة في الطبقات الحرجة.
• الكفاءة: عملية الاختيار لا تتطلب ضبطاً وتكتمل في ثوانٍ معدودة، مما يوفر كفاءة زمنية تزيد عن 100 ضعف مقارنة بطرق اختيار الرتب القائمة على الشبكات الفائقة (Hypernetworks) القابلة للتدريب.

المساهمات الرئيسية

1. ضغط دقيق لا يتطلب تدريباً: تقنية مبتكرة تعمل ضمن طبقات الانتباه متعدد الرؤوس باستخدام PCA لكل رأس، مما يتجنب عدم كفاءة الطرق السابقة القائمة على التحلل والتي تتطلب ضبطاً دقيقاً أو تسبب عبء وحدات المحول.
2. خوارزمية مبتكرة لاختيار الرتب: استراتيجية إعادة توزيع جشعة ومحافظة على الأهمية (IPRS) تخصص الرتب بشكل تكيفي عبر طبقات فك التشفير دون الحاجة إلى إعادة تدريب خاصة بالمهمة أو ضبط مكثف للمعلمات الفائقة.
3. التحقق النظري والتجريبي: تحليل نظري يثبت أن خطأ القطع يتوافق مباشرة مع مجموع القيم الذاتية المقطوعة، مما يضمن أدنى خطأ في إعادة البناء. وتظهر التقييمات الواسعة تفوقاً في التعميم والأداء في المهام النهائية مقارنة بالنماذج المرجعية للتقليم الهيكلي والتحلل منخفض الرتبة.

النتائج التجريبية

تم تقييم الطريقة على خمسة نماذج (Llama-2 7B, 13B, 70B; Llama-3 8B; Mistral-7B) عبر 11 مجموعة بيانات ومعدلات ضغط مختلفة.

• الأداء: يتفوق FLAT-LLM باستمرار على النماذج المرجعية للتقليم الهيكلي (LLM-Pruner, FLAP, SliceGPT, SVD-LLM) في كل من إدراك لغة النموذج (Perplexity) ودقة المهام النهائية (مثل MMLU, ARC, PIQA). على سبيل المثال، في نموذج Llama-2 13B مع نسبة ضغط 20%، حقق FLAT-LLM متوسط دقة قدره 63.00%، متفوقاً بشكل كبير على SliceGPT (50.58%) و SVD-LLM (55.86%).
• كفاءة الاستنتاج: على عكس SliceGPT، الذي يتسبب في عبء في الذاكرة، يقلل FLAT-LLM من ذاكرة التنشيط في ذاكرة التخزين المؤقت للقيمة (Value Cache). كما يحقق تسريعاً في الاستنتاج يزيد عن 1.50 ضعف عبر جميع نسب الضغط (10%–50%) في نموذج Llama-2 7B، مع ذروة تسريع تصل إلى 1.68 ضعف عند ضغط 10%. كما يقلل من استخدام الذاكرة بنسبة تصل إلى 20% مقارنة بـ SVD-LLM و SliceGPT.
• كفاءة المعايرة: تتطلب الطة دقائق معدودة فقط للمعايرة باستخدام 256 عينة، دون الحاجة إلى تدريب استردادي (Recovery Fine-tuning).
• الدمج مع التكميم: عند دمجه مع التكميم بعد التدريب (GPTQ)، يتيح FLAT-LLM ضغط النموذج بمقدار 5 إلى 8 أضعاف مع تدهور طفيف جداً في الدقة مقارنة بالتكميم وحده.

الأهمية والادعاءات

يدعي البحث أن FLAT-LLM يمثل تقدماً كبيراً في ضغط LLM من خلال معالجة المقايضة بين نسبة الضغط، والدقة، وكفاءة الاستنتاج. تكمن أهميته الأساسية في:

• إلغاء الحاجة إلى التدريب الاستردادي، مما يجعله قابلاً للتوسع بشكل كبير مع النماذج الضخمة.
• تحقيق الضغط الهيكلي دون عبء في الذاكرة، على عكس الطرق التي تدرج طبقات المحول.
• تقديم حل قوي لا يتطلب تدريباً يحافظ على الأداء العالي عبر بنيات متنوعة (بما في ذلك النماذج الأحدث مثل Mistral و Llama-3) ومستويات ضغط مختلفة.

يشير المؤلفون إلى أنه بينما يوفر FLAT-LLM تسريعاً كبيراً في الإنتاجية، فإن الأمر يتطلب المزيد من التحسينات على مستوى نواة CUDA لتحقيق كامل إمكانات التسريع في الممارسة العملية، كما تركوا مسألة تخصيص الرتب المدركة للأجهزة (Hardware-aware) للعمل المستقبلي.