Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration

إليك ملخص تقني مفصل لورقة البحث بعنوان "الضغط منخفض الرتبة للنماذج سابقة التدريب عبر التكرار الجزئي العشوائي" للباحث فرهاد بوركامالي أناركي.

1. بيان المشكلة

أدى الانتشار السريع للنماذج ضخمة الحجم سابقة التدريب (مثل Transformers وVGG) إلى خلق عقبة أمام نشرها في البيئات ذات الموارد المحدودة (الأجهزة المحمولة، أجهزة الحافة) بسبب الأعداد الهائلة للمعلمات ومتطلبات الذاكرة. وبينما يعد التفكيك منخفض الرتبة (Low-Rank Decomposition) عبر تحليل القيم المفردة (SVD) طريقة منهجية لضغط النماذج، إلا أنه يواجه تحديين حرجين:

1. التكلفة الحسابية: إن حساب SVD الدقيق لمصفوفات الأوزان الكبيرة (بتعقيد $O(DC^2)$) مكلف للغاية بالنسبة للنماذج الحديثة ذات الطبقات عالية الأبعاد.
2. جودة التقريب في أنظمة الاضمحلال البطيء: تعد طريقة SVD العشوائية (RSVD) فعالة، لكنها تعاني عندما يكون طيف القيم المفردة لمصفوفة الأوزان ذا اضمحلال بطيء. في مثل هذه الحالات (الشائعة في النماذج سابقة التدريب)، تفشل RSVD في التقاط الفضاء الفرعي المهيمن بدقة، مما يؤدي إلى أخطاء تقريب كبيرة وتدهور في أداء التنبؤ.

2. المنهجية

تقترح الورقة نهجاً ذا شقين: تحليل نظري يربط خطأ التقريب بأداء التصنيف، ومنهجية خوارزمية جديدة للضغط.

أ. التحليل النظري: اضطراب دالة Softmax

يضع المؤلفون رابطاً رياضياً مباشراً بين خطأ التقريب الطيفي لاستقرار احتمالات مخرجات النموذج.

• الرؤية الجوهرية: يقومون بتحليل اضطراب دالة softmax تحت تأثير التقريب منخفض الرتبة.
• النتيجة: أثبتوا أن الانحراف في احتمالات الفئات المتوقعة ($\|\hat{p}(x) - p(x)\|_\infty$) محدود بالمعيار الطيفي لخطأ تقريب الوزن ($\|W - \hat{W}\|_2$).
• الدلالة: تقليل خطأ التقريب الطيفي كافٍ نظرياً لضمان احتفاظ النموذج المضغوط باحتمالات تصنيف موثوقة. وهذا يبرر التركيز على تحسين جودة التقريب الطيفي بدلاً من مجرد تقليل عدد المعلمات.

ب. الخوارزمية المقترحة: التكرار الجزئي العشوائي (RSI)

للتغلب على قيود RSVD في أنظمة الاضمحلال الطيفي البطيء، يقترح المؤلفون التكرار الجزئي العشوائي (Randomized Subspace Iteration - RSI).

• الآلية: تدمج RSI تكرارات القدرة (power iterations) في عملية الإسقاط العشوائي. فبدلاً من عملية ضرب واحدة ($W\Omega$)، تقوم بتطبيق المصفوفة ومقلوبها ($W$ و $W^T$) تكرارياً $q$ من المرات.
  • رياضياً، تطبيق $(WW^T)^{q-1}W$ على متجه عشوائي يعمل على تضخيم مساهمة القيم المفردة الأكبر ($s_i^{2q-1}$) مع كبح القيم الأصغر.
• تدفق الخوارزمية:
  1. استخراج مصفوفة عشوائية $\Omega$.
  2. إجراء $q$ من تكرارات ضرب المصفوفات ($X = WY$، ثم $Y = W^T X$) مع إجراء عملية التنظيم (تحليل QR) في كل خطوة.
  3. حساب SVD الدقيق للمصفوفة الصغيرة الناتجة لاستخراج العوامل منخفضة الرتبة.
• الميزة: من خلال زيادة عدد التكرارات $q$، تعزز RSI الفصل الطيفي (spectral separation)، مما يسمح لها بتقريب الفضاء الفرعي المهيمن بدقة حتى عندما تضمحل القيم المفردة ببطء.

3. المساهمات الرئيسية

1. الضمان النظري: إثبات رسمي يوضح أن الخطأ في احتمالات الفئات محدود خطياً بخطأ التقريب الطيفي للأوزان، مما يوفر أساساً صارماً لتقييم موثوقية الضغط.
2. الابتكار الخوارزمي: تقديم RSI كبديل متفوق لـ RSVD للنماذج سابقة التدريب. فهي توفر آلية قابلة للتحكم (عبر المعلمة $q$) للمفاضلة بين التكلفة الحسابية وجودة التقريب.
3. التحقق التجريبي: تجارب شاملة تثبت أن RSI تحقق جودة تقريب قريبة من المثالية (خطأ معياري قريب من 1.0) حيث تفشل RSVD (خطأ معياري > 2.0 أو 4.0)، لا سيما في سيناريوهات الضغط الشديد.

4. النتائج التجريبية

قيم المؤلفون الطريقة على نموذج VGG19 (التلافيفي) و ViT-B/32 (المحول/Transformer) باستخدام مجموعة بيانات Imagenette. والأهم من ذلك، لم يتم إجراء أي ضبط دقيق (fine-tuning) أو إعادة تدريب؛ حيث تم اختبار النماذج المضغوطة مباشرة كمصنفات جاهزة.

• تحليل الطبقة الواحدة:

  • VGG19 (طبقة 4096 $\times$ 25088): حققت RSVD (عند $q=1$) خطأً معيارياً قدره $\approx 2.0$. وزيادة التكرارات إلى $q=4$ قللت الخطأ إلى $\approx 1.1$ (قريب من المثالي). كانت RSI أسرع بـ 50 إلى 76 ضعفاً من SVD الدقيق.
  • ViT (طبقة 768 $\times$ 3072): فشلت RSVD بشكل كبير (خطأ > 4.0). بينما حافظت RSI مع $q=3$ أو $4$ على أخطاء أقل من 1.2، مما وفر تسريعاً بمقدار رتبة عشرية عن SVD الدقيق.

• الضغط الشامل (End-to-End):

  • VGG19: عند نسبة ضغط شديدة ($\alpha=0.2$، الاحتفاظ بـ 20% فقط من المعلمات)، تسببت RSVD ($q=1$) في انخفاض الدقة إلى 59.27%. بينما حافظت RSI مع $q=4$ على دقة 78.63% (قريبة من الأصلية 82.57%).
  • ViT: لوحظت اتجاهات مماثلة. ورغم أن الضغط الشديد ($\alpha=0.2$) أثر على الأداء، إلا أن RSI مع قيم $q$ أعلى تفوقت بشكل كبير على RSVD. عند $\alpha=0.4$، حققت RSI دقة Top-1 بنسبة 86.37% (مقابل 76.17% لـ RSVD).
  • الكفاءة: كان إجمالي وقت الضغط لجميع الطبقات الخطية في كلا النموذجين أقل من ثانية واحدة على وحدة معالجة رسومية واحدة من نوع A100.

5. الأهمية والتوجهات المستقبلية

• النشر العملي: يتيح هذا العمل نشر النماذج ضخمة الحجم سابقة التدريب على أجهزة الحافة دون العبء الحسابي لإعادة التدريب أو فقدان الدقة المرتبط بالضغط العشوائي القياسي.
• التكامل: الطريقة متوافقة مع LoRA (Low-Rank Adaptation). يمكن استخدام RSI لضغط أوزان الهيكل الأساسي أولاً، ثم يمكن تطبيق LoRA بعد ذلك للضبط الدقيق، مما يوفر فائدة مزدوجة تتمثل في تقليل بصمة الذاكرة وكفاءة التكيف.
• العمل المستقبلي: يقترح المؤلفون توسيع ذلك ليشمل اختيار الرتبة لكل طبقة بشكل تكيفي، وتطبيقه على النماذج متعددة الوسائط، ودمجه في إطار عمل التكيف منخفض الرتبة للنماذج سابقة التدريب.

باختصار، تثبت الورقة أن التكرار الجزئي العشوائي (RSI) هو طريقة متفوقة تجريبياً وذات أساس نظري لضغط نماذج التعلم العميق سابقة التدريب، حيث تحل بفعالية مشكلة "الاضمحلال الطيفي البطيء" التي تعاني منها RSVD القياسية.