WSVD: Weighted Low-Rank Approximation for Fast and Efficient Execution of Low-Precision Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث "WSVD: تقريب منخفض الرتبة موزون للتنفيذ السريع والفعال لنماذج الرؤية واللغة منخفضة الدقة."

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) أداءً ملحوظًا في مهام مثل وصف الصور والإجابة على الأسئلة البصرية، لكنها تعاني من تكاليف حوسبية عالية واختناقات في عرض نطاق الذاكرة (memory bandwidth)، لا سيما خلال مرحلة فك التشفير التتابعي (autoregressive decoding).

بينما تم اقتراح تحليل القيم المفردة (SVD) لضغط أوزان النموذج وتقليل حجم ذاكرة المفتاح والقيمة (KV cache)، إلا أن النهج السابق المعتمد على SVD غالبًا ما يفشل في تقليل زمن انتقال الاستدلال (inference latency) في الممارسة العملية. حدد المؤلفون السبب الجذري:

• عبء إعادة البناء (Reconstruction Overhead): يقوم SVD التقليدي بتفكيك مصفوفات الإسقاط الكاملة ($W_K, W_V$) إلى مكونات منخفضة الرتبة. أثناء فك التشفير، تتطلب إعادة بناء متجهات $K$ و $V$ الكاملة من التمثيلات الكامنة منخفضة الرتبة جولات متعددة من الوصول إلى الذاكرة وتجسيد مصفوفات وسيطة ضخمة.
• حركة مرور الذاكرة (Memory Traffic): غالبًا ما تسبب عملية إعادة البناء هذه حركة مرور ذاكرة أعلى مما لو تم تخزين ذاكرة KV الأصلية غير المضغوطة، مما يلغي الفوائد النظرية للضغط منخفض الرتبة.
• تدهور الدقة (Accuracy Degradation): يعامل SVD القياسي جميع عناصر الأوزان بالتساوي، مما يؤدي إلى الفشل في الحفاظ على "الأوزان الفائقة" (superweights) (المعلمات شديدة الحساسية) الضرورية لدقة نماذج VLMs، مما يؤدي إلى انخفاض كبير في الأداء عند تقليل الرتبة.

2. المنهجية: إطار عمل WSVD

يقترح المؤلفون WSVD، وهو إطار عمل يجمع بين ثلاثة ابتكارات أساسية لتحقيق تنفيذ عالي الدقة، منخفض التأخير، ومنخفض الدقة لنماذج VLMs.

أ. SVD دقيق لكل رأس (تقليل زمن الانتقال)

بدلاً من تفكيك مصفوفات الإسقاط العالمية ($W \in \mathbb{R}^{E \times H}$)، يطبق WSVD تحليل SVD بشكل مستقل على المصفوفة الفرعية لكل رأس انتباه ($W_{Kh} \in \mathbb{R}^{E \times H}$).

• الآلية: لكل رأس $h$، يكون $W_{Kh} \approx A_{Kh}B_{Kh}$، حيث $A_{Kh} \in \mathbb{R}^{E \times r}$ و $B_{Kh} \in \mathbb{R}^{r \times H}$.
• الفائدة: بما أن بُعد الرأس $H$ أصغر بكثير من بُعد التضمين $E$، فإن الرتبة المبتورة $r$ تكون أصغر بكثير من الرتبة العالمية $R$.
• النتيجة: هذا يلغي الحاجة إلى تحميل تمثيل كامن مشترك ضخم لكل رأس. ينخفض بصمة الذاكرة للذاكرة الكامنة من $L \times R$ إلى $L \times r$، وتنخفض تكاليف إعادة البناء بمعامل قدره $r/R$.

ب. الضبط الدقيق المحلي الموزون (الحفاظ على الدقة)

لمواجهة فقدان الدقة الناتج عن تقليص الرتبة الشديد، يقدم WSVD تفكيكًا مدركًا للأهمية.

• معلومات فيشر (Fisher Information): تحسب الطريقة درجة أهمية لكل عنصر وزن بناءً على مصفوفة معلومات فيشر (التي يتم تقريبها باستخدام مقدار التدرج المربع على مجموعة بيانات معايرة).
• الهدف الموزون: يعمل تحسين SVD على تقليل معيار Frobenius الموزون: $\min \| F^{1/2} \odot (W - AB) \|_F^2$. وهذا يضمن الحفاظ على الأوزان عالية الأهمية بدقة أكبر أثناء التقريب منخفض الرتبة.
• الضبط الدقيق المحلي: يتم ضبط المصفوفات المفككة ($A, B$) محليًا باستخدام هذا الفقد الموزون لاستعادة الدقة دون الحاجة لإعادة تدريب النموذج بالكامل.

ج. التدريب المدرك للكمية (QAT) والتنفيذ النظامي

• الكمية (Quantization): يطبق WSVD كمية منخفضة الدقة (مثل W8A8 أو W8A8) لكل من الأوزان والتنشيطات.
• تنعيم القيم المتطرفة (Outlier Smoothing): للتعامل مع القيم المتطرفة في التنشيط، تستخدم الطريقة مصفوفات تحويل متعامدة ($S_1, S_2$) لتنعيم التوزيع قبل الكمية.
• النواة المدمجة (Triton Fused Kernel): حتى مع التنفيذ البسيط، تظل هناك مشكلة اختناقات الذاكرة. قام المؤلفون بتنفيذ نواة مدمجة (fused kernel) في Triton تدمج إعادة البناء منخفضة الرتبة مباشرة في مسار Flash Decoding.
  • بدلاً من تجسيد مصفوفات $K$ و $V$ الكاملة في VRAM، تقوم النواة بتدفق بلاطات (tiles) من التمثيل الكامن $C_{Kh}$، وتعيد بناءها على الشريحة (on-chip)، وتحسب درجات الانتباه فورًا.
  • يحافظ هذا على المصفوفات الوسيطة في ذاكرة الشريحة (registers/shared memory)، مما يقلل بشكل كبير من حركة مرور الإدخال/الإخراج (I/O) وذروة استخدام الذاكرة.

3. المساهمات الرئيسية

1. استراتيجية SVD لكل رأس: نمط حوسبي مبتكر يفكك رؤوس الانتباه بشكل فردي، مما يقلل بشكل جذري من الوصول إلى الذاكرة والتكلفة الحوسبية أثناء فك التشفير مقارنة بـ SVD العالمي.
2. التفكيك الموزون: آلية تكيفية تستخدم معلومات فيشر لتعيين درجات أهمية لعناصر الأوزان، مما يسمح بتقريبات منخفضة الرتبة عالية الدقة.
3. تحسين مستوى النظام: دمج SVD لكل رأس مع التدريب المدرك للكمية ونواة مدمجة مخصصة تلغي عمليات الذاكرة الزائدة، مما يحقق تسريعًا عمليًا.
4. المصدر المفتوح: أطلق المؤلفون الكود المصدري الكامل لتسهيل قابلية إعادة الإنتاج.

4. النتائج التجريبية

تم تقييم الطريقة على خمسة نماذج VLMs (وهي LLaVA-v1.5 7B/13B، LLaVA-Next 7B/13B، SmolVLM) باستخدام اختبارات مثل ScienceQA و SEED-Bench.

• الدقة:
  • FP16 (WSVD-noQ): يتفوق على النماذج المرجعية (ASVD, SVD-LLM, QSVD) عبر جميع نسب الرتب. عند $\rho_1 = 70\%$، حقق WSVD-noQ على نموذج LLaVA-Next 13B دقة بلغت 73.57% على ScienceQA-IMG، متجاوزًا بقليل خط الأساس FP16 البالغ (73.23%).
  • الدقة المنخفضة (W8A8): يحافظ WSVD على متوسط انخفاض في الدقة بنسبة ~1% فقط مقارنة بخط أساس FP16، متفوقًا بشكل كبير على طرق الكمية الأخرى (DuQuant, QVLM).
• زمن الانتقال والسرعة:
  • سرعة فك التشفير: على وحدات معالجة الرسومات RTX 4090 و 5090، يحقق WSVD تسريعًا يتراوح بين 1.8× إلى 2.3× في زمن انتقال فك التشفير مقارنة بـ Flash Decoding.
  • القابلية للتوسع: يزداد التسريع مع طول التسلسل (يصل إلى 2.6× على RTX 3060 للتسلسلات بطول 16K) وحجم الدفعة (batch size)، مما يؤكد أن WSVD يخفف بفعالية من اختناق I/O لذاكرة KV-cache.
  • المقارنة: يتفوق على Palu (طريقة أخرى منخفضة الرتبة) من خلال الجمع بين الضغط الأكثر دقة والنواة المدمجة بالكامل.

5. الأهمية

تعالج هذه الورقة فجوة حرجة في ضغط النماذج: التفاوت بين تقليل المعلمات النظري وزمن انتقال الاستدلال الفعلي. من خلال نقل مستوى التفكيك من المصفوفة العالمية إلى مستوى كل رأس ودمج ذلك مع نواة مدمجة على مستوى النظام، يثبت WSVD أن التقريب منخفض الرتبة يمكن أن يكون دقيقًا وسريعًا في آن واحد.

تكتسب هذه الدراسة أهميتها لأنها:

• تمكن من نشر نماذج VLMs الضخمة على أجهزة استهلاكية (مثل RTX 3060) مع تقليلات كبيرة في زمن الانتقال.
• تتحدى الافتراض بأن الطرق منخفضة الرتبة تزيد بطبيعتها من زمن الانتقال بسبب عبء إعادة البناء.
• توفر مخططًا للجمع بين الضغط الخوارزمي (SVD + Quantization) وهندسة النظام (Fused Kernels) لتحقيق كفاءة شاملة في الذكاء الاصطناائي التوليدي.