ملخص تقني: PARSE – اختيار الرتب الديناميكي المدرك للمطالبات لضغط النماذج اللغوية الكبيرة القائم على SVD

1. بيان المشكلة

نما النماذج اللغوية الكبيرة (LLMs) إلى مئات المليارات من المعلمات، مما خلق تكاليف ذاكرة وحوسبة كبيرة تعيق النشر الفعال. وبينما برزت طريقة تفكيك القيم المفردة (SVD) كتقنية فعالة للضغط بعد التدريب عبر التخلص من القيم المفردة الصغيرة، تعتمد الطرق الحالية القائمة على SVD على تقليص الرتبة الثابت (static rank truncation). تحدد هذه الطرق رتبة تقليص ثابتة من خلال عملية معايرة لمرة واحدة على مجموعة بيانات محددة، وتطبق نفس بادئة الرتبة لجميع المدخلات بغض النظر عن تنوعها.

حدد المؤلفون قصورين حرجين في هذا التصميم الثابت:

1. تخصيص الرتبة غير المدرك للمدخلات: تختلف الرتبة المثلى المطلية للحفاظ بدقة على سلوك النموذج باختلاف التعقيد والدلالات لكل مطالبة (prompt). الرتبة الثابتة عالميًا تكون دون المستوى الأمثل لمدخلات معينة، مما يؤدي إلى تدهور الأداء الموضعي (مثل الارتفاعات الحادة في الارتياب/perplexity لبعض المطالبات).
2. عدم التطابق مع نطاق المعايرة: ترتبط الرتبة الثابتة ارتباطًا وثيقًا بمجموعة بيانات المعايرة. عندما تبتعد المهام النهائية عن النطاق الدلالي لمجموعة بيانات المعايرة، تصبح الرتبة المختارة غير متوافقة مع التوزيع المستهدف، مما يسبب انخفاضات كبيرة في الأداء على المدخلات النهائية.

2. المنهجية: PARSE

لمعالجة هذه التحديات، اقترح المؤلفون إطار عمل PARSE (اختيار الرتب كخبراء مدرك للمطالبات)، وهو إطار عمل ما بعد التدريب متعامد مع خطوط أنابيب SVD الحالية. يعيد PARSE صياغة مصفوفات الأوزان المضغوطة بـ SVD كمزيج من "خبراء الرتب" المستقلين ويستخدم آلية اختيار ديناميكية.

2.1 صياغة خبير الرتبة

بدلاً من الاحتفاظ بشكل ثابت ببادئة ثابتة من المكونات المفردة، يعامل PARSE كل مكون مفرد $\sigma_i u_i v_i^\top$ كخبير مستقل $E_i$. بالنسبة لمدخل تنشيط $x$ معين، يختار النموذج ديناميكيًا مجموعة فرعية من $K$ من الخبراء من إجمالي $r_{max}$ من المكونات. يتم تعريف الوزن الفعال كالتالي:
$$\hat{W}x = \sum_{i \in R(x)} \sigma_i u_i v_i^\top x$$
حيث $R(x)$ هي مجموعة الفهارس لأفضل $K$ من الخبراء المختارة.

2.2 تدريب الموجه وفصل المعايرة

يتم تدريب موجه خطي $f_\theta$ خارج وقت التشغيل للتنبؤ بالمجموعة الفرعية المثلى $R(x)$ لكل مدخل.

• الفصل عن المعايرة: لمنع اختيار الرتبة من الانحياز لمجموعة بيانات معايرة محددة، يتم تدريب الموجه على مجموعة بيانات ضخمة ومتنوعة (مثل C4).
• الإشراف: يتم الإشراف على الموجه مقابل مخرجات النموذج الأصلي الكثيف (غير المضغوط)، من خلال تقليل خسارة إعادة البناء $\|\hat{W}x - Wx\|_F^2$. هذا يجعل اختيار الموجه يتوافق مع سلوك النموذج الأصلي بدلاً من الإحصائيات الخاصة بالمعايرة.
• التحسين: نظرًا لأن اختيار Top-K غير قابل للاشتقاق، يتم استخدام المقدر المباشر (Straight-Through Estimator). تقوم مرحلة التمرير الأمامي بتطبيق قناع ثنائي صلب، بينما تستخدم مرحلة التمرير الخلفي بوابة ناعمة قابلة للاشتقاق (sigmoid) لنشر التدرجات.

2.3 تحسين الاستدلال

لإزالة العبء الزمني لتشغيل الموجه أثناء الاستدلال، قدم PARSE استراتيجيتين رئيسيتين بناءً على الملاحظات التجريبية:

1. استرجاع الرتبة (مرحلة التعبئة/Prefilling): تنتج المطالبات المتشابهة دلاليًا مجموعات فرعية من الرتب تتداخل بشكل كبير. يبني النظام ذاكرة تخزين مؤقت (cache) تربط تضمينات المطالبة بمجموعات الرتب الفرعية المثلى لها. عند الاستدلال، يتم مطابقة المطالبة الواردة مع أقرب جار لها في الذاكرة المخبأة، واسترجاع المجموعة الفرعية مباشرة دون تشغيل الموجه.
2. إعادة استخدام الرتبة (مرحلة فك التشفير/Decoding): تظل المجموعة الفرعية للرتبة المختارة في مرحلة التعبئة مستقرة للغاية (تداخل > 0.86) عبر خطوات فك التشفير اللاحقة. يثبت النظام المجموعة الفرعية للرتبة عند مرحلة التعبئة ويعيد استخدامها لجميع الرموز (tokens) في عملية التوليد، مما يلغي عبء الموجه تمامًا أثناء فك التشفير.

2.4 كفاءة النظام

لتقليل زمن الوصول (latency) بشكل أكبر، قام المؤلفون بتنفيذ:

• تجميع ذاكرة الخبراء: تكون مكونات الرتبة التي يختارها الموجه مشتتة فيزيائيًا في الذاكرة. يقوم PARSE بإعادة تنظيم هذه المكونات في كتل ذاكرة متصلة خارج وقت التشغيل، مع وضع "الخبراء المشتركين" (المكونات عالية التكرار) في المقدمة. هذا يحول عمليات القراءة المشتتة إلى معاملات ذاكرة متماسكة.
• دمج النواة (Kernel Fusion): يتم دمج العمليات التي تشترك في نفس المدخل (مثل إسقاطات Q و K و V في الانتباه) في نواة ضرب مصفوفات (MatMul) مجمعة واحدة، مما يقلل من عمليات إطلاق النواة المتكررة.

3. المساهمات الرئيسية

1. تحديد أوجه القصور: يثبت البحث تجريبيًا أن تقليص الرتبة الثابت في نماذج LLM القائمة على SVD يؤدي إلى أداء دون المستوى بسبب الحساسية تجاه كل من مطالبات المدخلات الفردية واختيار مجموعات بيانات المعايرة.
2. إطار عمل PARSE: إطار عمل ما بعد التدريب يدرب موجهًا خطيًا للقيام باختيار الرتبة المدرك للمطالبة. ومن خلال الإشراف على الموجه باستخدام مجموعة بيانات واسعة النطاق مقابل مخرجات النموذج الكثيف، فإنه يفصل اختيار الرتبة عن معلومات المعايرة.
3. استراتيجيات كفاءة الاستدلال: إن ملاحظة أن أنماط الرتبة مشتركة عبر المطالبات المتشابهة دلاليًا ومستقرة عبر خطوات فك التشفيد تتيح آلية التخزين المؤقت وإعادة الاستخدام التي تلغي عبء الموجه.
4. تحسينات النظام: دمج تجميع ذاكرة الخبراء ودمج النواة لتقليل عبء النظام، مما يجعل الاختيار الديناميكي عمليًا للنشر.

4. النتائج التجريبية

قام المؤلفون بتقييم PARSE من خلال دمجه مع أربع طرق ممثلة تعتمد على SVD (وهي SVD-LLM، وDobi-SVD، وBasis Sharing، وSAES-SVD) على نماذج LLaMA-7B، وLLaMA-13B، وLLaMA-30B، وQwen2.5-7B.

• تحسين الدقة: يحسن PARSE جودة النموذج باستمرار. عند نسبة ضغط 0.6 على LLaMA-7B، فإنه يحسن متوسط دقة المهام بنسبة تصل إلى 10% مقارنة بطرق SVD الأساسية. على سبيل المثال، في SAES-SVD عند نسبة 0.6، ارتفع متوسط الدقة من 0.34 إلى 0.44.
• تقليل الارتياب (Perplexity): يقلل PARSE الارتياب بشكل كبير في اختبارات نمذجة اللغة (WikiText-2، PTB، C4). في Basis Sharing عند نسبة 0.6، انخفض ارتياب C4 من 250.19 إلى 101.21.
• تسريع الاستدلال: رغم آلية الاختيار الديناميكي، يحقق PARSE تسريعًا كبيرًا بفضل استراتيجيات التحسين الخاصة به. حيث يحقق تسريعًا يصل إلى 2.5 ضعف في مرحلة التعبئة (prefill) و 2.4 ضعف في مرحلة فك التشفير (decode) مقارنة بتنفيذ SVD الأصلي.
• المتانة: يتميز بمرونة عالية عبر مختلف أحجام النماذج ويظل قويًا تجاه اختيار بيانات معايرة SVD، على عكس النماذج الثابتة التي تعاني عندما يختلف نطاق التقييم عن نطاق المعايرة.

5. الأهمية والادعاءات

يدعي البحث أن PARSE يقدم تقدمًا كبيرًا في ضغط LLM من خلال الانتقال من تقليص الرتبة الثابت "مقاس واحد يناسب الجميع" إلى الاختيار الديناميكي المدرك للمطالبة. تكمن أهميته الأساسية في:

• التعامد (Orthogonality): يمكن دمجه مع خطوط أنابيب ضغط SVD الحالية دون الحاجة إلى إعادة تدريب أوزان النموذج الأساسي، بل يتطلب فقط تدريب موجه خفيف الوزن.
• المفاضلة بين الكفاءة والأداء: نجح في حل المعضلة حيث يؤدي الاختيار الديناميكي عادةً إلى زمن وصول مرتفع، محققًا دقة أعلى وزمن وصول أقل من النماذج الثابتة.
• التعميم: من خلال فصل اختيار الرتبة عن مجموعات معايرة محددة، فإنه يتيح للنماذج المضغوطة التعميم بشكل أفضل عبر مهام متنوعة.

يخلص المؤلفون إلى أن PARSE يوفر مسارًا عمليًا لنشر نماذج LLM مضغوطة للغاية تحافظ على الجودة العالية وكفاءة الاستدلال، مما يعالج التحدي الحرج للنشر في بيئات محدودة الموارد.