🤖 AI

ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation

يُعد ReSpinQuant إطار عمل فعال للكمّنة بعد التدريب على مستوى الطبقات للنماذج اللغوية الكبيرة، والذي يحقق دقة رائدة في إعدادات البت المنخفضة عبر الاستفادة من دمج تدوير التنشيط غير المتصل عبر تدوير الفضاء الجزئي المتبقي، مما يوفق بين القدرة التعبيرية العالية وتكاليف الاستدلال الضئيلة.

المؤلفون الأصليون: Suyoung Kim, Sunghyun Wee, Hyeonjin Kim, Kyomin Hwang, Hyunho Lee, Nojun Kwak

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Suyoung Kim, Sunghyun Wee, Hyeonjin Kim, Kyomin Hwang, Hyunho Lee, Nojun Kwak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وشديدة التفصيل من المعرفة (نموذج لغوي كبير، أو LLM). هذه المكتبة كبيرة وثقيلة لدرجة أنه من المستحيل حملها في جيبك أو تشغيلها على كمبيوتر محمول عادي. ولجعلها محمولة، تريد تصغير الكتب إلى كتيبات صغيرة وخفيفة الوزن. تسمى هذه العملية "الكمية" (Quantization).

ومع ذلك، هناك مشكلة: بعض الصفحات في هذه الكتب تحتوي على "قيم متطرفة" (Outliers). هذه القيم تشبه كلمات ضخمة وساطعة جداً تبرز بوضوح، وعندما تحاول تصغير الكتاب بأكمله، يتم سحق أو تشويه هذه الكلمات الساطعة، مما يفسد المعنى.

ولحل هذه المشكلة، حاولت الطرق السابقة "تدوير" الكتب قبل تصغيرها، لتوزيع تلك الكلمات الساطعة حتى لا تسحق بعضها البعض. لكنها واجهت معضلة:

نهج "المقاس الواحد للجميع" (التدوير العالمي): تخيل استخدام نفس خدعة التدوير لكل فصل من فصول الكتاب. هذا سريع وسهل التعبئة، لكنه لا يعمل بشكل مثالي لكل فصل لأن كل فصل له كلماته الغريبة والفريدة.
نهج "التفصيل المخصص" (على مستوى الطبقة): تخيل استئجار خياط لصنع خدعة تدوير فريدة لكل فصل من فصول الكتاب. هذا يناسب الكتاب تماماً ويحافظ على المعنى، لكنه بطيء وثقيل جداً لدرجة أنك لن تستطيع حمل الكتاب بالفعل. عملية "التفصيل" تحدث أثناء القراءة، مما يبطئ كل شيء.

ReSpinQuant هو الحل الجديد الذي يمنحك أفضل ما في العالمين، وإليك كيف يعمل باستخدام تشبيه بسيط:

المشكلة: "الحقيبة الثقيلة"

تخيل نهج "التفصيل المخصص" كأنك تجهز حقيبة سفر حيث يتعين عليك حمل صندوق أدوات منفصل لكل غرفة في منزلك. لديك الأدوات المثالية لكل غرفة، لكن الحقيبة ثقيلة جداً بحيث لا يمكنك رفعها.

حل ReSpinQuant: "المخطط السحري"

يستخدم ReSpinQuant خدعة ذكية تسمى تقريب تدوير الفضاء الجزئي المتبقي (Subspace Residual Rotation Approximation). دعنا نفكك ذلك:

1. السحر "خارج الخط" (دمج الأدوات)

بدلاً من حمل صندوق الأدوات الثقيل معك أثناء السفر (أثناء التشغيل)، يقوم ReSpinQuant بالعمل الشاق قبل أن تغادر.

ماذا يفعل: يأخذ خدع التدوير المخصصة لكل فصل و"يلصقها" بشكل دائم في صفحات الكتاب نفسه.
النتيجة: عندما تفتح الكتاب أخيراً للقراءة (الاستنتاج)، لا تحتاج لحمل أي أدوات إضافية. الكتاب مدور مسبقاً بالفعل. وهذا يجعله سريعاً مثل نهج "المقاس الواحد للجميع".

2. مشكلة "المتبقي" (عدم التطابق)

هناك عقبة واحدة. عندما تلصق التدوير في الصفحات، قد يحدث عدم محاذاة طفيف في الاتصال بين الفصل الأول والفصل الثاني (الاتصال المتبقي/Residual Connection). الأمر يشبه إذا قمت بتدوير صفحات الفصل الأول، لكن الفصل الثاني لا يزال في اتجاهه الأصلي. ستصبح القصة متقطعة وغير متناسقة.

3. اختصار "الفضاء الجزئي" (التعديل الطفيف)

هنا تظهر عبقرية الباحثين. لاحظ الباحثون شيئاً مفاجئاً: على الرغم من أنهم أنشأوا تدويراً فريداً لكل فصل، إلا أن الفرق بين التدوير الجديد والقديم كان في الواقع صغيراً وبسيطاً. لم يكن فوضى معقدة وعشوائية؛ بل كان مجرد تعديل بسيط ومنخفض الرتبة (Low-rank).

التشبيه: تخيل أنك تحاول محاذاة ترسين ضخمين يدوران. التدوير الكامل يتطلب تحريك كل سن من أسنان الترس (وهو أمر مكلف وبطيء). لكن ReSpin-Quant أدرك أنك تحتاج فقط إلى ضبط سن أو اثنين من الأسنان المحددة لجعل الترسين يتطابقان تماماً.
التنفيذ: بدلاً من إعادة حساب المحاذاة للترس بالكامل (وهو أمر بطيء)، يقوم ReSpinQuant بحساب التعديل لهذا "الفضاء الجزئي" الصغير من الأسنان فقط.
النتيجة: إنه يصلح عدم المحاذاة فوراً تقريباً، وبأقل جهد ممكن.

لماذا هذا مهم؟

السرعة: إنه سريع مثل الطرق البسيطة لأن العمل الشاق تم إنجازه مسبقاً.
الدقة: إنه ذكي مثل الطرق المعقدة لأنه لا يزال يخصص التدوير لكل طبقة.
الكفاءة: إنه يحل مشكلة "عدم التطابق" عن طريق إجراء العمليات الحسابية على شريحة صغيرة جداً من البيانات، بدلاً من معالجة البيانات بالكامل.

الخلاصة

ReSpinQuant يشبه خدمة التعبئة الذكية.

الطرق القديمة إما كانت تعبئ كل شيء بشكل فضفاض (سريع ولكن فوضوي) أو تعبئ كل شيء بشكل مثالي ولكن يستغرق وقتاً طويلاً للتحميل (دقيق ولكن بطيء).
ReSpinQuant يجهز كل شيء بشكل مثالي قبل وصولك، ثم يستخدم أداة صغيرة وسحرية لإصلاح الشيء أو الشيئين اللذين لم يتناسبا تماماً.

النتيجة؟ تحصل على مكتبة عالية الجودة، معبأة بشكل مثالي، وتتسع في جيبك وتعمل فوراً على هاتفك، حتى مع أقصى درجات الضغط (3-بت أو 4-بت). وهذا يسمح للذكاء الاصطناعي القوي بالعمل على الأجهزة اليومية دون الحاجة إلى حواسيب فائقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ReSpinQuant: كمية النماذج اللغوية الكبيرة بكفاءة عبر طبقة لكل طبقة باستخدام تقريب دوران الفضاء الجزئي المتبقي."

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) تحديات كبيرة في النشر بسبب البصمة الذاكرية الضخمة والتكاليف الحسابية العالية. وتعد عملية "الكمية ما بعد التدريب" (Post-Training Quantization - PTQ) حلاً قياسياً، حيث تقوم بضغط الأوزان والتنشيطات إلى دقة منخفضة البتات (مثل 4 بت أو 3 بت). ومع ذلك، يوجد عائق حرج: القيم المتطرفة في التنشيط (Activation Outliers). هذه القيم القصوى في قنوات تنشيط معينة تزيد من النطاق الديناميكي، مما يسبب أخطاء كمية شديدة في إعدادات البتات المنخفضة.

تنقسم الحلول الحالية إلى فئتين، كلتاهما تعاني من قيود:

طرق الدوران العالمي (مثل SpinQuant و QuaRot): تطبق مصفوفة دوران واحدة مشتركة عبر جميع الطبقات.
- المزايا: كفاءة عالية. يمكن دمج الدوران مسبقاً (offline) في مصفوفات الأوزان، مما لا يتطلب حسابات إضافية أثناء الاستنتاج.
- العيوب: قدرة تعبيرية محدودة. لا يمكن لقاعدة واحدة أن تتكيف مع أنماط القيم المتطرفة الفريدة لكل طبقة، مما يحد من الدقة.
طرق التحويل لكل طبقة (مثل FlatQuant و OSTQuant): تخصص مصفوفة دوران فريدة لكل طبقة.
- المزايا: قدرة تعبيرية ودقة عاليتان من خلال التكيف مع أنماط القيم المتطرفة المحلية.
- العيوب: عبء استنتاج مرتفع. نظرًا لأن كل طبقة لها قاعدة مختلفة، لا يمكن دمج الدوران في أوزان الطبقة السابقة. وهذا يفرض حسابات فورية (online computation) لدوران التنشيط، مما يؤدي إلى تدهور الإنتاجية وزيادة زمن التأخير بشكل كبير.

التحدي الجوهري: كيف يمكن تحقيق الدقة العالية للتكيف لكل طب على حدة مع الحفاظ على كفاءة الاستنتاج للدوران العالمي (أي تمكين دمج الأوزان مسبقاً).

2. المنهجية: ReSpinQuant

يقترح ReSpinQuant إطار عمل يوفق بين القدرة التعبيرية العالية وبين انخفاض عبء الاستنتاج من خلال آليتين رئيسيتين: دمج الأوزان مسبقاً (Offline Weight Fusion) و تقريب دوران الفضاء الجزئي المتبقي (Subspace Residual Rotation Approximation).

أ. دمج الأوزات مسبقاً مع دورات لكل طبقة

على عكس الطرق العالمية التي تشترك في مصفوفة واحدة، يخصص ReSpinQuant مصفوفات متعامدة (orthogonal matrices) كاملة الحجم وقابلة للتعلم ( $R_i$ ) لكل طبقة ولأجزاء محددة (MHSA، FFN).

الآلية: يتم امتصاص مصفوفات الدوران رياضياً في مصفوفات الأوزان للطبقة السابقة خلال مرحلة المعايرة المسبقة.
النتيجة: يظل مسار الاستنتاج الرئيسي (ضرب المصفوفات) مطابقاً لطبقة خطية قياسية، مما يعني صفر عبء إضافي لمسار البيانات الأساسي.

ب. حل عدم تطابق القاعدة (دوران الفضاء الجزئي المتبقي)

ينشأ التحدي في الاتصالات المتبقية (residual connections). في كتلة متبقية قياسية ( $x_{out} = x_{in} + \text{Block}(x_{in})$ )، إذا كان مدخل ومخرج الكتلة يستخدمان قواعد دوران مختلفة ( $R_{in}$ و $R_{out}$ )، فستكون هناك حاجة لمصفوفة انتقال $T = R_{out}^T R_{in}$ لمحاذاتهما قبل الجمع.

المشكلة: حساب ضرب مصفوفة $D \times D$ كاملة لكل رمز (token) هو أمر مكلف حسابياً ( $O(D^2)$ ).
الرؤية: تُظهر الملاحظات التجريبية أنه عندما يتم تهيئة مصفوفات الدوران باستخدام مصفوفة هادامارد (Hadamard matrix) وتحسينها عبر محسن كايلي (Cayley optimizer)، فإنها لا تبتعد كثيراً عن مصفوفة الوحدة (identity matrix). مصفوفة التحول النسبية $T$ هي مهيمنة قطرياً (diagonally dominant) ومنخفضة الرتبة.
الحل (التقريب الفضائي):
1. تحديد الفضاء الجزئي الرئيسي: إجراء تحليل القيمة المفردة (SVD) على الانحراف $\Delta T = T - I$ لتحديد أعلى $r$ من المتجهات المفردة (الاتجاهات الرئيسية لعدم التطابق).
2. الإسقاط منخفض الرتبة: بدلاً من تطبيق دوران $D \times D$ كاملاً، تقوم الطريقة بإسقاط الجزء المتبقي إلى فضاء جزئي منخفض الأبعاد (الرتبة $r \ll D$ )، وتطبيق الدوران هناك، ثم إعادة الإسقاط.
3. تقليل التعقيد: يقلل هذا من تعقيد المحاذاة من التربيعي $O(D^2)$ إلى الخطي $O(D)$ .

ج. نظرة عامة على البنية

التدريب: تعلم مصفوفات دوران كاملة الحجم لكل طبقة باستخدام مجموعة معايرة ومحسن كايلي.
دمج الأوزان مسبقاً: دمج هذه الدورات في أوزان كتل MHSA و FFN.
الاستنتاج:
- المسار الرئيسي: ضرب مصفوفات مكممة قياسي (الأوزان مدمجة).
- المسار المتبقي: إسقاط المدخل إلى الفضاء الجزئي منخفض الرتبة ( $r=32$ )، تطبيق دوران كثيف، ثم إعادة الإسقاط، والجمع مع الجزء المتبقي.

3. المساهمات الرئيسية

إطار عمل ReSpinQuant: طريقة كمية مبتكرة تستخدم دورات كاملة الحجم لكل طبقة (لتعظيم القدرة التعبيرية) مع دمجها مسبقاً في الأوزان (للحفاظ على الكفاءة).
تقريب المتبقي الفضائي: تقنية لحل عدم تطابق القاعدة في الاتصالات المتبقية عن طريق تقريب مصفوفة الانتقال الكثيفة بدوران فضاء جزئي منخفض الرتبة، مما يقلل التكلفة الحسابية من $O(D^2)$ إلى $O(D)$ .
التحليل التجريبي: إثبات أن مصفوفات الدوران التي يتم تحسينها عبر محسن كايلي تظل قريبة من تهيئتها، مما يؤكد فرضية الرتبة المنخفضة للمحاذاة المتبقية.
الكفاءة والأداء: تحقيق أفضل النتائج (SOTA) في إعدادات W4A4 و W3A3 مع عبء استنتاج ضئيل (~0.2% من عمليات الضرب والجمع الإضافية).

4. النتائج التجريبية

أُجريت التجارب على نماذج Llama-2 (7B, 13B)، و Llama-3 (8B)، و Llama-3.2 (1B, 3B).

الدقة (W4A4 & W3A3):
- تفوق ReSpinQuant باستمرار على خطوط الأساس للدوران العالمي (SpinQuant, QuaRot) وطابقت أو تجاوزت خطوط الأساس لكل طبقة (FlatQuant, OSTQuant).
- مثال (Llama-3 8B, W4A4): حقق ReSpinQuant درجة اضطراب (Perplexity - PPL) بلغت 7.24، متفوقاً على SpinQuant (7.50) و QuaRot (7.82).
- مثال (Llama-3 8B, W3A3): حقق Re_Spincuant درجة PPL بلغت 13.09، وهو أفضل بكثير من SpinQuant (15.07) و FlatQuant (133.52).
- في W3A3، أظهرت الطريقة متانة حيث فشلت الطرق الأخرى في الحفاظ على الاستقرار.
الكفاءة:
- المعلمات (Parameters): بينما يستخدم التدريب مساحة معلمات ضخمة ( $1091.0M$ معلمة قابلة للتعلم)، فإن بصمة الاستنتاج الفورية تقلصت إلى 8.4M فقط (حوالي 0.1% من حجم النموذج) بسبب دمج الأوزان.
- الحوسبة: العبء الإضافي هو 32.3M فقط من عمليات الضرب والجمع (مقابل 15.37T للنموذج الأساسي)، مما يمثل زيادة بنسبة ~0.2%.
- زمن التأخير (Latency): على وحدة معالجة الرسوميات NVIDIA H100، أظهر ReSpincuant زيادة ضئيلة في زمن التأخير مقارلة بـ SpinQuant (على سبيل المثال، زاد "الوقت اللازم لإنتاج الرمز التكراري" بنسبة ~1.7% فقط عند حجم دفعة 16).
دراسات الاستئصال (Ablation Studies):
- كانت رتبة التقريب $r$ حاسمة. أدى رفع $r$ من 0 إلى 32 إلى تحسين الأداء بشكل جذري. تم اختيار رتبة $r=32$ كأفضل مقايضة، حيث حققت PPL مقاربة لـ $r=128$ ولكن بتكلفة أقل بكثير.

5. الأهمية

يمثل ReSpincuant طفرة نوعية في كمية النماذج اللغوية الكبيرة من خلال كسر المقايضة التقليدية بين الدقة و الكفاءة.

ديمقراطية الذكاء الاصطناعي: من خلال تمكين الاستنتاج عالي الجودة (W3A3/W4A4) على الأجهزة الاستهلاكية أو أجهزة الحافة، فإنه يسمح بنشر نماذج أكبر وأكثر قدرة ضمن ميزانيات ذاكرة وحوسبة مقيدة.
الذكاء الاصطناعي الأخضر: تقليل عبء الاستنتاج ومتطلبات عرض نطاق الذاكرة يقلل من البصمة الكربونية المرتبطة بنشر النماذج واسعة النطاق.
النشر العملي: على عكس الطرق السابقة لكل طبقة التي تطلبت أجهزة متخصصة أو تسببت في تأخير ثقيل، تم تصميم ReSpincount للنشر العملي الفوري باستخدام الأجهزة القياسية، مما يقدم نموذج "تدرب بشكل كبير، واستنتج بشكل صغير".

باختصار، نجح ReSpincuant في سد الفجوة بين القدرة التعبيرية النظرية للتكيف لكل طبة وبين الضرورة العملية لكفاءة الاستنتاج، واضعاً معياراً جديداً لأفضل النتائج في كمية النماذج اللغوية الكبيرة منخفضة البتات.