ملخص تقني: الحفاظ ثم التكميم (SRR)

بيان المشكلة

يعد التكميم بعد التدريب (PTQ) وسيلة أساسية لتقليل بصمة الذاكرة وتكاليف الاستدلال للنماذج اللغوية الكبيرة (LLMs) عن طريق تحويل الأوزان كاملة الدقة إلى تمثيلات منخفضة البتات. ومع ذلك، فإن التكميم الشديد منخفض البتات (مثل 2 بت أو 3 بت) غالبًا ما يسبب تدهورًا كبيرًا في الدقة. والعلاج المتبع على نطاق واسع هو إعادة بناء خطأ التكميم (QER)، والذي يقرب مصفوفة الأوزان كاملة الدقة $W$ كـ $W \approx Q + LR$، حيث $Q$ هو الوزن المكمم و $LR$ هو حد تصحيح منخفض الرتبة مصمم لاستعادة المعلومات المفقودة أثناء التكميم.

تخصص طرق QER الحالية عادةً كامل ميزانية الرتبة $r$ لإعادة بناء بقايا التكميم (أي تقريب $S(W-Q)$، حيث $S$ هي مصفوفة مُقاسة بالتنشيط). ويرى المؤلفون أن هذا النهج غير مثالي لسببين رئيسيين:

1. تخصيص غير فعال للموارد: في الأنظمة منخفضة البتات، غالبًا ما يكون خطأ التكميم كثيفًا وعالي الرتبة. وتخصيص كامل سعة الرتبة لتصحيح هذا الخطأ قد يكون غير فعال.
2. الضرر الهيكلي: أوزان المحولات (Transformer) في فضاء التنشيط المقياس ($SW$) غالبًا ما تكون شديدة التباين (anisotropic)، حيث تتركز معظم الطاقة في مجموعة صغيرة من الاتجاهات المهيمنة. تقوم طرق QER القياسية بتكميم هذه الاتجاهات المهيمنة أولاً، مما يؤدي إلى حقن أخطاء مقاسة كبيرة بشكل غير متناسب. ومن ثم يُجبر تصحيح الرتبة المنخفضة اللاحق على استهلاك قدرته المحدودة في إصلاح "التشويه الذي يمكن تجنبه" في الفضاء الأكثر معلوماتية بدلاً من تصحيح الضجيج المتبقي.

السؤال المركزي الذي تعالجه الورقة هو: في ظل ميزانية رتبة ثابتة، كيف يجب موازنة الحفاظ على الهيكل المهيمن مقابل إعادة بناء خطأ التكميم؟

المنهجية: إعادة بناء البقايا المهيكلة (SRR)

تقترح الورقة إطار عمل إعادة بناء البقايا المهيكلة (SRR)، وهو إطار "الحفاظ ثم التكميم" الذي يخصص صراحةً ميزانية الرتبة بين دورين: الحفاظ على الهيكل المهيمن وإعادة بناء خطأ التكميم.

1. مسار "الحفاظ ثم التكميم"

بدلاً من تكميم مصفوفة الأوزان $W$ بالكامل ثم تصحيح البقايا، يقوم SRR بالخطوات التالية لاختيار تقسيم $k$ (حيث $0 \le k \le r$):

1. الحفاظ: استخراج أعلى $k$ من الاتجاهات المفردة المهيمنة لمصفوفة الأوزان المقيّسة $SW$. يتم تعيين هذه الاتجاهات مرة أخرى إلى الفضاء الأصلي ($L^{(1)}_k R^{(1)}_k$) وهي تتجاوز عملية التكميم.
2. التكميم: يتم تكميم المكون المتبقي ($W - L^{(1)}_k R^{(1)}_k)$ لإنتاج $Q_k$.
3. إعادة البناء: يتم إعادة بناء خطأ التكميم الناجم عن المكون المتبقي ($E_k = (W - L^{(1)}_k R^{(1)}_k) - Q_k$) باستخدام ميزانية الرتبة المتبقية $r-k$ عبر تحليل القيم المفردة المقطوع (truncated SVD) في الفضاء المقيّس ($L^{(2)}_k R^{(2)}_k$).

التقريب النهائي هو $\hat{W}_{SRR} = L^{(1)}_k R^{(1)}_k + Q_k + L^{(2)}_k R^{(2)}_k$.

2. اختيار الرتبة الموجه بالنظرية ($k^*$)

يعد اختيار نقطة التقسيم المثلى $k$ أمرًا بالغ الأهمية. يستنتج SRR معيارًا لتقليل خطأ إعادة البناء المقيّس دون الحاجة إلى تعداد مكلف.

• الهدف: تقليل $\|S(W - \hat{W}_{SRR}(k))\|_F$.
• الاستنتاج: يتم تحليل الخطأ إلى مقياس طاقة خطأ التكميم ونسبة الطاقة غير القابلة للاسترداد.
  • الافتراض 4.1: طاقة خطأ التكميم المقيّسة تتناسب تقريبًا مع طاقة المدخلات المقيّسة ($\|SE_k\|_F \approx \eta_Q \|S(W - L^{(1)}_k R^{(1)}_k)\|_F$).
  • الافتراض 4.2: الملف الطيفي لخطأ التكميم المعياري غير حساس للتحقق المحدد ويمكن تقريبه بمصفوفة عشوائية $E$ ذات مدخلات مستقلة وموزعة بشكل متماثل (i.i.d.).
• قاعدة الاختيار: يتم اختيار $k^*$ عن طريق تقليل حاصل ضرب الطاقة غير القابلة للاسترداد للجزء المحفوظ والطاقة غير القابلة للاسترداد للجزء المتبقي:
  $$k^* = \arg \min_{0 \le k \le r} \rho_k(SW) \cdot \rho_{r-k}(SE)$$
  حيث $\rho_p(A)$ هي نسبة الطاقة المتبقية بعد قطع الرتبة $p$. وهذا يسمح باختيار خفيف الوزن لـ $k$ باستخدام مصفوفة اختبار عشوائية $E$.

3. التطبيق على الضبط الدقيق الفعال للمعلمات المكممة (QPEFT)

يمتد SRR بشكل طبيعي إلى QPEFT، حيث يتم تجميد العمود الفقري المكمم، ويتم تدريب المحول (adapter) منخفض الرتبة فقط.

• التهيئة: يوفر تفكيك SRR تهيئة عالية الدقة للمحول ($LR = L^{(1)}R^{(1)} + L^{(2)}R^{(2)}$).
• تدرج المقياس (Gradient Scaling): يلعب المكونان أدوارًا مختلفة: $L^{(1)}R^{(1)}$ يحافظ على الفضاء الفرعي المهيمن، بينما يتعامل $L^{(2)}R^{(2)}$ مع التكيف. لمنع المُحسِّن من التحديث المفرط للاتجاهات المحفوظة (مما قد يزعزع الاستقرار الهيكلي)، يطبق SRR تدرج المقياس على المكون المحفوظ:
  $$\nabla_{L^{(1)}R^{(1)}} L \leftarrow \gamma \nabla_{L^{(1)}R^{(1)}} L, \quad \gamma \in (0, 1)$$
  هذا يعمل على استقرار الضبط الدقيق عن طريق تخفيف التحديثات على طول الفضاء الفرعي المحفوظ مع السماح للاتجاهات المتبقية بالتكيف بحرية.

المساهمات الرئيسية

1. إطار تخصيص الرتبة: يقدم SRR إطارًا مبدئيًا يقسم صراحةً ميزانية الرتبة بين الحفاظ على الهيكل منخفض الرتبة المهيمن وإعادة بناء خطأ التكميم، معالجًا عدم الكفاءة في إعادة البناء المقتصرة على "البقايا فقط".
2. الاختيار الموجه بالنظرية: تستنتج الورقة معيارًا بسيطًا وموجهًا بالنظرية لاختيار نقطة التقسيم $k$ بناءً على الاضمحلال الطيفي للأوزان المقيّسة واستخدام مصفوفة عشوائية كوكيل لضجيج التكميم، مما يتجنب التعداد المكلف.
3. استقرار QPEFT: توفر الطريقة تهيئة مهيكلة لـ QPEFT وتقدم آلية لتدرج المقياس لاستقرار التدريب عن طريق فصل أدوار الاتجاهات المحفوظة والمستعادة.
4. تنفيذ جاهز للاستخدام (Plug-and-Play): تم تصميم SRR ليكون وحدة قابلة للتركيب والتشغيل دون الحاجة لضبط دقيق، ومتوافقة مع طرق QER الحالية المعتمدة على التنشيط (مثل LQER و QERA).

النتائج التجريبية

قيم المؤلفون SRR عبر نماذج متنوعة (TinyLLaMA, Gemma-2, LLaMA-2, LLaMA-3.1) وإعدادات تكميم مختلفة (من 2 بت إلى 4 بت).

• التكميم بعد التدريب (PTQ):

  • قلل SRR باستمرار من الارتياب (perplexity) في WikiText2 عبر جميع النماذج وميزانيات الرتبة ($r=32, 64$) مقارنة بالنماذج المرجعية مثل LQER و QERA.
  • شملت التحسينات الملحوظة تقليل الارتياب النسبي بنسبة 27.1% على LLaMA-2 7B و 12.2% على Gemma-2 2B عند دقة 3 بت.
  • تحسنت دقة Zero-shot في المهام النهائية (HellaSwag, Winogrande, إلخ) بشكل مستمر.

• الضبط الدقيق الفعال للمعلمات المكممة (QPFET):

  • في اختبارات GLUE باستخدام RoBERTa-base، حقق SRR زيادة متوسطة قدرها 5.9 نقطة مئوية فوق خط الأساس QERA تحت تكميم 2 بت.
  • تفوق SRR على الطرق التكرارية مثل LoftQ و LQ-LoRA بأكثر من 10 نقاط مئوية عند دقة 2 بت دون الحاجة إلى تحسين تكراري.
  • أظهرت منحنيات خسارة التدريب أن SRR يسرع التقارب مقارنة بالنماذج المرجعية.
  • في GSM8K و SlimPajama، حسن SRR الدقة وقلل الارتياب بشكل كبير مقارنة بـ QERA والنماذج المرجعية الأخرى عند دقة 2 بت.

• المتانة:

  • أظهر SRR تحسينات متسقة عبر مختلف المكممات (MXINT, GPTQ, QuIP#).
  • وُجد أن اختيار الرتبة $k^*$ مستقر عبر البذور العشوائية (يتغير عادةً بمقدار $\pm 1$).

الأهمية والادعاءات

تدعي الورقة أن موازنة الحفاظ وإعادة البناء أمر بالغ الأهمية لتقريب دقيق منخفض البت لـ $W \approx Q + LR$. ومن خلال منع التكميم من إفساد الاتجاهات عالية الطاقة وحجز سعة الرتبة المنخفضة لأكثر التصحيحات فعالية، يحقق SRR تقريبًا أكثر دقة من الطرق السابقة تحت ميزانيات رتبة متطابقة.

يؤكد المؤلفون أن SRF يقدم إطار عمل مبدئي للتحسين منخفض الرتبة في النماذج المكممة. وهو يثبت أن ميزانية الرتبة المنخفضة لا ينبغي أن تخدم غرضًا واحدًا (تصحيح الخطأ) بل يجب تخصيصها ديناميكيًا بناءً على الخصائص الهيكلية الجوهرية للأوزان. تُقدم الطريقة كحل قوي، وفعال حاسوبيًا (بأعباء ضئيلة عبر SVD العشوائي)، وقابل للتعميم لكل من PTQ و QPEFT، مما يتيح نشرًا أكثر دقة لنماذج LLM منخفضة البت.