ملخص تقني: CR-Net – توسيع نطاق التدريب الفعال للمعلمات باستخدام بنية منخفضة الرتبة عبر الطبقات

1. بيان المشكلة

تواجه عملية التدريب المسبق للنماذج اللغوية الكبيرة (LLMs) نمواً أسياً في المتطلبات الحسابية ومتطلبات الذاكرة مع زيادة حجم النماذج من ملايين إلى مليارات المعلمات. وبينما برزت البنى منخفضة الرتبة (low-rank architectures) كحل أساسي لتقليل تعقيد المعلمات وبصمة الذاكرة، إلا أن الطرق الحالية تعاني من ثلاثة عيوب حرجة:

1. الأداء دون المستوى الأمثل: غالباً ما تؤدي التوصيفات منخفضة الرتبة (مثل LoRA) إلى تقليص قدرة النموذج لأن أوزان "ترانسفورمر" (Transformer) عادة ما تظهر خصائص قريبة من الرتبة الكاملة (full-rank) الضرورية لتمثيل المعرفة.
2. الاختناقات الحسابية: تسبب الطرق التي تعتمد على التدرجات منخفضة الرتبة (مثل GaLore) عبئاً حسابياً كبيراً بسبب عمليات مثل تفكيك القيم المفردة (SVD) أو الإسقاطات العشوائية، مما يقلل من إنتاجية التدريب.
3. محدودية توفير ذاكرة التنشيط: بينما تقلل الطرق الحالية من الذاكرة المخصصة للمعلمات، والتدرجات، وحالات المُحسن (optimizer states)، إلا أنها غالباً ما تفشل في معالجة العبء الكبير لذاكرة التنشيط (المتغيرات الوسيطة المطلوبة للانتشار العكسي)، والتي يمكن أن تتراوح من 1 إلى 4 أضعاف حجم معلمات النموذج.

2. المنهجية

الرؤية الجوهرية: البواقي منخفضة الرتبة عبر الطبقات

يقترح المؤلفون ملاحظة جديدة: الفرق بين تنشيطات الطبقات المتجاورة في النماذج اللغوية الكبيرة يمتلك بنية قوية منخفضة الرتبة. تُظهر التقييمات التجريبية على نماذج مثل LLaMA-3 وGPT-2 أن تقريب تنشيط الطبقة الحالية ($Y_l$) باستخدام تنشيط الطبقة السابقة ($Y_{l-1}$) مضافاً إليه حد بقايا منخفض الرتبة، يعطي خطأ إعادة بناء نسبي أقل بكثير مقارنة بالتقريب المباشر منخفض الرتبة لـ $Y_l$ بمفرده.

بنية CR-Net

بناءً على هذه الرؤية، قدم المؤلفون CR-Net (شبكة البواقي منخفضة الرتبة عبر الطبقات)، وهو إطار عمل فعال للمعلمات يتميز ببنية ثنائية المسار:

• الطبقة الأولى: تحتفظ بمعلمات كاملة الرتبة ($W_1$) للحفاظ على المعلومات عالية الرتبة وضمان استقرار التهيئة.
• الطبقات اللاحقة ($l \ge 2$): تستبدل مصفوفات الأوزان كاملة الرتبة ببنية بقايا عبر الطبقات. يتم حساب التنشيط كالتالي:
  $$Y_l^P = \beta_l^P Y_{l-1}^P + X_l^P A_l^P B_l^P$$
  حيث أن:
  • $Y_{l-1}^P$ هو تنشيط الطبقة السابقة.
  • $A_l^P$ و $B_l^P$ هما مصفوفتان قابلتان للتعلم منخفضتا الرتبة ($r \ll \min(h_{in}, h_{out})$).
  • $\beta_l^P$ هو عامل قياس قابل للتعلم يوازن ديناميكياً بين مساهمة الإشارة التاريخية (عالية الرتبة) والبقايا منخفضة الرتبة. وهذا يسمح للنموذج بالاستكمال بين الطبقات الضحلة التعبيرية والتحولات العميقة منخفضة الرتبة دون الانهيار في فضاءات فرعية منخفضة الأبعاد.

استراتيجية إعادة الحساب الفعالة للتنشيط

لمعالجة عبء ذاكرة التنشيط، طور المؤلفون استراتيجية متخصصة لإعادة الحساب مصممة لتناسب بنية CR-Net.

• التحدي: تطبيق "نقطة التحقق من التدرج" (Gradient Checkpointing - GCP) القياسي على CR-Net سيؤدي إلى عبء حسابي قدره $O(L^2)$ لأن إعادة بناء تنشيط طبقة ما يتطلب المرور الأمامي الكامل لجميع الطبقات السابقة بسبب الاعتماد عبر الطبقات.
• الحل: تقوم الاستراتيجية بتخزين مجموعة فرعية من التنشيطات الخطية (نقاط التحقق) والمخرجات منخفضة الرتبة ($X_l A_l$). بالنسبة للطبقات غير المحفوظة في نقاط التحقق، يتم استرداد التنشيطات عبر مقلوب اتصال البقايا عبر الطبقات:
  $$Y_{l-1}^P = \frac{1}{\text{sign}(\beta_{l+1}^P)(|\beta_{l+1}^P| + \epsilon)} (Y_l^P - X_l^P A_l^P B_l^P)$$
  يتجنب هذا النهج عمليات المرور الأمامي الكاملة عبر الطبقات السابقة، مما يقلل بشكل كبير من تكاليف إعادة الحساب مع الحفاظ على كفاءة الذاكرة.

3. المساهمات الرئيسية

1. مبدأ تأسيسي جديد: اكتشاف أن بواقي التنشيط بين الطبقات تظهر خصائص منخفضة الرتبة، وهي ميزة تختلف عن خصائص الرتب المنخفضة للتدرجات أو المعلمات التي استغلتها الأعمال السابقة.
2. إطار عمل فعال للمعلمات (CR-Net): إطار تدريب مسبق يستفيد من فروق التنشيط منخفضة الرتبة عبر الطبقات. يتجنب فقدان المعلومات المرتبط بالتقريبات المتكررة منخفضة الرتبة في مناهج LoRA التقليدية من خلال استخدام طبقة أولى كاملة الرتبة وعامل قياس بقايا قابل للتعلم.
3. إعادة حساب فعالة للتنشيط: استراتيجية مخصصة تلغي الحاجة إلى تخزين التنشيطات لمعظم الطبقات أثناء الانتشار العكسي، مما يحل مشكلة اختناق ذاكرة التنشيط دون تحمل عبء $O(L^2)$ الناتج عن التطبيق الساذج لنقاط التحقق.
4. التحقق التجريبي: تجارب تدريب مسبق واسعة النطاق تُظهر تفوق CR-Net على أطر العمل منخفضة الرتبة الحديثة من حيث أداء التحقق مع تطلب موارد حوسبة وذاكرة أقل.

4. النتائج التجريبية

أُجريت التجارب على نماذج LLaMA-2 تتراوح أحجامها من 60 مليون إلى 13 مليار معلمة باستخدام مجموعة بيانات C4-en.

• الأداء مقابل عدد المعلمات: يتفوق CR-Net باستمرار على النماذج المرجعية (LoRA, ReLoRA, SLTrain, CoLA, LORO) عند تساوي عدد المعلمات. على سبيل المثال، في نموذج بمليار معلمة، حقق CR-Net درجة أفضل في "الارتباك التحققي" (validation perplexity) من التدريب كامل الرتبة، مع تقليل تعقيد المعلمات بنسبة 56.5% وتعقيد الحساب لكل خطوة بنسبة 63.2%.
• الأداء مقابل الذاكرة: عند موازنة العبء على الذاكرة، يتفوق CR-Net على الطرق الموفرة للمُحسن (Gaore, RSO, Apollo)، خاصة للنماذج التي تزيد عن مليار معلمة.
• الإنتاجية: يُظهر CR-Net إنتاجية فائقة في التدريب والاستدلال. في التدريب المسبق لنموذج LLaMA-2 1B، حقق تحسناً في الإنتاجية بنسبة تزيد عن 6% مقارنة بالطرق الحديثة، حتى مع احتساب عبء اتصالات التوازي للبيانات.
• التوسع إلى 13B: في نموذج 13B، حقق CR-Net تقليلاً في المعلمات بنسبة تزيد عن 50% مع تراجع بنسبة 2% فقط في أداء التحقق مقارنة بالتدريب كامل الرتبة.
• دراسات الاستئصال (Ablation Studies):
  • اختيار الرتبة: يتم تحقيق الأداء الأمثل باستخدام رتب أعلى في الطبقات الوسطى ورتب أقل في الطبقات الجانبية.
  • القياس القابل للتعلم: استخدام $\beta_l^P$ قابل للتعلم يحسن الاستقرار العددي والتقارب بشكل كبير مقارنة بعوامل القياس الثابتة.
  • الطبقة الأولى: الحفاظ على طبقة أولى كاملة الرتبة أمر بالغ الأهمية؛ حيث أدى استبدالها بمعلمات منخفضة الرتبة إلى تراجع بنسبة 3.5% في الارتباك (perplexity).

5. الأهمية والادعاءات

يضع البحث CR-Net كإطار عمل مبدئي وليس مجرد دمج عشوائي للتقنيات. وتكمن أهميته في:

• سد الفجوة: نجح في فك الارتباط بين المقايضة بين كفاءة المعلمات وأداء النموذج، محققاً قدرات تشبه الرتبة الكاملة بميزانيات معلمات منخفضة الرتبة.
• الكفاءة النظامية: من خلال معالجة ذاكرة التنشيط -وهي اختناق غالباً ما يتم تجاهله- مكن من تدريب نماذج أكبر ضمن قيود الأجهزة الحالية دون العقوبات الحسابية لعمليات "نقطة التحقق من التدرج" التقليدية.
• الاستقرار: يضمن التصميم ديناميكيات تدريب مستقرة مشابهة لنهج الرتبة الكاملة، متجاوزاً عدم الاستقرار الذي غالباً ما يصاحب التدريب منخفض الرتبة.

يخلص المؤلفون إلى أن CR-Net يوفر مساراً قابلاً للتوسع للتدريب المسبق الفعال للنماذج اللغوية الكبيرة، مما يقلل من استهلاك الذاكرة والتكاليف الحسابية مع الحفاظ على قدرة النموذج أو تحسينها. وتشمل اتجاهات العمل المستقبلي المحددة دمج التدريب مختلط الدقة لتخفيف عبء الذا আরও، وتعميم إطار العمل على بنيات انتباه بديلة.