SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning

ملخص تقني: SR2-LoRA

بيان المشكلة
يهدف التعلم المتزايد للفئات (Class-Incremental Learning - CIL) إلى تمكين النماذج من تعلم مهام جديدة بالتتابع مع الحفاظ على الأداء في المهام التي تم تعلمها سابقاً. وعلى الرغم من نجاح النماذج سابقة التدريب (PTMs) المدمجة مع الضبط الدقيق الفعال للمعلمات (PEFT) في هذا المجال، إلا أن النسيان الكارثي (catastrophic forgetting) يظل مشكلة مستمرة. غالباً ما تعزو الأساليب الحالية النسيان إلى الاختيار غير الصحيح للوحدات، أو انزياح النماذج الأولية للفئات (class prototypes)، أو انزياح التباين (covariance drift)، أو التداخل في التدرج. ومع ذلك، تحدد هذه الورقة آلية متميزة: انزياح العلاقة بين الطبقات (inter-layer relation drift). حيث لاحظ المؤلفون أنه مع تعلم مهام جديدة، فإن العلاقات بين التمثيلات على مستوى الطبقات داخل النموذج تضطرب تدريجياً. هذا الاضطراب يقلل من هوامش التصنيف للمهام التي تم تعلمها سابقاً، مما يؤدي إلى تدهور الأداء.

المنهجية: SR2-LoRA
لمعالجة ذلك، يقترح المؤلفون التكيف منخفض الرتبة لإعادة ضبط العلاقة بين الطبقات ذات التصحيح الذاتي (Self-Rectifying inter-layer Relation Low-Rank Adaptation - SR2-LoRA). تعمل هذه الطريقة ضمن إطار عمل LoRA القياسي، حيث يتم تجميد الهيكل الأساسي (backbone) المدرب مسبقاً، ويتم تقديم وتدريب محولات رتبة منخفضة جديدة ($\Delta W = BA$) لكل مهمة جديدة.

1. بناء العلاقة بين الطبقات: بالنسبة لعينة من المهمة الحالية، تقوم الطريقة ببناء مصفوفة علاقة بين الطبقات ($R$) بناءً على التمثيلات على مستوى الطبقات. تلتقط هذه المصفوفة الضرب الداخلي بين التمثيلات في طبقات مختلفة.
2. قياس الانزياح: تقارن الطريقة مصفوفة العلاقة المستحثة بواسطة النموذج الحالي ($R_t$) مقابل مصفوفة العلاقة المستحثة بواسطة النموذج السابق ($R_{t-1}$) على نفس عينات المهمة الحالية. يقيس التفاوت بين هاتين المصفوفتين انزياح العلاقة بين الطبقات.
3. محاذاة القيم المفردة: بدلاً من محاذاة المصفوفات عنصراً بعنصر (وهو أمر حساس لاضطرابات التقدير لأن النموذج السابق لم يرَ بيانات المهمة الحالية)، تطبق SR2-LoRA تحليل القيم المفردة (SVD) على كلتا المصفوفتين. ثم تقوم بمحاذاة القيم المفردة (singular values) فقط لمصفوفات العلاقة السابقة والحالية.
   • يشير التحليل النظري (الافتراض 1) إلى أن القيم المفردة أكثر متانة تجاه الاضطرابات المحدودة مقارنة بعناصر المصفوفة الفردية.
4. التحسين: تجمع دالة الخسارة الإجمالية بين خسارة الإنتروبيا المتقاطعة (cross-entropy loss) القياسية للمهمة الحالية وخسارة محاذاة العلاقة ($L_{align}$) التي تعاقب الفرق بين القيم المفردة لـ $R_t$ و $R_{t-1}$.

المساهمات النظرية
تقدم الورقة إطاراً نظرياً يربط بين انزياح العلاقة بين الطبقات والنسيان الكارثي:

• التمهيد 1 و 2: يثبتان أن النسيان محكوم بتدهور هوامش التصنيف، والتي ترتبط بحد أعلى ناتج عن التباين التراكمي للتمثيلات المتبقية عبر الطبقات.
• النظرية 1 و 2: تصيغان رسمياً أن التباين المتبقي التراكمي (وبالتالي النسيان) لا يعتمد فقط على حجم الانحرافات على مستوى الطبقة، بل يعتمد أيضاً على انزياح العلاقة بين الطبقات. وتحديداً، يؤدي وجود تفاوت أكبر في العلاقات بين الطبقات إلى زيادة الحد الأعلى لتدهور الأداء.
• الافتراض 1: يوضح أن محاذاة القيم المفردة توفر متانة أكبر تجاه ضوضاء التقدير مقارنة بالمحاذاة المباشرة للعناصر.

النتائج التجريبية
أُجريت تجارب مكثفة على أربعة معايير قياسية للتعلم المتزايد للفئات (CIL): CIFAR-100، وImageNet-R، وCUB-200، وImageNet-A، باستخدام هيكل ViT-B/16. تم تقييم الطريقة تحت تسلسلات مهام متنوعة (5، 10، 20، و50 مهمة).

• الأداء: تفوقت SR2-LoRA باستمرار على التدريب العادي (vanilla training) والأساليب المرجعية الحديثة (بما في ذلك الأساليب القائمة على الاختيار، والنماذج الأولية، والتباين، والتعامد).
• القابلية للتوسع: أصبحت مكاسب الأداء أكثر وضوحاً مع زيادة عدد المهام. على سبيل المثال، في ImageNet-A مع 50 مهمة، حققت SR2-LoRA دقة نهائية بلغت 57.08% مقارنة بـ 19.93% للتدريب العادي.
• دراسات الاستئصال (Ablation Studies):
  • استراتيجية المحاذاة: تفوقت محاذاة القيم المفردة على مستوى العينة (Eigen) على المحاذاة المباشرة للعناصر (P2P) وعلى متوسط مستوى الدفعة (batch-level averaging)، مما أكد متانة القيم المفردة.
  • عمق المحاذاة: حققت محاذاة جميع الطبقات أفضل النتائج، حيث أظهرت الطبقات الأعمق تأثيراً مباشراً أكثر على النسيان.
  • تكوين LoRA: وفرت عملية تكييف كل من إسقاطات المفتاح والقيمة ($W_k, W_v$) برتبة $r=10$ الأداء الأمثل.
• الكفاءة: قدمت الطريقة عبئاً حسابياً ضئيلاً، حيث كانت أوقات التدريب والاستدلال قابلة للمقارنة مع LoRA العادي، نظ-راً لأن تكلفة SVD ضئيلة جداً بالنسبة لعملية المرور الأمامي (forward pass) للهيكل الأساسي.
• التصور البصري: أظهرت تصورات مناطق القرار أن SR2-LoRA تحافظ على التنظيم المكاني لحدود القرار للمهام السابقة، بينما يؤدي التدريب العادي إلى اضطراب هيكلي كبير.

الأهمية والادعاءات
تدعي الورقة أن SR2-LoRA تقدم نهجاً مبدئياً للتخفيف من النسيان الكارثي من خلال نقل التركيز من تمثيلات الطبقات الفردية أو النماذج الأولية للفئات إلى العلاقات الهيكلية بين الطبقات. ومن خلال تقييد انزياح العلاقة بين الطبقات عبر محاذاة القيم المفردة المتينة، تنجح الطريقة بفعالية في الحفاظ على هوامش التصنيف للمهام السابقة. ويؤكد المؤلفون أن هذا النهج بسيط، وفعال، ومفيد بشكل خاص في تسلسلات المهام الطويلة حيث يكون تراكم الانزياح في أقصى حالاته. كما تُقدم الطة كمنهج متين عبر مختلف بنيات الهياكل الأساسية، ومجموعات البيانات سابقة التدريب، وأطوال المهام، دون الحاجة إلى ضبط معقد للمعلمات الفائقة أو موارد حسابية كبيرة.