ملخص تقني: Mamba-CL

تعريف المشكلة

يهدف التعلم المستمر (CL) إلى تمكين نماذج الذكاء الاصطناعي من تعلم تسلسل من المهام بمرور الوقت دون نسيان المعرفة المكتسبة سابقاً، وذلك لمعالجة معضلة الاستقرار والمرونة (stability-plasticity dilemma). وبينما حققت نماذج فضاء الحالة (SSMs)، ولا سيما بنية Mamba، نجاحاً ملحوظاً في الرؤية الحاسوبية ونمذجة التسلسلات، فإن تطبيقها على التعلم المستمر يفرض تحديات فريدة. فالأساليب الحالية للتعلم المستمر، مثل إسقاط الفضاء الجزئي المتعامد (orthogonal subspace projection)، تم تطويرها بشكل أساسي للشبكات العصبية التلافيفية (CNNs) ومحولات الرؤية (ViTs). ويصعب تطبيق هذه الأساليب مباشرة على Mamba بسبب هيكل فضاء الحالة المتكرر من الدرجة الأعلى وآلية التمييز غير الخطية الخاصة به. وتحديداً، يمكن فهم النسيان في نماذج SSM الانتقائية كعمليات تغيير في عمليات تحديث الحالة وتوليد المخرجات التي يتم تفعيلها بواسطة مدخلات المهام السابقة. وتتمثل المشكلة الجوهرية في كيفية ضبط نموذج أساسي من نوع Mamba مُدرب مسبقاً لمهام جديدة مع ضمان بقاء المخرجات للمهام السابقة متسقة من الناحية الرياضية.

المنهجية

يقترح المؤلفون Mamba-CL، وهو إطار عمل يعمل على تحسين نماذج SSM الانتقائية في الفضاء الصفري (null space) للتخفيف من حدة النسيان الكارثي. تركز الطريقة على الضبط الدقيق لكتل SSM الأساسية داخل هيكل Mamba أساسي مُدرب مسبقاً (تحديداً De-focus Mamba) مع إبقاء المكونات الأخرى مجمدة.

الاشتقاق النظري

جوهر Mamba-CL هو اشتقاق أربعة شروط كفاية للاتساق لمعلمات كتلة SSM. الهدف هو ضمان بقاء مخرجات SSM لمدخلات المهمة السابقة ($X_t$) دون تغيير بعد تعلم مهمة جديدة. ومن خلال تحليل العملية الأمامية لـ SSM، والتي تتضمن وسيطاً ثابتاً للمدخلات $A$ ووسائط مشروطة بالمدخلات $B$ و $C$ و $\delta$ (خطوة التمييز/Discretization step)، قام المؤلفون بتفكيك متطلبات الاتساق إلى قيود على تحديثات المعلمات ($\Delta$):

1. خطوة التمييز ($\delta$) وإسقاط المدخلات ($W_\delta$): يجب أن يكون التحديث $\Delta W_\delta$ متعامداً مع فضاء ميزات المدخلات $X_t$ ($X_t \Delta W_\delta = 0$).
2. انتقال الحالة ($A$): يجب أن يكون التحديث $\Delta A$ متعامداً مع خطوة التمييز $\delta_t$ ($\delta_t \Delta A = 0$).
3. حقن المدخلات ($W_B$): يجب أن يكون التحديث $\Delta W_B$ متعامداً مع حاصل ضرب خطوة التمييز وميزات المدخلات ($\delta_t X_t \Delta W_B = 0$).
4. قراءة المخرجات ($W_C$): يجب أن يكون التحديث $\Delta W_C$ متعامداً مع فضاء ميزات المدخلات $X_t$ ($X_t \Delta W_C = 0$).

تضمن هذه الشروط الحفاظ على عمليات تحديث الحالة وتوليد المخرجات التي يتم تفعيلها بواسطة مدخلات المهمة القديمة.

استراتيجية التحسين

لتنفيذ هذه القيود بكفاءة، يستخدم Mamba-CL إسقاط الفضاء الصفري (null-space projection):

• مصفوفات الإسقاط: يحسب المؤلفون مصفوفات التباين غير المركزية لفضاءات الميزات ($X_t$ و $\delta_t$ و $\delta_t X_t$) من المهام السابقة. وباستخدام تحليل القيمة المفردة (SVD)، يشتقون مصفوفات الإسقاط ($H_1, H_2, H_3$) التي تقوم بإسقاط تدرجات المهمة الجديدة على الفضاءات الصفرية لهذه الفضاءات الفرعية للميزات.
• عامل التوازن: يتم إدخال معلمة فائقة $\eta \in [0, 1]$ لتخفيف قيود التعامد. وهذا يسمح بالموازنة بين الاستقرار (الاحتفاظ بالمعرفة القديمة) والمرونة (تعلم المهام الجديدة). عندما تكون $\eta=1$، يتم تطبيق إسقاط الفضاء الصفري الصارم؛ بينما تسمح القيم الأقل بمزيد من المرونة.
• التنفيذ: أثناء التدريب، يتم إسقاط تدرجات معاملات SSM (وهي $A, W_B, W_C, W_\delta$) وطبقة الإسقاط الخطي اللاحقة باستخدام هذه المصفوفات قبل خطوة تحديث المعلمات.

المساهمات الرئيسية

1. منظور الحفاظ على المخرجات: يصيغ البحث التكيف المستمر لنماذج SSM الانتقائية من منظور الحفاظ على المخرجات، ويربط آلية المسح الانتقائي بقيود الفضاء الجزئي المتعامد.
2. الاشتقاق النظري: اشتق المؤلفون نظرياً أربعة شروط كفاية للاتساق لكتلة SSM داخل نموذج Mamba، مما يعالج تعقيدات هيكلها المتكرر والتمييز غير الخطي.
3. تقريب الفضاء الصفري: بناءً على هذه الشروط، تم تقديم تقريب يعتمد على الفضاء الصفري لتنفيذ عمليات إسقاط التدرج المتعامد بكفاءة، مما يسمح بالتكيف المستمر لنماذج Mamba الأساسية واسعة النطات دون الحاجة لتخزين عينات من المهام السابقة (Exemplar-free).
4. التحقق التجريبي: أظهرت التجارب المكثفة فعالية النهج عبر عدة اختبارات مرجعية.

النتائج التجريبية

قيم المؤلفون Mamba-CL على أربعة اختبارات مرجعية لزيادة الفئات (class-incremental benchmarks):

• مجموعات البيانات: ImageNet-R (بتقسيم 10 و 20)، و CIFAR-100 (بتقسيم 10)، و DomainNet (بتقسيم 10).
• النماذج المرجعية (Baselines): تمت مقارنة الطريقة مع أحدث أساليب التعلم المستمر (مثل L2P، DualPrompt، COMA-Prompt، EvoPrompt، EASE) ومع نموذج Mamba الأساسي بدون إسقاط متعامد (Mamba-Seq).
• الأداء:
  • حقق Mamba-CL أداءً متفوقاً مقارنة بالأساليب الحالية. ففي اختبار ImageNet-R (تقسيم 10)، وصل إلى دقة 81.67% مع نسيان بنسبة 4.07%، متفوقاً بفارق كبير على أفضل طريقة تالية (CL-LoRA بدقة 78.48%).
  • أظهر تحسينات جوهرية مقارنة بالنموذج المرجعي Mamba-Seq، حيث زادت الدقة بنسبة 18%–45% وانخفض النسيان بنسبة 24%–61% عبر الاختبارات.
  • أظهرت الطريقة متانة في سيناريوهات التعلم المستمر ذات التسلسلات الطويلة (50 و 100 مهمة)، محتفظة بالصدارة على الطرق الأخرى.
  • أكدت دراسات الاستئصال (Ablation studies) أن إسقاط خطوة التمييز ($\delta$) هو المكون الأكثر أهمية لمكافحة النسيان.
  • تم التحقق من النهج على متغيرات مختلفة من Mamba (MambaVision, Vim, VMamba) وحتى في سيناريو "التدريب من الصفر"، مما أكد قدرته على التعميم.

الأهمية والادعاءات

يزعم البحث أن Mamba-CL يوفر طريقة فعالة للتكيف المستمر مع وحدات SSM الانتقائية الأساسية لنماذج التأسيس الكبيرة مع التخفيف من التداخل مع المعرفة المكتسبة سابقاً. وخلافاً للنهج السابقة التي تتطلب تدريباً وصفياً (episodic meta-training)، أو توسيع الهيكل الخاص بالمهمة، أو الاحتفاظ بالنماذج المثالية (exemplars)، يعمل Mamba-CL في بيئة خالية من الأمثلة (exemplar-free) دون عمليات إضافية أثناء الاستدلال.

يؤكد المؤلفون أن طريقتهم ليست مجرد تطبيق مباشر لتقنيات الإسقاط الموجودة، بل هي تكيف ضروري للبنية الرياضية المحددة لـ SSMs. ومن خلال اشتقاق شروط اتساق محددة للمعلمات الثابتة زمنياً في نموذج Mamba، فقد جسروا الفجوة بين المتطلبات النظرية للتعلم المستمر والتطبيق العملي لنماذج فضاء الحالة. وتشير النتائج إلى أن حماية عمليات (التمييز المعتمد على المدخلات، وانتقال الحالة، وحقن المدخلات، وقراءة المخرجات) صراحةً عبر إسقاط الفضاء الصفري أمر بالغ الأهمية لتحقيق أداء قوي في التعلم المستمر ضمن بنيات Mamba.