ملخص تقني: توسيع التعلم المستمر إلى أكثر من 300 مهمة باستخدام خليط الخبراء ذي التوجيه ثنائي المستوى (CaRE)

1. بيان المشكلة

يهدف التعلم المستمر، وتحديداً تعلم الفئات المتزايد (CIL)، إلى تمكين النماذج من تعلم مهام جديدة بشكل متسلسل دون نسيان المعرفة السابقة. وبينما أظهرت الأساليب الحديثة التي تستفيد من النماذج سابقة التدريب (PTMs) والضبط الدقيق الموفر للمعلمات (PEFT) وعوداً كبيرة، إلا أنها تواجه تحديات جسيمة عند التوسع في سلاسل المهام الطويلة جداً (مثل مئات المهام).

تتمثل الصعوبات الجوهرية المحددة فيما يلي:

• الموازنة بين التمثيلات التمييزية والشاملة: غالباً ما تعاني الأساليب الحالية في توليد تمثيلات تكون تمييزية للغاية لفئات محددة وشاملة بما يكفي للاستفادة من الإشارات المتكاملة من المهام التاريخية ذات الصلة دلالياً. تفشل الاستراتيجيات خشنة الحبيبات (مثل المطالبات العالمية - global prompts) في استغلال الإشارات المتكاملة دقيقة الحبيبات بفعالية.
• القرارات المحلية متعددة المستويات: تمتلك نماذج الرؤية مستويات متفاوتة من التجريد عبر أعماق الشبكة المختلفة. تفشل استراتيجية التوجيه الثابتة في اتخاذ قرارات محلية مثالية عند كل طبقة وسيطة لدمج المعرفة التاريخية بشكل انتقائي.
• نقص المعايير القابلة للتوسع: معظم معايير التعلم المستمر الحالية (مثل CIFAR-100، ومجموعات فرعية من ImageNet) محدودة بعدد صغير من الفئات (غالباً أقل من 100 فئة)، مما يجعلها غير مناسبة لتقييم التسلسلات الطويلة (100-300+ مهمة). وهذا يترك قابلية توسع الأساليب الحالية لتدفقات المهام الواقعية غير المحدودة دون استكشاف كافٍ.

2. المنهجية: CaRE و BR-MoE

يقترح المؤلفون CaRE (المتعلم المستمر مع خليط الخبراء ذي التوجيه ثنائي المستوى الفعال)، المبني على هيكل "Vision Transformer" (ViT) مجمد. الابتكار الجوهري هو وحدة خليط الخبراء ذي التوجيه ثنائي المستوى (BR-MoE)، والتي يتم دمجها في كل وحدة بناء من وحدات ViT.

2.1 نظرة عامة على البنية

لكل مهمة متزايدة $t$، يتعلم CaRE ثلاثة مكونات موفرة للمعلمات ضمن كل وحدة BR-MoE:

1. مدرك الفئة ($C_t$): يستخرج المعلومات التمييزية على مستوى الفئة.
2. شبكة التوجيه ($R_t$): تولد معاملات البوابة لاختيار الخبراء.
3. الخبير/المحول ($E_t$): محول خاص بالمهمة لتحويل الميزات.
   بالإضافة إلى ذلك، يتم الحفاظ على خبير مشترك ($\bar{E}$)، يتم تحديثه عبر المتوسط المتحرك الأسي (EMA) عبر جميع المهام لترميز المعرفة المتماسكة عبر المهام.

2.2 آلية التوجيه ثنائي المستوى

تحدث عملية التوجيه في مرحلتين ديناميكيتين لكل ميزة مدخلة $z_a$ عند كل طبقة:

المرحلة 1: اختيار الموجه الديناميكي

• يتم تغذية رمز [CLS] للميزة المدخلة في جميع مدركات الفئات المتعلمة $\{C_t\}$.
• ينتج كل مدرك توزيعاً احتمالياً على فئات المهمة الخاصة به.
• يتم حساب الاعتلاج (Entropy) لهذه التوزيعات. يشير الاعتلاج المنخفض إلى ثقة أعلى في أن المدخل ينتمي إلى تلك المهمة.
• يختار النظام أفضل $M$ من شبكات التوجيه المرتبطة بأقل قيم اعتلاج (المهام الأكثر احتمالاً). يضمن هذا استرجاع النموذج للمعرفة من المهام التاريخية الأكثر صلة دلالياً.

المرحلة 2: توجيه الخبراء الديناميكي

• يولد كل من الموجهين الـ $M$ المختارين درجات بوابة لمجموعة الخبراء (المحولات) المرتبطة بها.
• لكل موجه، يتم تفعيل وتجميع أفضل $K$ من الخبراء الذين لديهم أعلى درجات بوابة.
• يتم تفعيل الخبير المشترك ($\bar{E}$) دائماً لإثراء التمثيل بالمعرفة العامة عبر المهام.
• المخرج النهائي هو مجموع الميزات المجمعة من المهام المحددة ومخرج الخبير المشترك.

2.3 أهداف التدريب

• خسارة التصنيف: يتم تطبيق خسارة عقوبة زاوية قياسية عند الطبقة النهائية.
• الإشراف على مدرك الفئة: لضمان توجيه دلالي قوي عند الطبقات المتوسطة، يتم الإشراف على مدرك الفئة في كل طبقة $\ell$ ليس فقط من خلال خسارة التصنيف الخاصة به، ولكن أيضاً من خلال خسارة تباعد KL مقابل احتمالات "softmax" في الطبقة النهائية. هذا يجبر الطبقات المتوسطة على محاكاة التجريدات الدلالية عالية المستوى، مما يتيح اتخاذ قرارات محلية فعالة.

3. المساهمات الرئيسية

3.1 إطار عمل CaRE

يعد CaRE أول متعلم مستمر مصمم للتوسع بفعالية في سلاسل المهام الطويلة جداً (من 100 إلى 300+ مهمة غير متداخلة). من خلال استخدام آلية توجيه ثنائية المستوى، يقوم CaRF بحقن التمثيلات التمييزية والشاملة ديناميكياً في كل طبقة شبكة وسيطة، مما يسمح باسترجاع المعرفة المخصصة عند مستويات مختلفة من التجريد.

3.2 OmniBenchmark-1K

لمعالجة نقص البروتوكولات المناسبة للتقييم في التسلسلات الطويلة، قدم المؤلفون OmniBenchmark-1K. تم تنسيق هذا المعيار من OmniBenchmark-V2، ويحتوي على 1,000 فئة عبر 21 مجالاً بصرياً مع حوالي 190,000 صورة. تم تصميمه خصيصاً لتسهيل تقييمات CIL القابلة للتوسع مع مئات المهام، متجاوزاً قيود المعايير الحالية مثل CIFAR-100.

3.3 التحقق التجريبي

تظهر التجارب المكثفة أن CaRE يتفوق على أساليب CIL القائمة على PTM (مثل L2P، وDualPrompt، وTUNA، وMOS، وMIN) عبر سيناريوهات متنوعة:

• التسلسلات الطويلة: في OmniBenchmark-1K، يحقق CaRE مكاسب كبيرة في دقة المرحلة الأخيرة ($A_B$) على النماذج المرجعية عبر إعدادات 100، و151، و200، و301 مهمة. على سبيل المثال، يتفوق على TUNA بنسبة 8.23% وعلى MIN بنسبة 8.68% في $A_B$ في 100 و151 مهمة على التوالي.
• التسلسلات القصيرة: يحافظ CaRE أيضاً على أداء متفوق في المعاييد الكلاسيكية (CIFAR-100، وImageNet-R، وImageNet-A، وVTAB) مع 5-20 مهمة، مما يظهر متانة عبر أطوال التسلسلات.
• الكفاءة: يحقق CaRE توازناً جيداً بين الأداء والتكلفة الحسابية، حيث يستخدم عدداً أقل بكثير من المعلمات القابلة للتدريب وزمن انتقال استدلال أقل مقارنة بطرق مثل MOS وTUNA بينما يقدم دقة أعلى.

4. الأهمية والادعاءات

يزعم البحث أن CaRE يمثل خطوة مهمة للأمام لجعل التعلم المستمر عملياً في السيناريوهات الواقعية حيث تكون تدفقات البيانات غير مستقرة وتسلسلات المهام محتمل أن تكون غير محدودة.

• القابلية للتوسع: يُقدم العمل كأول عمل ينجح في توسيع نطاق CIL إلى أكثر من 300 مهمة غير متداخلة مع الحفاظ على تفوق واضح في الأداء.
• صحة الآلية: يجادل المؤلفون بأن آلية التوجيه ثنائية المستوى تعالج بفعالية معضلة "الاستقرار-اللدونة" (stability-plasticity) من خلال السماح للنموذج باسترجاع المعرفة التاريخية ذات الصلة ديناميكياً (عبر اختيار الموجه) وتجميع الميزات المتكاملة (عبر توجيه الخبراء) عند كل طبقة.
• الأثر المجتمعي: من خلال إصدار كود CaRE ومجموعة بيانات OmniBenchmark-1K، يهدف المؤلفون إلى إلهام المزيد من الأبحاث في تسلسلات المهام الطويلة للغاية، وهو مجال كان يعيقه سابقاً نقص المعايير المناسبة والأساليب القابلة للتوسع.

يختتم البحث بإقرار متواضع بأنه بينما يتوسع CaRE إلى أكثر من 300 مهمة، فإن تعقيد النموذج لا يزال ينمو خطياً مع عدد المهام (بسبب إضافة وحدات جديدة)، وأن العمل المستقبلي قد يركز على المزيد من التبسيط الهيكلي وتوسيع هذه البروتوكولات لتشمل نماذج الرؤية واللغة.