ملخص تقني: DAMEL – التعلم متعدد الخبراء ثنائي المحور لتعلم الفئات غير المتوازنة

1. بيان المشكلة

غالبًا ما تعاني الشبكات العصبية العميقة (DNNs) في مواجهة تعلم الفئات غير المتوازنة (CIL) الموجود في التوزيعات طويلة الذيل في العالم الحقيقي. وبينما تنجح تقنيات CIL الحالية (مثل إعادة أخذ العينات، أو إعادة الوزن، أو التعلم المنفصل) في تقليل انحياز التنبؤ نحو الفئات الأكثر انتشارًا، إلا أنها غالبًا ما تفرض مقايضة: وهي زيادة في تباين التنبؤ.

تحاول خوارزميات التعلم متعدد الخبراء الحديثة التخفيف من هذا التباين عن طريق تدريب عدة خبراء. ومع ذلك، تعتمد هذه الأساليب عادةً على إجراءات معقدة متعددة المراحل تتضمن تقطير المعرفة (knowledge distillation) أو استراتيجيات محددة لتقسيم البيانات. علاوة على ذلك، فإن أساليب تعدد الخبراء الحالية تقوم عمومًا بتجميع تنبؤات الخبراء المتعددين، وهو ما قد لا يستفيد بشكل كامل من تمثيلات الميزات المتنوعة التي تعلمها كل خبير.

2. المنهجية: DAMEL

يقترح المؤلفون DAMEL (التعلم متعدد الخبراء ثنائي المحور)، وهي خوارزمية بسيطة المفهوم وذات مرحلة واحدة، تعمل على تقليل كل من الانحياز المربع وتباين التنبؤ من خلال الاستفادة من عدة خبراء عبر محورين متميزين: محور التمثيل ومحور الزمن.

البنية والتدريب

• العمود الفقري المشترك (Shared Backbone): يستخدم DAMEL عدد $K$ من الخبراء الذين يتشاركون عمودًا فقريًا لشبكة CNN عميقة (حتى آخر كتلة متبقية/residual block) لتقليل التكاليف الحسابية. يمتلك كل خبير كتلة متبقية أخيرة وطبقة تصنيف فردية.
• تجميع محور التمثيل (Representation-Axis Ensemble):
  • بدلاً من حساب متوسط التمثيلات أو تجميع التنبؤات النهائية، يقوم DAMEL بدمج (concatenates) ناقلات التمثيل ($z_k$) من جميع الخبراء الـ $K$.
  • يتم تدريب مصنف متوازن مساعد على هذه التمثيلات المدمجة باستخدام خسارة متوازنة الفئات (والتي تعيد وزن خسارة الإنتروبيا المتقاطعة عكسيًا مع تكرار الفئة).
  • من الأهمية بمكان أن التدرجات (gradients) الناتجة عن خسارة الفئات المتوازنة يتم تمريرها عكسيًا فقط إلى المصنف المساعد، بينما يتم تدريب العمود الفقري ورؤوس الخبراء الفردية عبر خسارة الإنتروبيا المتقاطرة القياسية. وهذا يسمح للمصنف المساعد باستغلال الميزات المتكاملة من جميع الخبراء دون إجبار العمود الفقري على تعلم تمثيل واحد قد يكون مشوهًا.
  • يتم تدريب النظام بأكمله (الخبراء + المصنف المساعد) من البداية إلى النهاية (end-to-end)، مما يتجنب اتجاهات التدريب المنفصل التي تشهدها طرق CIL الأخرى.
• تجميع محور الزمن (Time-Axis Ensemble):
  • لتقليل التباين بشكل أكبر، يقوم DAMEL بتجميع أوزان الشبكة عبر حقبات التدريب باستخدام المتوسط المتحرك الأسي (EMA).
  • تحديث على مستوى الحقبة (Epoch-Level Update): على عكس الـ EMA التقليدي على مستوى التكرار (iteration-level) أو متوسط أوزان ستوكاستيك (SWA)، يقوم DAMEL بتحديث أوزان الـ EMA ($\theta_{EMA}$) فقط في نهاية كل حقبة. تزيد هذه الاستراتيجية من تنوع الأوزان المجمعة من خلال ضمان أن التحديثات المتتالية أقل ارتباطًا، مما يلتقط حالات نموذج أكثر تمايزًا.
  • الاستدلال (Inference): خلال مرحلة الاختبار، يتم إجراء التنبؤات حصريًا باستخدام المصنف المساعد مع أوزان $\theta_{EMA}$ المجمعة. ولا تُستخدم تنبؤات الخبراء الفردية للمخرجات النهائية.

3. المساهمات الرئيسية

يسلط البحث الضو على خمس مساهمات رئيسية:

1. تجميع محور التمثيل: آلية مبتكرة تجمع تمثيلات الخبراء عبر الدمج (concatenation) بدلاً من متوسط التنبؤات، مما يمكن المصنف المساعد من استخدام ميزات متنوعة ومتكاملة من عدة خبراء.
2. الحفاظ على التنوع: إثبات أن دمج التمثيلات ليس مجرد زيادة في الأبعاد، بل هو آلية للحفاظ على تنوع تمثيل الخبير واستخدام الإشارات التمييزية بشكل مشترك.
3. تجميع محور الزمن: تقديم استراتيجية تجميع أوزان EMA على مستوى الحقبة، وهي متميزة عن EMA على مستوى التكرار وSWA، والتي تعامل الأوزان المجمعة زمنيًا كأحد محاور التجميع الإضافية لتقليل تباين التنبؤ.
4. المصنف المساعد من البداية إلى النهاية: تصميم مصنف متوازن مساعد يُدرب على التمثيلات المدمجة باستخدام خسارة متوازنة الفئات، مما يقلل الانحياز نحو الفئات الأكثر انتشارًا مع الاستفادة من الميزات المتنوعة في مرحلة تدريب واحدة.
5. التحقق التجريبي: تجارب واسعة ودراسات استئصال (ablation studies) تثبت أن نهج المحور المزدوج يقلل من كل من الانحياز المربع وتباين التنبؤ معًا، متفوقًا على خوارزميات تعدد الخبراء وCIL الحالية.

4. النتائج التجريبية

تم تقييم DAMEL على أربع مجموعات بيانات مرجعية: CIFAR-10-LT، و CIFAR-100-LT، و ImageNet-LT، و iNaturalist2018.

• الأداء: حقق DAMEL أداءً رائدًا (state-of-the-art) عبر جميع مجموعات البيانات ونسب عدم التوازن ($\gamma = 10, 50, 100$). على سبيل المثال، في CIFAR-100-LT ($\gamma=100$)، حقق DAMEL مع 4 خبراء دقة إجمالية بلغت 53.1%، متفوقًا على نماذج قوية مثل RIDE (49.1%)، و ACE (49.6%)، و TLC (49.8%).
• مقايضة الانحياز والتباين: أظهر التحليل الكمي للانحياز المربع والتباين أن DAMEL نجح في تقليل كلا المقياسين في وقت واحد. فبينما قللت تقنيات إعادة التوازن من الانحياز ولكن زادت التباين، وقللت أساليب تعدد الخبماء من التباين، قام نهج المحور المزدوج لـ DAMEL بخفض كليهما.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة أوزان EMA أو دمج التمثيلات إلى تدهور الأداء بشكل كبير.
  • تفوق دمج التمثيلات على تجميع التنبؤات.
  • تفوق EMA على مستوى الحقبة على EMA على مستوى التكرار وSWA البسيط، مما يؤكد أهمية تردد التحديث في بناء تجميع فعال لمحور الزمن.
  • أثبتت دراسات التحكم في السعة أن مكاسب الأداء تأتي من تنوع الخبراء وليس مجرد زيادة سعة النموذج أو أبعاد الميزات.
• المتانة: ظل النهج فعالاً عند دمجه مع تقنيات قوية لزيادة البيانات (AutoAugment، Cutout) وأظهر استقرارًا عبر إعدادات مختلفة للمعلمات الفائقة (عدد الخبراء، $\beta$ للـ EMA، ومقياس المصنف).

5. الأهمية والادعاءات

يدعي المؤلفون أن DAMEL يقدم حلاً بسيط المفهوم ولكنه فعال للغاية لمقايضة الانحياز والتباين في تعلم الفئات غير المتوازنة. ومن خلال تجنب عمليات التقطير متعددة المراحل المعقدة أو تقسيم البيانات، يحقق DAMEL دقة فائقة من خلال عملية تدريب ذات مرحلة واحدة.

يؤكد البحث أن استراتيجية المحور المزدوج هي الابتكار الجوهري:

• يضمن محور التمثيل وصول المصنف إلى مجموعة غنية ومتنوعة من الميزات، مما يقلل الانحياز.
• يعمل محور الزمن (عبر EMA على مستوى الحقبة) على استقرار النموذج وتقليل التباين من خلال حساب متوسط الأوزان من حالات تحسين متنوعة.

ويخلص المؤلفون إلى أنه بينما يعد اختيار المعلمات الفائقة الحالي تجريبيًا، فإن الإطار المقترح يوفر نهجًا عالميًا وقويًا لـ CIL، مما يخفف بفعالية من قيود كل من تقنيات إعادة التوازن التقليدية وخوارزميات تعدد الخبراء الحالية.