Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

ملخص تقني: التنوع القابل للتحكم في المجموعات الضمنية القائمة على التطبيع عبر تعديل درجة حرارة الـ Softmax

بيان المشكلة
تظل المجموعات العميقة (Deep Ensembles) هي المعيار الذهبي لتقدير عدم اليقين في التعلم العميق، حيث توفر معايرة موثوقة وكشفًا فعالًا للبيانات خارج التوزيع (OOD) عبر تدريب نماذج متعددة مستقلة. ومع ذلك، فإن تكاليفها الحسابية والذاكرة تتناسب خطيًا مع عدد أعضاء المجموعة، مما يجعلها مكلفة للغاية للنماذج واسعة النطاق. تعالج المجموعات الضمنية هذه المشكلة من خلال مشاركة عمود فقري واحد عبر الأعضاء، مع إدخال تعديل أو تقسيم لكل عضو لمحاكاة سلوك المجموعة في عملية تدريب واحدة.

يتمثل أحد القيود الحرجة لطرق المجموعات الضمنية الحالية في الافتقار إلى التحكم في تنوع الأعضاء. فالتنوع هو محدد رئيسي لجودة المجموعة، ومع ذلك، فإن الطرق الحالية تثبته عند التهيئة (مثل طرق الـ adapter مثل BatchEnsemble) أو تدمجه بشكل صلب في البنية (مثل طرق التقسيم مثل Packed Ensembles). ونتيجة لذلك، لا توجد آلية لتشكيل أو التنقل في المقايضة بين الدقة والمعايرة أثناء التدريب. علاوة على ذلك، غالبًا ما تتطلب الطرق الحالية إعادة تصميم معمارية مخصصة، مما يجعل تطبيقها على النماذج سابقة التدريب أمرًا صعبًا.

المنهجية: $\sigma$N-Ens
يقدم المؤلفون $\sigma$N-Ens، وهو مجموعة ضمنية قائمة على التطبيع تعامل كل عضو كمسألة متميزة ضمن إطار عمل التعلم متعدد المهام (MTL).

1. البنية ($\sigma$Norm): تستبدل هذه الطريقة طبقات التطبيع القياسية (BatchNorm أو LayerNorm) في عمود فقري مشترك بطبقات خاصة بكل مهمة. لكل عضو $t$، يتم تعديل عملية التطبيع بواسطة مقياس محصور بـ sigmoid:
   $$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$$
   حيث أن $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$. تعمل هذه المقاييس كأوزان أهمية لكل ميزة. ولأن طبقات التطبيع فقط هي التي يتم تكرارها، فإن أوزان العمود الفقري (التلافيفية أو المحولات/Transformers) تظل مشتركة بالكامل، مما يسمح لهذه الطريقة بتغليف أي بنية قياسية وتكييف النماذج سابقة التدريب عبر ضبط دقيق قصير.

2. التنوع القابل للتحكم عبر درجة حرارة الـ Softmax: لتشكيل التنوع بنشاط أثناء التدريب، يقدم المؤلفون منظم درجة حرارة الـ softmax المطبق على ناقلات الأهمية ($\sigma(\gamma)$) عبر الأعضاء لكل ميزة.
   $$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$$
   هنا، تعمل $\tau$ كمعامل درجة حرارة يحدد مستوى التوازن في المشاركة.

• $\tau$ منخفضة: تدفع التوزيع نحو "one-hot"، مما يجبر الميزات على أن تكون مملوكة لعضو واحد (أقصى تنوع، يشبه التقسيم الصلب).
• $\tau$ مرتفعة: تدفع التوزيع نحو التوزيع الموحد، مما يشجع المشاركة الكاملة للميزات.
• $\tau$ متوسطة: تخلق تخصيصًا "ناعمًا" بنمط "$M$-choose-$k$"، حيث يتم مشاركة الميزات بين مجموعة فرعية من $k$ من الأعضاء.
  على عكس قوة التنظيم القياسية ($\lambda$)، التي تحدد مدى قوة دفع الشبكة نحو هدف معين، فإن $\tau$ تختار أي حالة توازن سيستقر فيها النظام. وهذا يسمح للممارسين بتتبع جبهة الدقة-المعايرة عبر مسح قيم $\tau$.

3. عدم يقين التعديل (Modulation Uncertainty): يعيد المؤلفون صياغة عدم اليقين المعرفي (epistemic uncertainty) الذي تعبر عنه هذه المجموعة كـ عدم يقين تعديل. بما أن العمود الفقري مشترك وحتمي، فإن عدم اليقين ينشأ فقط من إعادة وزن الميزات المشتركة بواسطة معاملات التعديل. هذا يختلف بنيويًا عن عدم اليقين المستمد من اختلاف مستخرجات الميزات في المجموعات العميقة الكاملة.

المساهمات الرئيسية

• التنوع القابل للتحكم: تقدم الورقة أول آلية في عائلة المجموعات الضمنية لتشكيل تنوع الأعضاء أثناء التدريب عبر معامل واحد ($\tau$)، بدلاً من تثبيته عند التهيئة أو البناء. وهذا يتيح التنقل في جبهة باريتو للدقة والمعايرة.
• عدم يقين التعديل: يحدد المؤلفون ويعرفون "عدم يقين التعديل" كعنصر عدم اليقين المعرفي المحدد الذي تعبر عنه المجموعات ذات العمود الفقري المشترك. ويؤكدون أن عدم اليقين هذا يحافظ على المعايرة تحت فساد المدخلات، ولكنه يظهر قدرة أضعف على كشف البيانات خارج التوزيع (OOD) مقارنة بالمجموعات العميقة الكاملة، لأن العمود الفقري المشترك لا يمكنه التباين في المدخلات التي لا يشفرها.
• استقلالية البنية والكفاءة: من خلال العمل حصريًا على طبقات التطبيع، يمكن لـ $\sigma$N-Ens تطبيق نفسه على كل من البنى التلافيفية والمحولات (Transformers) دون إعادة تصميم جذرية. يمكنها تحويل النماذج سابقة التدريب الحالية إلى مجموعات معايرة عبر ضبط دقيق قصير، مما يتجنب الحاجة لتدريب الأعضاء من الصفر.

النتائج
تم تقييم الطريقة على CIFAR-10/100، وImageNet، وSST-2 باستخدام ResNets، وWideResNets، وVision Transformers (ViT).

• الأداء مقابل التكلفة: تضاهي $\sigma$N-Ens أو تتفوق على المجموعات العميقة من حيث الدقة واللوغاريتم السالب للاحتمالية (NLL) مع استخدام جزء ضئيل من عدد المعلمات (على سبيل المثال، في CIFAR-100 باستخدام WideResNet، تحقق دقة هي الأفضل في فئتها مع عدد أقل بكثير من المعلمات).
• القابلية للتوسع: على عكس طرق التقسيم (مثل Packed Ensembles) التي تتدهور وتنهار مع زيادة عدد الأعضاء ($M$) بسبب قيود السعة، تتوسع $\sigma$N-Ens بسلاسة. مع نمو $M$، تقوم آلية المشاركة الناعمة بتجميع السعة بفعالية، مما يسمح للأداء بالتحسن أو التشبع بدلاً من الانهيار.
• المعايرة تحت التحول: تحافظ الطريقة على معايرة قوية تحت تحول التوزيع (فساد المدخلات)، حيث يظل خطأ المعايرة المتوقع (ECE) ثابتًا تقريبًا مع زيادة شدة الفساد.
• كشف OOD: بما يتوافق مع التحليل النظري، فإن كشف OOD أضعف مقارنة بالمجموعات العميقة الكاملة، خاصة عند استخدام النماذج سابقة التدريب حيث يكون تمثيل الميزات ثابتًا. ومع ذلك، يتحسن أداء الكشف عند التدريب من الصفر، حيث تشكل الأعضاء التمثيل المشترك تحت ضغط التنوع.
• الحساسية لمعاملات الضبط: الأداء النهائي غير حساس إلى حد كبير لقوة التنظيم $\lambda$ بمجرد التقارب، مما يجعل $\tau$ هو المعامل الحرج الوحيد الذي يجب على الممارسين ضبطه.

الأهمية
تجادل الورقة بأن التحكم في التنوع يحول المجموعات الضمنية من خيار معماري ثابت إلى نظام ديناميكي قابل للضبط. ومن خلال فصل التنوع عن التهيئة والبنية، توفر $\sigma$N-Ens بديلًا عمليًا لتدريب المجموعات العميقة الكاملة، خاصة مع ازدياد أحجام النماذج. إن القدرة على تحويل نموذج واحد سابق التدريب إلى مجموعة معايرة عبر ضبط دقيق قصير تعالج فجوة كبيرة في نشر التعلم العميق المدرك لعدم اليقين في المجالات محدودة الموارد أو الحساسة للمخاطر. يوضح العمل المقايضات المتأصلة في المجموعات ذات العمود الفقري المشترك، ويربط صراحة بين القصور الهيكلي (مستخرجات الميزات المشتركة) وبين الضعف الملحوظ في كشف OOD، مع تسليط الضوء على قوة المعايرة المتينة.