ملخص تقني: CalexNet

بيان المشكلة

غالبًا ما تفرض الشبكات العصبية التلافيفية (CNNs) تكالفتًا حسابيًا عاليًا، مما يحد من نشرها في البيئات ذات الموارد المحدودة. تعالج تقنية الاستدلال الانتقائي (Selective Inference - SI) عبر شبكات الخروج المبكر (early-exit networks) هذه المشكلة من خلال إلحاق فروع مساعدة بمتوسط الطبقات، مما يسمح للمدخلات "السهلة" بالخروج مبكرًا بينما تستمر المدخلات "الصعبة" في الانتقال إلى طبقات أعمق. ومع ذلك، في إعداد ما بعد التدريب (post-training setting) — حيث تُضاف فروع الخروج المبكر إلى عمود فقري مدرب مسبقًا ومجمد — يحدث عدم تطابق بين التدريب والاستدلال (إزاحة في المتغيرات التوضيحية/covariate shift) بشكل كبير.

تحدد الورقة ثلاثة مصادر محددة لهذا عدم التطابق التي تفشل الوصفات القياسية لما بعد التدريب في معالجتها:

1. عدم تطابق توزيع العينات: يتم تدريب الفروع اللاحقة على مجموعة البيانات الكاملة، ولكن عند الاستدلال، لا تستقبل إلا المجموعة الفرعية من العينات التي لم يتم تصنيفها بثقة من قبل الفروع السابقة.
2. عدم تطابق المعايرة: عادة ما تتم معايرة عتبات الدقة لكل فئة على مجموعة التحقق الكاملة، مما يؤدي إلى تضخيم الدقة الظاهرية لأنها تتضمن عينات "سهلة" كان من المفترض استبعادها بواسطة الفروع السابقة في مرحلة الإنتاج.
3. عد عدم تطابق توزيع الهدف: يستخدم التدريب القياسي لتقاطع الإنتروبيا (cross-entropy) الـ argmax الخاص بالعمود الفقري كهدف (pseudo-label). هذا يتجاهل بنية عدم اليقين ومعلومات التشابه بين الفئات التي تحتوي عليها توزيعات "softmax" الكاملة للعمود الفقري.

المنهجية: CalexNet

تقترح CalexNet (Cascade-Aligned Early eXits) تعديلًا يعتمد على وصفة التدريب فقط لسد هذه الفجوات الثلاث دون تغيير بنية وقت الاستدلال. تعتمد الطريقة على مبدأ موحد: محاذاة أهداف التدريب والمعايرة والتقطير مع تسلسل الاستدلال الفعلي.

1. وزن العينات المحاذي للتسلسل (Cascade-Aligned Sample Weighting)

بدلاً من التصفية الصارمة لبيانات التدريب (والتي قد تؤدي إلى تجويع البيانات للفروع اللاحقة)، تستخدم CalexNet أخذ عينات بأهمية موزونة باستمرار.

• الآلية: يتم تخصيص وزن $w_j^{l+1}$ لكل عينة $x$ للفرع $l+1$ بناءً على حاصل ضرب درجات الثقة لجميع الفروع السابقة: $w_j^{l+1} = \prod_{k=1}^{l} (1 - R_{\hat{C}_j^k}^k(x_j))$.
• الأثر: العينات التي تخرج بثقة من الفروع المبكرة تحصل على أوزان قريبة من الصفر، بينما تحصل العينات "الصعبة" (الناجية) على أوزان أعلى. يضمن هذا مطابقة توزيع التدريب لتوزيع الناجين في وقت الاستدلال دون التخلص من البيانات.

2. المعايرة المدركة للتسلسل (هامش دقة الفئة - CPM)

تقدم الورقة إجراء معايرة يقدر عتبات خروج كل فئة فقط على مجموعة فرعية من ناجي التسلسل من مجموعة التحقق.

• الآلية: بالنسبة لفئة $i$ وفرع $l$، تكون العتبة $T_i^l$ هي أصغر قيمة تحقق: $Prec_i^l(T_i^l) > (1 - m) \cdot \widehat{Prec}_i$، حيث $\widehat{Prec}_i$ هي دقة العمود الفقري و $m$ هو معلم فائق للهامش.
• الأهمية: هذا يمنع تضخم تقديرات الدقة الناتجة عن المعايرة على مجموعة البيانات الكاملة، مما يضمن أن تكون العتبات قوية تجاه عدم التوازن في الفئات الذي ينشأ في مجموعات الناجين.

3. هدف التصنيف المقطر (Distilled Classification Target)

لمعالجة فقدان معلومات عدم اليقين، يتم تدريب رأس التصنيف مقابل توزيع "softmax" الكامل للعمود الفقري بدلاً من تسمية الـ argmax.

• الآلية: تستخدم دالة الخسارة تباعد كولباك - ليبلر (KL divergence) الموزون بدرجة الحرارة: $\mathcal{L}_{class,KD} = T^2 \cdot KL(p_{branch}^T \parallel p_{backbone}^T)$، مع $T=4$.
• الأثر: ينقل هذا بنية التشابه بين الفئات من العمود الفقري إلى الفروع، مما يؤدي إلى درجات ثقة أكثر دقة وعتبات خروج أقل لنفس هدف الدقة.

4. بنية فرع خفيفة الوزن

تستخدم CalexNet رأس فرع مدمج يعتمد على النماذج الأولية (prototype-based) باستخدام التلافيف أحادية البعد (1D-conv). يقوم بتجميع خرائط الميزات باستخدام متجهات نماذج أولية متعلمة (تلافيف 1D) متبوعة بإسقاط غير خطي صغير (MLP) قبل التصنيف ورؤوس الثقة. يقلل هذا التصميم من عبء الاستدلال مع الحفاظ على القدرة التعبيرية على مجموعات الناجين الصغيرة.

المساهمات الرئيسية

1. إطار عمل موحد للمحاذاة مع التسلسل: مبدأ واحد ينتج ثلاثة تعديلات ملموسة (الوزن، المعايرة، التقطير) لمحاذاة التدريب مع الاستدلال.
2. تصميم فرع خفيف الوزن: بنية تعتمد على النماذج الأولية مدمجة تضيف حداً أدنى من العبء.
3. هامش دقة الفئة (CPM): إجراء معايرة يحدد عتبات الخروج تحت ظروف عدم التوازن في الفئات مع الحفاظ على الدقة النسبية لكل فئة مقارنة بالعمود الفقري.
4. التوصيف التجريبي: تقديم دليل يظهر أن تقلص المجتمع من خلال التسلسل يتركز على الفئات العليا "السهلة"، مما يترك ذيلاً طويلاً من الفئات الأصعب للعمود الفقري، وهو ما يبرر الحاجة إلى التدريب المحاذي للتسلسل.
5. منهجية جبهة باريتو (Pareto-Frontier): طريقة مقارنة تستخدم منحنى (الدقة مقابل تقليل العمليات الحسابية - FLOPs) الكامل (عبر مسح هامش CPM $m$) بدلاً من نقاط تشغيل واحدة، مما يزيل انحياز الاختيار.
6. تقييم شامل: دراسة مطابقة عبر عمود فقري من نوع ResNet18/ResNet50 ومجموعات بيانات CIFAR-100 (خشنة) / CINIC-10، بما في ذلك دراسات الاستئصال (ablation studies) والمقارنات مع PTEEnet و ZTW و BoostNet.

النتائج

تقيم الورقة CalexNet على CIFAR-100 (20 فئة عليا، أصعب) و CINIC-10 (10 فئات، أسهل).

• أداء باريتو: تضاهي CalexNet أو تتفوق على ثلاثة خطوط أساس منشورة (PTEEnet, ZTW, BoostNet) وعلى مرجع "بدون محاذاة، بدون تقطير" داخل الورقة على جبهة باريتو (الدقة مقابل تقليل العمليات الحسابية).
• النطاق الرئيسي: تحدث أكبر المكاسب في نطاق تقليل العمليات الحسابية بنسبة 30-70%، وهو النطاق ذو الصلة العملية.
• فقدان الدقة: في CIFAR-100 مع ResNet18، عند تقليل العمليات الحسابية بنسبة 40%، تقلل CalexNet فقدان الدقة إلى 4.1% مقارنة بـ 5.9% لخط الأساس "بدون محاذاة" و 7.7-8.8% للخطوط الأساسية الأخرى. عند تقليل بنسبة 70%، تتسع الفجوة (20.9% مقابل 23.5%+).
• الاستقرار: النتائج مستقرة عبر $n=3$ من بذور التدريب (training seeds)، مع انحرافات معيارية في فقدان الدقة تتراوح بين 0.003 و 0.021.
• الاستئصال (Ablation): تعزل الدراسة المساهمات، وتجد أن تقطير المعرفة (KD) هو المحرك المهيمن، بينما يعمل الوزن المحاذي للتسلسل كتحسين تصحيحي. الجمع بينهما هو تأثير "فوق-إضافي" (super-additive).

الأهمية والادعاءات

تدعي الورقة أن CalexNet هي حل جاهز للاستخدام (drop-in solution) لأي تسلسل خروج مبكر ذي عمود فقري مجمد يتطلب **لا تغييرات معمارية في وقت الاستد. تكمن أهميتها في:

• معالجة الإزاحة في المتغيرات التوضيحية: هي أول طريقة لما بعد التدريب تصحح صراحةً عدم تطابق توزيع التدريب والاستدلال الناتج عن هيكل التسلسل.
• الكفاءة: تحقق تقليلاً كبيراً في العمليات الحسابية (30-70%) مع حد أدنى من تدهور الدقة، متفوقة على الطرق التي تعتمد على التدريب المشترك أو التجميع المعقد في وقت الاستد.
• العملية: طريقة قوية عبر أعماق مختلفة للعمود الفقري (ResNet18 مقابل ResNet50) وصعوبة مجموعات البيانات، مما يجعلها مناسبة للنشر في العالم الحقيقي حيث يكون إعادة تدريب العمود الفقري غير ممكن.

يشير المؤلفون إلى القيود، بما في ذلك الطبيعة "المرة الواحدة" للمحاذاة (لا يوجد إعادة وزن تكرارية) والتركيز على الشبكات التلافيفية (CNNs) لتصنيف الصور، مما يشير إلى أن العمل المستقبلي يمكن أن يوسع هذه المبادئ لتشمل المحولات (transformers) ومهام التنبؤ الكثيف.