ملخص تقني: التدريب التنبؤي المتكيف مع الفئات (CaCT)

بيان المشكلة

تنتج الشبكات العصبية العميقة في كثير من الأحيان تقديرات احتمالية غير موثوقة، وغالباً ما تظهر ثقة مفرطة في تنبؤاتها. وبينما توفر التنبؤات التوافقية (Conformal Prediction - CP) إطاراً مبدئياً لتقدير عدم اليقين مع ضمانات تغطية صارمة وخالية من التوزيع، فإن الطرق الحالية تواجه قيوداً كبيرة في الكفاءة والقدرة على التكيف.

غالباً ما تولد طرق CP القياسية، خاصة تلك المطبقة بعد عملية التدريب (post-hoc)، مجموعات تنبؤ تحتوي على فئات كثيرة جداً (أي أنها غير معلوماتية رغم صحتها). ولمعالجة ذلك، تعمل طرق التدريب التوافقي (Conformal Training - CT) مثل ConfTr على دمج أهداف CP مباشرة في عملية التدريب لتقليل أحجام مجموعات التنبؤ. ومع ذلك، تعاني طرق CT الحالية من خللين حرجين:

1. التنظيم غير المتكيف مع الفئات: فهي تستخدم عادةً معلمة فائقة (hyperparameter) عالمية واحدة لمعاقبة أحجام مجموعات التنبؤ عبر جميع الفئات. هذا الصياغة الجامدة تفشل في مراعاة الاختلافات الجوهرية في صعوبة الفئات.
2. عدم الكفاءة في السيناريوهات غير المتوازنة: في التوزيعات ذات الذيول الطويلة (Long-tailed distributions) -وهي شائعة في التطبيقات الواقعية- تؤدي العقوبة العالمية إلى أداء دون المستوى. فهي غالباً ما تؤدي إلى مجموعات تنبؤ متحفظة للغاية (كبيرة) للفئات غير الممثلة كفاية (الذيل)، بينما تفشل في تحسين أداء فئات الرأس (head classes) بشكل كافٍ، مما يقلل من الكفاءة والقدرة على التكيف بشكل عام.

المنهجية

يقترح المؤلفون التدريب التنبؤي المتكيف مع الفئات (Class Adaptive Conformal Training - CaCT)، وهو إطار عمل يعيد صياغة التدريب التوافقي كمسألة تحسين باستخدام "مضاعف لاغرانج المعزز" (Augmented Lagrangian optimization). يعمل هذا النهج على تعلم أوزان العقوبة الخاصة بكل فئة بشكل متكيف دون الحاجة إلى معرفة مسبقة بتوزيع البيانات.

1. القيود المشروطة بالفئة

بدلاً من فرض قيد هامشي على متوسط حجم المجموعة عبر جميع نقاط البيانات، يقدم CaCT عدد $K$ من القيود (واحد لكل فئة $k \in \mathcal{Y}$). الهدف هو تقليل خسارة التصنيف $L_{cls}(\theta)$ بشرط ألا يتجاوز الحجم المتوقع للمجموعة لكل فئة $k$ قيمة مستهدفة $\eta$:
$$\min_{\theta} L_{cls}(\theta) \quad \text{s.t.} \quad |C_\theta(X)| \le \eta, \quad \text{a.s. } X \sim P_{X|Y=k}$$

2. استراتيجية مضاعف لاغرانج المعزز (ALM)

لحل مسألة التحسين المقيدة هذه دون الحاجة لضبط يدوي لـ $K$ من أوزان العقوبة المنفصلة (وهو أمر غير ممكن في مجموعات البيانات ضخمة الحجم مثل ImageNet)، يستخدم CaCT طريقة "مضاعف لاغرانج المعزز" المعدلة.

• إعادة صياغة الهدف: يتم تحويل المسألة المقيدة إلى مسألة غير مقيدة باستخدام دالة عقوبة $P$ (تحديداً دالة PHR) تتم معالجتها بواسطة مضاعفات لاغرانج $\lambda_k$ ومعاملات العقوبة $\rho_k$ لكل فئة.
• تعلم الأوزان المتكيف:
  • الحلقة الداخلية (Primal): يتم تحديث معلمات النموذج $\theta$ عبر التدرج الاشتقاقي العشوائي لتقليل خسارة التصنيف بالإضافة إلى حدود العقوبة الحالية.
  • الحلقة الخارجية (Dual): يتم تحديث مضاعفات لاغرانج $\lambda_k$ ومعاملات العقوبة $\rho_k$ بناءً على انتهاك القيود الخاصة بكل فئة الملاحظ في مجموعة التحقق (validation set).
  • الآلية: إذا انتهكت فئة معينة قيد الحجم الخاص بها (أي أن متوسط حجم المجموعة كبير جداً)، يزد පيد مضاعف لاغرانج $\lambda_k$ الخاص بها، مما يقوي العقوبة لتلك الفئة في التكرارات اللاحقة. وعلى العكس من ذلك، إذا تم استيفاء القيد، تنخفض العقوبة. وهذا يسمح للنموذج بتعلم المقايضة المثلى بين الدقة والتوافقية لكل فئة على حدة.

3. القابلية للاشتقاق

لتمكين التدريب من البداية إلى النهاية (end-to-end)، يتم تنعيم المكونات غير القابلة للاشتقاق في CP (دالة المؤشر لحجم المجموعة والكمية التجريبية) باستخدام دالة سيجمويد (sigmoid) وتقنيات فرز قابلة للاشتقاق. وبينما يعمل هذا التنعيم على تخفيف ضمان التغطية الهامشية أثناء التدريب، يشير المؤلفون إلى أن الضمان الرسمي يتم استعادته عند الاختبار من خلال العودة إلى التنفيذ الأصلي غير الناعم.

المساهمات الرئيسية

1. إطار العمل المتكيف مع الفئات: تقديم CaCT، الذي يستبدل أوزان العقوبة العالمية بمضاعفات خاصة بكل فئة، مما يمكن النموذج من التكيف مع الصعوبة والتردد الخاص لكل فئة.
2. تحسين لاغرانج المعزز: تطوير خوارزمية ALM معدلة تتعلم تلقائياً أوزان العقوبة المثلى لكل فئة أثناء التدريب، مما يلغي الحاجة إلى الضبط اليدوي للمعلمات الفائقة أو الافتراضات التوزيعية المسبقة.
3. المتانة تجاه عدم التوازن: إثبات أن CaCT يخفف بفعالية من مشكلات التوزيعات ذات الذيول الطويلة، حيث ينتج مجموعات تنبؤ أصغر للفئات غير الممثلة كفاية مع الحفاظ على التغطية، وهي قدرة تفتقر إليها الطرق السابقة مثل ConfTr وCUT وDPSM.

النتائج التجريبية

قام المؤلفون بتقييم CaCT على عدة اختبارات، بما في ذلك تصنيف الصور القياسي (MNIST, CIFAR-10/100, ImageNet)، والمتغيرات ذات الذيول الطويلة (MNIST-LT, CIFAR-LT, ImageNet-LT)، وتصنيف النصوص (20 Newsgroups).

• الكفاءة: ينتج CaCT باستمرار مجموعات تنبؤ أصغر بكثير في المتوسط مقارنة بطرق التدريب التوافقي الحديثة (ConfTr, CUT, InfoCTr, DPSM) عبر جميع مجموعات البيانات.
• فجوة التغطية: في سيناريوهات الذيول الطويلة، يحقق CaCT أدنى فجوة تغطية (الانحراف عن التغطية المستهدفة $1-\alpha$ لكل فئة)، مما يشير إلى تغطية شرطية فائقة للفئات. تفشل الطرق الموجودة غالباً في الحفاظ على التغطية للفئات ذات الذيول، مما يؤدي إلى أحجام مجموعات كبيرة.
• الأداء التمييزي: يحافظ CaCT على أو يحسن دقة Top-1 وTop-3 مقارنة بالنماذج المرجعية، مما يثبت أن تقليل حجم المجموعة لا يأتي على حساب القدرة التنبؤية.
• المتانة: تظهر الطريقة متانة عبر عوامل عدم التوازن المتنوعة ($\gamma$) ومستويات عدم التغطية المختلفة ($\alpha$) عند الاختبار. كما تعمل بشكل جيد مع درجات عدم التطابق المختلفة (THR, APS, RAPS).
• الحساسية للمعلمات الفائقة: على عكس الطرق الموجودة التي تتسم بحساسية عالية لاختيار وزن التنظيم العالمي $\lambda$، فإن آلية التعلم المتكيفة في CaCT تجعلها غير معتمدة على هذا الضبط المحدد، مما يسهّل عملية النشر.

الأهمية

يزعم البحث أن CaCT يعالج عيباً جوهرياً في التدريب التوافقي: عدم القدرة على التعامل مع كفاءة الفئات المشروطة في مجموعات البيانات المعقدة وغير المتوازنة. ومن خلال صياغة المسألة كمهمة تحسين متكيفة، يُمكّن CaCT من بناء مجموعات تنبؤ تكون صالحة إحصائياً ومعلوماتية عملياً، لا سيما في السيناريوهات عالية المخاطر التي تتضمن توزيعات ذات ذيول طويلة حيث تُهمل فئات الأقلية غالباً. يجسّر هذا العمل الفجوة بين ضمانات التغطية النظرية والكفاءة العملية، ويقدم حلاً قابلاً للتوسع لنشر أنظمة التعلم العميق المدركة لعدم اليقين في العالم الحقيقي.