ملخص تقني: ترويض الذيل الطويل: إعادة توازن التدريب الخصمي عبر الاضطراب التكيفي

بيان المشكلة

تُعد الشبكات العصبية العميقة (DNNs) معرضة بشدة للأمثلة الخصمية (Adversarial Examples)، حيث تؤدي الاضطرابات غير المحسوسة إلى تدهور أداء النموذج بشكل كبير. وبينما أصبح التدريب الخصمي (Adversarial Training - AT) استراتيجية الدفاع الأساسية، فإن الأبحاث الحالية تقيم الأداء بشكل أساسي على مجموعات البيانات المتوازنة (مثل CIFAR-10/100)، متجاهلة التحديات التي تفرضها توزيعات البيانات ذات "الذيل الطويل" (Long-tail) في العالم الحقيقي. في سيناريوهات الذيل الطويل، تهيمن فئة قليلة من "الرأس" (Head classes) على البيانات، بينما تكون غالبية فئات "الذيل" (Tail classes) ممثلة تمثيلاً ناقصاً.

عادة ما تُظهر النماذج المدربة على مجموعات بيانات ذات ذيل طويل ثقة مفرطة في فئات الرأس، مما يؤدي إلى ضعف التعميم على فئات الذيل. وفي البيئات الخصمية، تتفاقم هذه المشكلة لأن المهاجمين لا يتقيدون بتكرارات الفئات ويمكنهم استهداف فئات الذيل عمداً. تفشل الطرق الحالية للتدريب الخصمي طويل الذيل (مثل الجمع بين AT و Balanced Softmax Loss) غالباً في معالجة الترابط الحرج بين تحديثات النموذج وتوليد الأمثلة الخصمية. فالنماذج ذات الثقة المفرطة تنحاز للأمثلة الخصمية التي تولدها، والتي بدورها تفاقم عدم توازن الفئات، مما يخلق حلقة تغذية راجعة تقوض المتانة (Robustness).

المشكلة الجوهرية التي يتم معالجتها هي كيفية التخفيف من الهشاشة الخصمية وعدم توازن الفئات في آن واحد في توزيعات الذيل الطويل، وهو تحدٍ تجد طرق التدريب الخصمي التقليدية صعوبة في التعامل معه بسبب أهداف التدريب المنحازة والتطور غير المستقر للتوزيعات الخصمية.

المنهجية: RobustLT

يقترح المؤلفون RobustLT، وهو إطار عمل قابل للتركيب والتشغيل (Plug-and-play) مصمم لضبط الاضطرابات تكيفياً أثناء التدريب الخصمي. تعتمد هذه الطريقة على رؤى نظرية تشير إلى أن الاضطرابات يمكن أن تعالج كلاً من هشاشة النموذج وعدم توازن البيانات. يتكون RobustLT من مكونين رئيسيين:

1. موازنة الاضطراب لكل فئة (Class-wise Perturbation Balancing - CPB)

تعالج CPB هدف التدريب المنحاز الناتج عن عدم توازن الفئات. من الناحية النظرية، يوضح المؤلفون أن تخصيص شدات اضطراب مصممة جيداً لكل فئة يمكن أن يعيد موازنة هدف التدريب.

• الآلية: تخصص CPB شدة اضطراب أعلى للفئات الأقلية (الذيل) وشدة أقل للفئات الأكثرية (الرأس).
• الصيغة: تُعرف شدة الاضطراب $\epsilon_{y_i}$ للفئة $y_i$ كما يلي:
  $$\epsilon_{y_i} = (1 - \alpha)\epsilon + \tau \sqrt{\log K_{y_i}} \epsilon$$
  حيث $\epsilon$ هي الشدة الأساسية، و $K_{y_i}$ هو نسبة عدم التوازن لكل فئة بالنسبة للفئة الأكثر تكراراً، و $\alpha, \tau$ هما معاملات فائقة (Hyperparameters) تتحكمان في المستوى الأساسي والميل. تضمن الطريقة بقاء مقدار الاضطراب المتوقع محدوداً.
• الهدف: يعمل هذا الاضطراب التكيفي على إزاحة حد القرار (Decision Boundary) للتخفيف من الثقة المفرطة، مما يستعيد فعلياً هدف تدريب متوازن.

2. وزن التكرار الخصمي (Adversarial Iteration Weighting - AIW)

تعالج AIW التطور غير المستقر للتوزيعات الخصمية. يكشف التحليل النظري أن التحولات الكبيرة في التوزيع الخصمي بين دورات التدريب (والتي تُقاس بمسافة Wasserstein) تضعف المتانة.

• الآلية: تقدم AIW وزناً تكيفياً يزيد تدريجياً من شدة الاضطراب من 0 إلى الهدف $\epsilon_{y_i}$ عبر أول $\beta T$ من الدورات (حيث $T$ هو إجمالي عدد الدورات).
• الصيغة:
  $$\epsilon^{(t)}_{y} = \min\left\{ \frac{t-1}{\beta T}, 1 \right\} \cdot \epsilon_{y}$$
• الهدف: من خلال التحكم في شدة الاضطراب في المراحل الأولى من التدريب، تعمل AIW على استقرار تطور التوزيعات الخصمية، مما يضمن بقاء توزيع الأمثلة الخصمية المولدة عند الدورة $t$ قريباً من التوزيع عند الدورة $t-1$.

الرؤى النظرية

تقدم الورقة أساساً نظرياً لهذه الأساليب من خلال منظور التحسين عبر الإنترنت (Online Optimization) ومهمة تصنيف ثنائية مفاهيمية تتضمن سمات متينة وغير متينة:

1. محدودية التدريب الخصمي التقليدي (AT): تفشل طرق AT التقليدية في بيانات الذيل الطويل لأنها تقلل من هدف منحاز (مما يؤدي إلى متانة غير متساوية عبر الفئات) وتسمح بتحولات توزيع غير مستقرة بين الدورات.
2. جدوى التحسين المزدوج: يثبت المؤلفون وجود تقاطع غير فارغ بين شدات الاضطراب الممكنة المطلوبة لـ المتانة الخصمية (التي تعتمد على السمات المتينة) وتوازن الفئات (إزالة الانحياز في حد القرار).
3. توجيه الاضطراب: تشير النظرية إلى وجوب تخصيص شدة اضطراب أعلى للفئة الأقلية مقارنة بالفئة الأكثرية، مع كون الفرق متناسباً مع $\sqrt{\log K}$، حيث $K$ هو نسبة عدم التوازن.

النتائج التجريبية

قيم المؤلفون RobustLT على نسخ ذات ذيل طويل من CIFAR-10 وCIFAR-100 وTinyImageNet باستخدام خوارزميات تدريب خصمي أساسية متنوعة (AT, AWP, RoBal, REAT, AT-BSL, TAET).

• الأداء: يحسن RobustLT باستمرار كلاً من الدقة الطبيعية والمتانة الخصمية مقارنة بالطرق المرجعية.
• تحسين فئات الذيل: لوحظت أكبر المكاسب في فئات الذيل. على سبيل المثال، في CIFAR-10-LT مع قاعدة AT-BSL، حسن RobustLT دقة الذيل الخصمية من 28.60% إلى 35.98%.
• المتانة تجاه الهجمات: تُظهر الطريقة تحسينات متسقة ضد استراتيجيات هجوم مختلفة، بما في ذلك PGD وCW وAutoAttack.
• دراسات الاستئصال (Ablation Studies): يؤكد تحليل الحساسية أن كلاً من CPB (التي يتحكم بها $\alpha$) وAIW (التي يتحكم بها $\beta$) ضروريان. تقوم CPB بمعالجة انحراف الهدف، بينما تعمل AIW على استقرار تطور التوزيع. ويؤدي الجمع بينهما إلى تحقيق مقايضة أفضل بين الدقة الطبيعية والمتانة مقارنة باستخدام أي منهما بمفرده.

الأهمية والادعاءات

تزعم الورقة أن RobustLT يقدم تقدماً كبيراً في مجال المتانة الخصمية للتطبيقات الواقعية من خلال:

1. تحدي الافتراضات: تتحدى الورقة الافتراض بأن البيانات الخصمية ترث بطبيعتها نفس عدم توازن الفئات الموجود في البيانات النظيفة، وتوضح أن الاضطرابات يمكن استخدامها لإعادة موازنة التوزيع.
2. التوحيد النظري: توفر أول إثبات نظري لإمكانية أن تعالج الاضطرابات الخصمية في آن واحد كلاً من الهشاشة النموذجية وعدم توازن البيانات، مع استنباط إرشادات محددة لشدة الاضطراب التكيفي.
3. المنفعة العملية: كإطار عمل قابل للتركيب والتشغيل، يتوافق RobustLT مع مختلف خوارزميات التدريب الخصمي الحالية، مما يجعله حلاً عملياً لتحسين المتانة في سيناريوهات الذيل الطويل دون الحاجة إلى تغييرات جذرية في مسارات التدريب الحالية.

يخلص المؤلفون إلى أنه من خلال ضبط الاضطراب تكيفياً عبر التحكم في كل من الفئة والدورة، ينجح RobustLT في التخفيف من الثقة المفرطة الناتجة عن بيانات الذيل الطويل، محققاً مقايضة متفوقة بين المتانة الخصمية وتوازن الفئات.