Manifold-Constrained Adversarial Training for Long-Tailed Robustness via Geometric Alignment

ملخص تقني: التدريب الخصومي المقيد بالمنوع (Manifold-Constrained) لتعزيز المتانة في التوزيعات طويلة الذيل عبر المحاذاة الهندسية

1. بيان المشكلة

تظل الشبكات العصبية العميقة، رغم نجاحها في التعرف البصري، عرضة للاضطرابات الخصومية (Adversarial Perturbations). وبينما يعد التدريب الخصومي (AT) وسيلة دفاع رائدة، إلا أن فعاليته تتدهور بشكل كبير في ظل التوزيعات الفئوية طويلة الذيل (حيث تسود الفئات الرأسية/الرئيسية وتندر الفئات الذيلية). وفي مثل هذه الإعدادات، يعاني التدريب الخصومي القياسي من آليتين متلازمتين للفشل:

1. عدم المحاذاة الهندسية: يؤدي تحسين الفئات الرأسية المهيمن إلى ضغط فضاء الميزات، مما يقلص الهوامش بين الفئات ويخلق حدود قرار هشة وغير مستقرة.
2. الانجراف الخصومي بعيداً عن المنوع (Off-Manifold): بسبب ندرة عينات الذيل، يستغل التحسين الخصومي غير المقيد المناطق ذات الكثافة المنخفضة وغير المدعومة دلالياً في فضاء الميزات. يتسبب هذا في انجراف الأمثلة الخصومية بعيداً عن الدعم الدلالي الحقيقي للبيانات، مما يؤدي إلى حدود قرار زائفة وانهيار الهوامش المتينة للفئات الذيلية.

تعالج الأساليب الحالية هذه المشكلات بشكل أساسي عبر إعادة وزن الخسارة، أو موازنة الهامش، أو تقطير المعرفة. ومع ذلك، فإنها غالباً ما تفشل في تنظيم هندسة التمثيلات المتعلمة بشكل صريح أو ضمان الصلاحية الدلالية للأمثلة الخصومية.

2. المنهجية: التدريب الخصومي المقيد بالمنوع (MCAT)

يقترح المؤلفون إطار عمل موحد يسمى MCAT، يعالج كلاً من عدم التوازن الهندسي والصلاحية الدلالية من خلال آليتين متكاملتين:

أ. قيود المنوع الدلالي المشروط بالفئة
لمنع الانجراف الخصومي نحو المناطق منخفضة الكثافة، يقوم MCAT بتقييد الاضطرابات لتبقى قريبة من المناوعات الدلالية المشروطة بالفئة ($\mathcal{M}_y$) في فضاء الميزات.

• التنفيذ: بدلاً من استعادة المناوعات بشكل صريح، تستخدم الطريقة مولدات خفيفة الوزن مشروطة بالفئة $\{G_y\}$ (عبارة عن طبقات MLP) مدربة على رسم خرائط من الأكواد الكامنة إلى فضاء ميزات كل فئة. يتم تدريب هذه المولدات مسبقاً على الميزات النظيفة وتجميدها أثناء التدريب الخصومي.
• العقوبة: يتم حساب مقياس الانحراف عن المنوع $d_{\mathcal{M}_y}(u) = \min_z \|u - G_y(z)\|_2^2$ للمثيل $u$. تُطرح هذه العقوبة من الخسارة أثناء خطوة التعظيم الداخلي، مما يوجه البحث الخصومي نحو مناطق عالية الكثافة وصحيحة دلالياً.
• التحسين: يتم حل عملية التعظيم الداخلي باستخدام خوارزمية PGD المدعومة بالمنوع (MS-PGD)، والتي تقوم بإسقاط الاضطرابات مرة أخرى داخل ميزانية $\ell_\infty$ مع توجيه اتجاه البحث عبر تدرج المنوع.

ب. التنظيم الهندسي المستوحى من ETF
لمواجهة ضغط هوامش الفئات الذيلية، يفرض MCAT هندسة متوازنة في أوزان المصنف.

• التنفيذ: يتم تنظيم مصفوفة أوزان المصنف $W$ نحو هيكل إطار متساوي الزوايا متراص (ETF). ويتم ذلك عبر معاقبة الانحرافات في مصفوفة غرام $W^\top W$ عن الشكل $\alpha I + \beta \mathbf{1}\mathbf{1}^\top$.
• الأثر: يشجع هذا على الفصل الزاوي المنتظم بين جميع نواقل الفئات، مما يعظم الحد الأدنى للزاوية بين الفئات ($\theta_{\min}$) ويمنع الفئات الرأسية من الهيمنة على هندسة فضاء الميزات.

ج. الهدف الموحد
يجمع هدف التدريب بين خسارة المتانة القياسية، وعقوبة المنوع، والتنظيم الهندسي:
$$\mathcal{R}_{\text{MCAT}}(\Theta) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \left( \ell(f_\Theta(x+\delta), y) - \lambda d_{\mathcal{M}_y}(\phi_\Theta(x+\delta)) \right) \right] + \beta \mathcal{R}_{\text{geom}}(\Theta)$$
حيث يتحكم $\lambda$ في الاتساق الدلالي، ويتحكم $\beta$ في التوازن الهندسي.

3. التحليل النظري

تقدم الورقة نتيجتين نظريتين رئيسيتين:

1. الانفصال الهندسي يستلزم هامشاً متيناً: يثبت المؤلفون أن وجود زاوية دنيا أكبر بين الفئات ($\theta_{\min}$) يستلزم مباشرة حداً أدنى على الهامش المتين القابل للتحقق. وبما أن هيكل ETF يعظم $\theta_{\min}$، فإنه يوفر ضماناً قابلاً للإثبات للمتانة، لا سيما للفئات الذيلية التي تتعرض هوامشها للضغط بخلاف ذلك.
2. قيد المنوع يضبط المخاطر الخصومية: يوضح المؤلفون أن هدف MCAT يمثل حداً علوياً للمخاطر الخومية الحقيقية في المناطق الدلالية عالية الكثافة. تعمل عقوبة المنوع على كبح الانجراف بعيداً عن المنوع، مما يضمن تعلم المتانة ضمن مناطق دلالية صالحة بدلاً من العيوب منخفضة الكثافة.

4. النتائج التجريبية

أُجريت التجارب على معايير قياسية طويلة الذيل (CIFAR-10-LT، CIFAR-100-LT، Tiny-ImageNet-LT) مع نسب عدم توازن (IR) متنوعة.

• المتانة العامة: يتفوق MCAT باستمرار على نماذج التدريب الخصومي القياسية (TRADES, MART, AWP) والأسالب المتطورة في المسائل طويلة الذيل (RoBal, REAT, TAET, Self-Distillation) عبر جميع مجموعات البيانات وأنواع الهجمات (PGD-20, AutoAttack).
• أداء الذيل والتوازن: من المهم ملاحظة أن MCAT يحقق تحسينات كبيرة في متانة الفئات الذيلية والمتانة المتوازنة (متوسط الدقة لكل فئة) دون التضحية بالدقة النظيفة. على سبيل المثال، في CIFAR-100-LT (IR=100)، رفع MCAT متانة الذيل (Tail-AA) من حوالي 16% (في Self-Distill) إلى 20.0%.
• دراسات الاستئصال (Ablation Studies):
  • إضافة قيد المنوع وحده يعزز متانة الذيل بشكل كبير عبر تقليل الانجراف بعيداً عن المنوع.
  • إضافة المحاذاة الهندسية وحدها تحسن المقاييس المتوازنة عبر تصحيح الانحياز الهندسي.
  • الجمع بينهما يعطي أفضل النتائج، مما يؤكد ضرورة معالجة كلا المشكلتين.
• التحقق من الآلية: تؤكد التشخيصات التجريبية أن MCAT يحافظ على زوايا أكبر بين الفئات ويقلل بشكل كبير من الانجراف بعيداً عن المنوع مقارنة بالنماذج المرجعية، وهو ما يتوافق مع التنبؤات النظرية.

5. الأهمية والادعاءات

تدعي الورقة أن تحقيق المتانة الخصومية تحت التوزيعات طويلة الذيل يتطلب نهجاً مزدوجاً: تصحيح الهندسة لفضاء القرار وضمان الصلاحية الدلالية للأمثلة الخصومية.

• الحداثة: على عكس الأعمال السابقة التي تركز على تصميم الخسارة أو الاستدلالات التحسينية، يقوم MCAT بتنظيم هندسة التمثيل صراحة ويقيد الأمثلة الخصومية داخل المناوعات الدلالية.
• الرؤية: حدد المؤلفون "عدم المحاذاة الهندسية" و"الانجراف الخصومي بعيداً عن المنوع" كأسباب جوهرية لفشل المتانة في الإعدادات طويلة الذيل.
• الأثر: من خلال دمج التنظيم المستوحى من ETF مع قيود المنوع، يعمل MCAT على تثبيت حدود القرار ويعزز بشكل كبير موثوقية وعدالة النماذج المتينة للفئات الذيلية، مما يعالج فجوة حرجة في سيناريوهات النشر الواقعية حيث يسود عدم توازن البيانات.