Duality for the Adversarial Total Variation

إليك ملخص تقني مفصل لورقة البحث بعنوان "الثنائية للتباين الكلي العدائي" (Duality for the Adversarial Total Variation) من تأليف ليون بونجيرت ولوكاس شميت.

1. بيان المشكلة

تتناول الورقة الأسس الرياضية للتعلم العدائي (Adversarial Training) للمصنفات الثنائية. يتم صياغة التعلم العدائي كمسألة تحسين قوية (Robust Optimization) تهدف إلى تقليل أسوأ حالة للخسارة فوق كرة اضطراب $B_\varepsilon(x)$ حول كل نقطة بيانات:
$$\inf_{u \in \mathcal{H}} \mathbb{E}_{(x,y)\sim\mu} \left[ \sup_{\tilde{x} \in B_\varepsilon(x)} \ell(u(\tilde{x}), y) \right]$$
أثبتت الأعمال السابقة (تحديداً [8]) أن هذه المسألة، بالنسبة للتصنيف الثنائي مع خسارة 0-1، تكافئ تقليل مخاطرة منظمة تتضمن دالة التباين الكلي العدائي غير الموضعي (Nonlocal Adversarial Total Variation)، والتي يُرمز لها بـ $\nu\text{-}TV_\varepsilon(u)$.

التحدي الرياضي الجوهري هو أن وجود الـ "supremum" (الحد الأعلى) في دالة الهدف يدمر قابلية الاشتقاق، مما يجعل التحسين القائم على التدرج القياسي أمراً صعباً. علاوة على ذلك، فإن الطبيعة غير الموضعية للدالة (التي تتضمن الـ essential suprema/infima فوق الكرات) تعقد اشتقاق شروط الأمثلية (الـ subgradients).

يهدف المؤلفون إلى:

1. اشتقاق التمثيلات الثنائية (Dual Representations) للتباين الكلي العدائي غير الموضعي.
2. توصيف المُشتق تحت التدرج (Subdifferential) لهذه الدالة لتمكين تطوير شروط أمثلية صارمة وخوارزميات ثنائية-أصلية (Primal-Dual).
3. إثبات هذه النتائج في إطارين وظيفيين متميزين: الدوال المستمرة ($C_0(X)$) والدوال المحدودة جوهرياً ($L^\infty(\Omega)$).

2. المنهجية

يستخدم المؤلفون تقنيات من التحليل المحدب، نظرية القياس، ونظرية الثنائية. تنقسم المنهجية إلى جزأين رئيسيين بناءً على الفضاء الوظيفي الأساسي.

أ. الإطار الأول: الدوال المستمرة ($C_0(X)$)

• الفضاء: $X$ هو فضاء متري مناسب؛ الدوال مستمرة وتتلاشى عند اللانهاية ($C_0(X)$).
• استراتيجية الثنائية:
  • قام المؤلفون أولاً بثنائية الحد الأقصى والحد الأدنى النقطي فوق الكرة $B_\varepsilon(x)$ باستخدام مقاييس الاحتمال.
  • استخدموا مبرهنة الحد الأقصى القابلة للقياس (Measurable Maximum Theorem) لاستخراج مُنتخب قابل للقياس (Measable Selector)، مما يعرّف عائلة من مقاييس الاحتمال $\{m_x\}_{x \in X}$ تُعرف باسم المسار العشوائي (Random Walk) أو (Markov Kernel).
  • عرّفوا تدرجاً غير موضعي $\text{grad}_\varepsilon[u](x,y) = \frac{u(y)-u(x)}{\varepsilon}$ وتباعداً غير موضعي موزوناً مقابلاً $\text{div}^\varrho_\varepsilon[m]$.
  • تم وضع صيغة التكامل بالتجزئة: $\int u \, d(\text{div}^\varrho_\varepsilon[m]) = -\iint \text{grad}_\varepsilon[u] \, dm \, d\varrho$.
• توصيف الـ Subdifferential: ثبت أن الـ subdifferential هو مجموعة التباعدات غير الموضعية للمسارات العشوائية التي تحقق الحد الأقصى في الصيغة الثنائية. ونظراً لتماسك فضاء مقاييس الاحتمال (مبرهنة بروكوروف)، فإن الـ supremum يتحقق، ويتكون الـ subdifferential من مقاييس فعلية.

ب. الإطار الثاني: الدوال المحدودة جوهرياً ($L^\infty(\Omega)$)

• الفضاء: $\Omega \subset \mathbb{R}^N$ هو مجال محدب، والدوال تنتمي إلى $L^\infty(\Omega)$. هذا هو الفضاء الطبيعي للمُعظمات في مسألة التعلم العدائي.
• استراتيجية الثنائية:
  • قام المؤلفون أولاً بثنائية الـ essential supremum والـ infimum باستخدام دوال اختبار من $L^1(\Omega)$.
  • للتعامل مع نقص التماسك في $L^1$ وضمان القابلية للقياس المشتركة للتكامل المزدوج، حصروا دوال الاختبار في الدوال المستمرة في البداية، باستخدام حجة "الاعتصار والتنعيم" (Squeezing and Mollification) لتقريب دوال $L^1$ العامة.
  • عرّفوا مجموعة من دوال الاختبار $\Psi \in L^1(\Omega \times \Omega)$ التي تمثل الكثافات المشتركة.
  • تم تعريف مؤثر تباعد غير موضعي $\text{div}_\varepsilon$ يعمل على هذه الكثافات المشتركة.
• توصيف الـ Subdifferential:
  • على عكس حالة $C_0(X)$، فإن مجموعة التباعدات غير الموضعية ليست مغلقة في توبولوجيا الـ weak-* لـ $(L^\infty)^*$.
  • يتم توصيف الـ subdifferential كـ الإغلاق الضعيف-النجمي (Weak-* Closure) لمجموعة التباعدات غير الموضعية.
  • نظرًا لأن $L^\infty$ ليست قابلة للفصل (Separable)، فإن التقارب المتتالي غير كافٍ؛ لذا وصف المؤلفون الـ subdifferential باستخدام الشبكات (Nets) (وهي تعميم للتسلسلات) التي تتقارب في توبولوجيا الـ weak-*. وقد تم تحديد الفضاء المزدوج كفضاء المقاييس المضافة نهائياً ($ba$).

3. المساهمات الرئيسية

1. التمثيل الثنائي للتباين الكلي العدائي:
   تقدم الورقة صيغاً ثنائية صريحة للتباين الكلي العدائي في إطارين:

   • في $C_0(X)$: $\text{TV}_\varepsilon(u) = \max_{m \in \mathcal{M}} \left( -\int u \, d(\text{div}^\varrho_\varepsilon[m]) \right)$، حيث تمثل $m$ المسارات العشوائية.
   • في $L^\infty(\Omega)$: $\text{TV}_\varepsilon(u) = \sup_{\Psi \in \mathcal{P} \times \mathcal{P}} \left( -\int u \, \text{div}_\varepsilon[\Psi; \varrho] \, dx \right)$، حيث $\Psi$ هي الكثافات المشتركة.

2. المؤثرات غير الموضعية:
   يعرّف المؤلفون بدقة مؤثرات التدرج غير الموضعي والتباعد غير الموضعي التي تحقق هوية التكامل بالتجزئة بشكل مشابه للحالة الموضعية الكلاسيكية. كما أثبتوا أنه عندما تؤول $\varepsilon \to 0$، تتقارب هذه المؤثرات إلى المؤثرات التفاضلية الموضعية الكلاسيكية (التدرج والتباعد) تحت درجة معينة من الانتظام.

3. توصيف الـ Subdifferential:

   • بالنسبة لـ $C_0(X)$، يتم توصيف الـ subdifferential صراحة كمجموعة التباعدات غير الموضعية للمسارات العشوائية التي تعظم الدالة الثنائية.
   • بالنسبة لـ $L^\infty(\Omega)$، يتم توصيف الـ subdifferential كالإغلاق الضعيف-النجمي لتلك التباعدات، مما يتطلب استخدام الشبكات (Nets) بسبب نقص التماسك التسلسلي في الفضاء المزدوج لـ $L^\infty$.

4. مبرهنة الحد الأقصى القابلة للقياس المعدلة:
   تتضمن الورقة (في الملحق) إثباتاً لـ مبرهنة الحد الأقصى القابلة للقياس المعدلة للمراسلات ذات القيم المغلقة، وهو أمر بالغ الأهمية لإثبات وجود مُنتخبات قابلة للقياس في إطار $L^\infty$ حيث تفشل حجج التماسك القياسية.

4. النتائج الرئيسية

• المبرهنة 2 (إعادة الصياغة الثنائية لـ $C_0$): تثبت أن التباين الكلي العدائي هو الحد الأقصى للتكامل السالب لـ $u$ مقابل التباعد غير الموضعي لمسار عشوائي.
• المبرهنة 4 (إعادة الصياغة الثنائية لـ $L^\infty$): تثبت التمثيل الثنائي باستخدام الكثافات المشتركة $\Psi$ والتباعد غير الموضعي $\text{div}_\varepsilon$.
• النسبة 2.18 و 3.20: توفران الشروط الضرورية والكافية لتكون الدالة هي الـ subgradient للتباين الكلي العدائي في كلا الإطارين.
• النسبة 3.17: توضح اتساق المؤثرات غير الموضعية مع المؤثرات الموضعية الكلاسيكية عبر مفكوك تايلور، مبينة أن $\text{div}_\varepsilon[\varrho \cdot \text{grad}_\varepsilon[u]] \to \text{div}(\varrho \nabla u)$ عندما $\varepsilon \to 0$.

5. الأهمية والتوجهات المستقبلية

• الآثار الخوارزمية: تعد الصيغة الثنائية حجر الزاوية لـ الخوارزميات الثنائية-الأصلية (مثل خوارزمية Chambolle-Pock). من خلال إعادة صياغة مسألة التعلم العدائي كمسألة نقطة سد (Saddle-point problem) تتضمن التباعد غير الموضعي، يمهد المؤلفون الطريق لحلول عددية فعالة ومتقاربة إثباتياً للتعلم العدائي، متجاوزين طرق صعود التدرج الاستدلالية.
• الدقة النظرية: يوفر هذا العمل إطاراً تحليلياً محدباً صارماً للتعلم العدائي، مما يوضح بنية فضاء الحل وطبيعة شروط الأمثلية، والتي كانت غير محددة سابقاً بسبب عدم النعومة وعدم الموضعية.
• البحث المستقبلي: يقترح المؤلفون توسيع هذه النتائج لتشمل مقاييس مرجعية عامة (بدون كثافات)، وتدقيق توصيف الـ subdifferential عبر أزواج "Anzellotti" (للحصول على شروط نقطية)، وتطوير خوارزميات ثنائية-أصلية محددة بناءً على هذه التمثيلات الثنائية.

باختصار، تجسر هذه الورقة الفجوة بين الفهم النظري للصلابة العدائية والتطبيق الخوارزمي العملي من خلال توفير إطار ثنائي قوي لدالة التباين الكلي غير الموضعية.