🤖 machine learning

Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training

تقدم هذه الورقة البحثية "التدريب الخصمي الموجه باتجاه المماس" (TART)، وهو إطار عمل مبتكر يعمل على تحسين الدقة في البيانات السليمة مع الحفاظ على المتانة الخصمية من خلال تعديل حدود الاضطراب تكيفيًّا بناءً على هندسة الفضاء المماسي للأمثلة الخصمية.

المؤلفون الأصليون: Bongsoo Yi, Rongjie Lai, Yao Li

نُشر 2026-04-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bongsoo Yi, Rongjie Lai, Yao Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تحسين دقة البيانات النظيفة عبر منظور الفضاء المماسي للتدريب العدائي" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: فخ "الإفراط في التصحيح"

تخيل أنك تقوم بتعليم روبوت التعرف على القطط والكلاب. تعرض عليه آلاف الصور، ولكن هناك مخترقاً مشاغباً ("الخصم") يبدأ بإضافة ذرات صغيرة غير مرئية من الضجيج إلى الصور؛ ذرات صغيرة جداً لا يراها البشر، لكنها كافية لخداع الروبوت وجعله يعتقد أن القطة هي كلب.

لإصلاح ذلك، تقرر تدريب الروبوت على هذه الصور "المخادعة". هذا ما يسمى التدريب العدائي (Adversarial Training). وهو يعمل بشكل رائع! يصبح الروبوت بطلاً خارقاً في مواجهة المخترقين.

ومع ذلك، هناك عقبة. ففي محاولته لمحاربة المخترقين، يصبح الروبوت مرتاباً (بارانويد). يبدأ بالإفراط في التصحيح؛ حيث يصبح مهووساً بالضجيج الصغير لدرجة أنه ينسى كيف يتعرف على قطة طبيعية عادية. وبالتالي، تنخفض دقته في التعرف على الصور العادية والنظيفة بشكل كبير.

تساءل مؤلفو هذه الورقة: هل يمكننا جعل الروبوت قوياً ضد المخترقين دون أن يجعله ذلك ينسى كيف يرى الأشياء الطبيعية؟

الفكرة الجديدة: "المنطوِ" و"المماس"

لحل هذه المشكلة، نظر المؤلفون إلى هندسة البيانات، واستخدموا مفهومين رئيسيين:

منطوِ البيانات (الجزيرة - The Manifold): تخيل أن جميع الصور الحقيقية والطبيعية (مثل القطط والكلاب الحقيقية) توجد على جزيرة ناعمة ومنحنية تطفو في محيط شاسع وعالي الأبعاد. هذه الجزيرة هي "المنطوِ" (Manifold)، حيث تعيش البيانات الحقيقية.
الفضاء المماسي (الأرض المسطحة - The Tangent Space): إذا وقفت على تلة منحنية، فإن الأرض تحت قدميك مباشرة تشعر وكأنها مسطحة. هذا السطح المسطح هو "الفضاء المماسي". وهو يمثل الاتجاه الذي يمكنك التحرك فيه مع البقاء على الجزيرة.
الاتجاه العمودي (المنحدر/الجرف - The Normal Direction): إذا خطوت خارج الأرض المسطحة، فأنت تخطو في الاتجاه "العمودي" — أي مباشرة خارج الجرف، بعيداً عن جزيرة البيانات الحقيقية.

الاكتشاف:
أدرك المؤلفون أنه عندما يصنع المخترقون صوراً "مخادعة"، فإنهم غالباً ما يدفعون الصورة خارج الجزيرة (إلى الاتجاه العمودي).

الاضطراب المماسي (Tangential Perturbation): التحرك على طول الجزيرة (مثل المشي حول القطة). هذا آمن؛ فالصورة لا تزال تبدو كقطة.
الاضطراب العمودي (Normal Perturbation): الخطو خارج الجزيرة (مثل السقوط في المحيط). هذا يخلق صورة غريبة وغير طبيعية لا تنتمي لعالم "القطط" أو "الكلاب".

خطأ التدريب القياسي:
يعامل التدريب العدائي القياسي جميع الصور "المخادعة" بنفس الطريقة. فهو يجبر الروبوت على التعلم من الصور التي سقطت خارج الجرف (المكونات العمودية الكبيرة). ومن خلال محاولة التعلم من هذه الصور غير الطبيعية و"الخارجة عن المنطوِ"، يتشتت فهم الروبوت ويشوه إدراكه لما تبدو عليه القطة الحقيقية، مما يدمر قدرته على التعرف على الصور النظيفة.

الحل: TART (التدريب العدائي الموجه بالاتجاه المماسي)

ابتكر المؤلفون طريقة جديدة تسمى TART. اعتبر TART بمثابة "فلتر ذكي" لبيانات التدريب الخاصة بك.

كيف يعمل TART (التشبيه):

تخيل أنك مدرب تدرب رياضياً:

التدريب القياسي: أنت تلقي بالرياضي في المحيط لتعليمه السباحة. يتعلم النجاة من الأمواج، لكنه يصاب بالإرهاق وينسى كيف يركض على الأرض (تنخفض دقة البيانات النظيفة).
TART: أنت تراقب كل موجة تواجه الرياضي.
- إذا كانت الموجة مجرد تموج بسيط على طول الشاطئ (مماسي)، تقول له: "رائع! تدرب على هذه الموجة. فهي تساعدك على أن تصبح أقوى دون مغادرة الشاطئ".
- إذا كانت الموجة عبارة عن تسونامي يسحبك إلى عرض البحر (عمودي)، تقول له: "توقف! هذا بعيد جداً عن الواقع. لا تتدرب على هذه الموجة تحديداً".

الآلية:

فحص الزاوية: لكل صورة "مخادعة"، يحسب TART الزاوية. هل الخدعة تدفع الصورة على طول "الجزيرة" (مماسي) أم بعيداً عنها (عمودي)؟
التدريب التكيفي:
- إذا كان الاضطراب مماسياً في الغالب (بقاء على الجزيرة)، يقول TART: "استخدم هذه الصورة للتدريب!"، وهذا يحافظ على قوة الروبوت.
- إذا كان الاضطراب عمودياً في الغالب (السقوط من الجزيرة)، يقول TART: "تجاهل هذه الخدعة. استخدم الصورة الأصلية والنظيفة بدلاً منها".

من خلال التدريب فقط على "الخدع الآمنة" التي تظل قريبة من الواقع، يصبح الروبوت قوياً ضد المخترقين دون أن يفقد عقله بشأن شكل القطة الحقيقية.

النتائج: أفضل ما في العالمين

اختبر المؤلفون هذه الطريقة على مجموعات بيانات مختلفة (مثل CIFAR-10 و Tiny ImageNet). وكانت النتائج مبهرة:

دقة البيانات النظيفة: حسن TART بشكل كبير قدرة الروبوت على التعرف على الصور العادية غير المخادعة مقارنة بالطرق القياسية.
القوة (Robustness): حافظ على قوة الروبوت ضد المخترقين تماماً مثل الطرق القياسية.
الشمولية: يعمل كترقية "إضافية" (Plug-in). يمكنك إضافة TART إلى أي طريقة دفاع موجودة، وسيجعلها أفضل.

الملخص

المشكلة: جعل الذكاء الاصطناعي قوياً ضد الهجمات عادة ما يجعله أسوأ في التعرف على الأشياء العادية.
السبب: التدريب القياسي يجبر الذكاء الاصطناعي على التعلم من صور "غريبة" لا تشبه البيانات الحقيقية (السقوط من "منطوِ" البيانات).
الحل (TART): نظام ذكي يتحقق مما إذا كانت الصورة "المخادعة" لا تزال قريبة من الواقع. إذا كانت كذلك، يتم التدريب عليها. وإذا كانت غريبة جداً، يتم تجاهل الخدعة واستخدام الصورة النظية.
النتيجة: ذكاء اصطناعي هو بطل خارق ضد المخترقين وعبقري في التعرف على العالم الحقيقي في آن واحد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين دقة البيانات النظيفة عبر منظور الفضاء المماسي للتدريب الخصمي".

1. بيان المشكلة

تُعد الشبكات العصبية العميقة (DNNs) عرضة بشكل كبير لـ الأمثلة الخصمية (adversarial examples)—وهي مدخلات تم تعديلها بضجيج غير محسوس مصمم للتسبب في خطأ في التصنيف. وبينما يُعد التدريب الخصمي (Adversarial Training - AT) هو الدفاع المعياري، إلا أنه يعاني من مقايضة جوهرية: فغالباً ما يؤدي تحسين المتانة ضد الهجمات إلى تدهور كبير في الدقة النظيفة (clean accuracy) (الأداء على البيانات غير المعدلة).

يفترض المؤلفون أن هذا الانخفاض في الدقة النظيفة يحدث لأن التدريب الخصمي القياسي يعامل جميع الاضطرابات الخصمية بالتساوي. ويجادلون بأن الاضطرابات التي تمتلك مكونات كبيرة في الاتجاه العمودي (normal direction) (المتعامد مع ماني فولد البيانات/المنطوِي) تشوه حد القرار بشكل مفرط، مما يجبر النموذج على تعلم سمات لا تعمم بشكل جيد على البيانات الطبيعية. وعلى العكس من ذلك، فإن الاضطرابات التي تقع أساساً ضمن الفضاء المماسي (tangent space) (على طول ماني فولد البيانات) تكون أقل ضرراً على الدقة النظيفة.

2. المنهجية: التدريب الخصمي الموجه بالفضاء المماسي (TART)

تقترح الورقة إطار عمل TART، وهو إطار مبتكر يستفيد صراحةً من هندسة ماني فولد البيانات لتوجيه التدريب الخصمي. الفكرة الجوهرية هي تفكيك الاضطرابات الخصمية إلى مكونات مماسية (tangential) وعمودية (normal) وتعديل حد الاضطراب بشكل تكيفي بناءً على هذا التفكيك.

الخطوات التقنية الرئيسية:

تقدير الفضاء المماسي:
- بما أن ماني فولد البيانات الحقيقي غير معروف لمجموعات البيانات الواقعية، يقوم TART أولاً بتدريب مشفر تلقائي (Autoencoder) (مشفر $E$ وفك تشفير $D$ ) لتعلم تمثيل منخفض الأبعاد للماني فولد.
- لكل عينة تدريب $x$ ، يتم تقدير الفضاء المماسي عن طريق أخذ عينات من النقاط في الفضاء الكامن، وفك تشفيرها، وإجراء تحليل المكونات الرئيسية (PCA) على الجوار الناتج. تشكل المكونات الرئيسية الـ $k$ الأولى أساس الفضاء المماسي عند $x$ .
- لتقليل العبء الحسابي، يتم حساب هذه الفضاءات المماسية ومصفوفات الإسقاط المقابلة لها وتخزينها مسبقاً قبل بدء التدريب.
حساب المكونات المماسية:
- بالنسبة لمثال خصمي مُولد $x^*$ ، يكون متجه الاضطراب هو $\delta = x^* - x$ .
- يتم حساب المكون المماسي (tangential component - $TC$ ) كمعيار لإسقاط $\delta$ على الفضاء المماسي المقدر:
  $TC = \|\Pi_A (x^* - x)\|$
  حيث $\Pi_A$ هي مصفوفة الإسقاط المشتقة من متجهات الأساس المماسي.
اختيار حد الاضطراب التكيفي:
- بدلاً من استخدام حد اضطراب موحد $\epsilon$ لجميع العينات، يقوم TART بتعيين حد محدد $\epsilon_i$ بناءً على مقدار المكون المماسي.
- الاستراتيجية: تستخدم الطريقة نهج العتبة القائم على الوسيط (median-based thresholding).
  - إذا كان $TC_i \ge \text{median}(TC)$ ، يتم تعيين الحد الأقصى للاضطراب $\epsilon_{max}$ للعينة (تُعامل كمثال خصمي قياسي).
  - إذا كان $TC_i < \text{median}(TC)$ ، يتم تعيين حد قدره $0 $للعينة (تُعامل كالصورة الأصلية النظيفة$ x_i$).
- يتجنب هذا الاختيار الثنائي الحاجة إلى إعادة توليد الأمثلة الخصمية بحدود متوسطة، مما يوفر وقت التدريب بشكل كبير.
هدف التدريب:
- يتم تدريب النموذج على المجموعة المختارة من الأمثلة (إما الصورة الأصلية النظيفة أو المثال الخصمي القوي) لتقليل خسارة التصنيف. هذا يعمل فعلياً على تصفية الأمثلة "خارج الماني فولد" (off-manifold) التي قد تشوه حد القرار.

3. المساهمات الرئيسية

إطار عمل مبتكر: يعد TART أول إطار عمل دفاعي خصمي يدمج صراحةً مفهوم الفضاء المماسي والاتجاه في حلقة التدريب الخصمي.
رؤية هندسية: يقدم المؤلفون أدلة تجريبية ونظرية على أن الأمثلة الخصمية ذات المكونات العمودية الكبيرة (البعيدة عن ماني فولد البيانات) هي السبب الرئيسي لانخفاض الدقة النظيفة في التدريب الخصمي القياسي.
تنفيذ عملي: يقترحون طريقة فعالة حسابياً لتقدير الفضاءات المماسية باستخدام المشفرات التلقائية وPCA، جنباً إلى جنب مع استراتيجيات لتقليل التعقيد في التخزين والوقت (مثل الحساب المسبق للمصفوفات واستخدام اختيار الحدود الثنائية).
الشمولية: تم تصميم TART كإطار عمل معياري يمكن دمجه بسلاسة مع طرق الدفاع الحالية (مثل TRADES وMART وGAIRAT) لتعزيز أدائها.

4. النتائج التجريبية

قيم المؤلفون TART على بيانات اصطناعية ومجموعات بيانات مرجعية:

البيانات الاصطناعية (نصف الكرة المحول - Transformed Hemisphere):
- في مجموعة بيانات محاكية حيث الفضاء المماسي معروف، تفوق TART باستمرار على خط الأساس "Reverse-TART" (الذي يعاقب المكونات المماسية).
- حقق TART دقة نظيفة ومتانة أعلى عبر مختلف الأبعاد ( $d$ )، وأعداد الفئات ( $c$ )، وحدود الاضطراب ( $\epsilon$ ).
CIFAR-10:
- الدقة النظيفة: رفع TART المدمج مع التدريب الخصمي القياسي (TART-AT) الدقة النظيفة من 81.53% (التدريب الخصمي القياسي) إلى 83.47%.
- المتانة: تم الحفاظ على المتانة ضد هجمات PGD20 وPGD40 وAutoAttack أو تحسينها قليلاً مقارنة بالنماذج المرجعية.
- التكامل: عند دمجه مع طرق الحالة الراهنة (SOTA) مثل TRADES وMART وGAIRAT، عزز TART باستمرار الدقة النظيفة (على سبيل المثال، رفع TART-TRADES الدقة النظيفة من 79.47% إلى 81.60%) دون التضحية بالمتانة.
Tiny ImageNet:
- أكدت التجارات على مجموعة البيانات الأكبر والأكثر تعقيداً هذه قابلية تعميم الطريقة. حقق TART-AT دقة نظيفة بلغت 53.19% مقارنة بـ 49.94% للتدريب الخصمي القياسي، مع الحفاظ على متانة مماثلة ضد الهجمات المختلفة.

5. الأهمية والخاتمة

تعالج هذه الورقة مشكلة "مقايضة المتانة والدقة" الحرجة في التعلم الآلي الخصمي من خلال تقديم منظور مدرك للهندسة (geometry-aware). من خلال إدراك أن ليس كل الاضطرابات الخصمية ضارة بالتساوي، يقوم TART بتصفية الاضطرابات التي تدفع البيانات بعيداً عن الماني فولد الطبيعي، مما يحافظ على قدرة النموذج على التعميم للبيانات النظيفة.

الأهمية:

تقدم نظري: ينقل التركيز من هوامش الفضاء المحيط إلى الهندسة الجوهرية لماني فولد البيانات.
تأثير عملي: يقدم حلاً جاهز للاستخدام (plug-and-play) يحسن أداء آليات الدفاع الحالية مع حد أدنى من العبء الحسابي (زاد وقت التدريب بنسبة ~1.24x فقط).
توجه مستقبلي: يفتح هذا العمل آفاقاً جديدة للدفاعات الموجهة هندسياً، مما يشير إلى أن الأبحاث المستقبلية يمكن أن تركز على حدود الاضطراب المثلى لكل عينة وتحليل نظري أعمق لهياكل الماني فولد في الفضاءات عالية الأبعاد.