🤖 machine learning

Feature-Space Smoothing: Certified Robustness of Deep Representations

تقترح هذه الورقة البحثية تنعيم فضاء الميزات (FS)، وهو إطار عمل للمتانة المعتمدة يقوم بتحويل مشفرات الميزات إلى نسخ منعمّة ذات حدود تشابه جيب التمام مضمونة تحت تأثير الاضطرابات، معززة بـ "معزز التنعيم الغاوسي" (GSB) القابل للتركيب والتشغيل لتحسين المتانة في نماذج مثل النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) دون الحاجة إلى إعادة التدريب.

المؤلفون الأصليون: Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك حارس أمن ذكي للغاية وعالي التقنية (نموذج تعلم عميق)، وهو بارع في التعرف على الأشخاص، والأشياء، والمشاهد. ومع ذلك، فإن لهذا الحارس نقطة ضعف سرية: إذا همس شخص ما بصوت خافت ومشوه في أذنه (مدخل ضار)، فقد يخطئ الحارس فجأة ويظن أن الباندا هي كلب، أو أن صديقاً هو غريب. ما يسميه الباحثون بـ الهجوم العدائي (Adversarial Attack).

تقدم هذه الورقة البحثية طريقة جديدة لجعل ذلك الحارس "مضاداً للرصاص" ضد هذه الهمسات، دون الحاجة إلى فصله وتوظيف حارس جديد. وقد أطلقوا على حلهم اسم تنعيم فضاء الميزات (Feature-Space Smoothing - FS).

إليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "آذان الحارس الحساسة"

نماذج التعلم العميق لا "ترى" الصورة فحسب؛ بل تترجمها إلى قائمة رياضية من الأرقام تسمى الميزة (Feature). فكر في هذه الميزة على أنها "الملاحظة الذهنية" الداخلية للحارس عما يراه.

الخلل: حالياً، إذا أضاف المهاجم القليل من "الضجيج" غير المرئي (Static) إلى صورة ما، فإن ملاحظة الحارس الذهنية تتعرض للتشويش التام. الملاحظة التي كانت تقول "باندا" تصبح فجأة أقرب رياضياً إلى "كلب".
الخطر: ولأن الملاحظة قد تشوهت، يتخذ الحارس قراراً خاطئاً.

2. الحل: درع "إلغاء الضجيج"

يقترح المؤلفون إحاطة الحارس بدرع خاص يسمى تنعيم فضاء الميزات (Feature-Space Smoothing).

كيف يعمل: بدلاً من النظر إلى الصورة تماماً كما هي، يجبر الدرع الحارس على النظر إلى الصورة من خلال "عدسة ضبابية" تضيف القليل من الضجيج العشوائي (Gaussian noise) إلى كل عرض.
السحر: إذا استطاع الحارس لاحقاً تحديد الكائن بشكل صحيح حتى أثناء النظر عبر هذه العدسة الضبابية، فهذا يثبت أن الكائن قوي (Robust). يضمن الدرع أنه مهما أضاف المهاجم من "ضجيج" (ضمن حد معين)، فإن ملاحظة الحارس الذهنية لن تنحرف بعيداً بما يكفي لتصبح كائناً آخر.
الضمان: تقدم الورقة "شهادة" رياضية (ضمان) تقول: "طالما أن الهجوم ليس أقوى من X، فإن الحارس لن يُخدع بالتأكيد".

3. المعزز: "معزز النعومة الغاوسية" (GSB)

كان هناك عقبة؛ فالدرع "الضبابي" القياسي لم يكن قوياً بما يكفي لأكثر الحراس تطوراً (مثل النماذج اللغوية الكبيرة متعددة الوسائط). كان الحراس لا يزالون حساسين للغاية تجاه الضجيج.

لذلك، بنى المؤلفون معززاً قابلاً للتوصيل والتشغيل يسمى معزز النعومة الغاوسية (Gaussian Smoothness Booster - GSB). فكر في هذا كأنه سدادات أذن عالية التقنية ووحدة تدريب دماغية يمكنك تركيبها على الحارس دون تغيير شخصيته.

الجزء (أ) (مزيل الضجيج): هذا يشبه سماعات إلغاء الضجيض التي تنظف الضجيج قبل أن يسمعه الحارس.
الجزء (ب) (الرابط/المحول): هذا مدرب يساعد دماغ الحارس على البقاء ثابتاً بعد سماع الضجيج، مما يضمن بقاء ملاحظته الذهنية متسقة.
النتيجة: لست بحاجة لإعادة تدريب الحارس بالكامل من الصفر (والذي قد يستغرق سنوات ويكلف ثروة). أنت فقط تقوم بتركيب هذا المعزز، وفجأة يصبح الحارس عصياً جداً على الهجمات.

4. إثبات من الواقع: اختبار "الباندا مقابل الكلب"

اختبر الباحثون هذا على عدة أنواع مختلفة من "الحراس" (نماذج مثل CLIP وSigLIP والنماذج الذكية الكبيرة مثل LLaVA).

الهجوم: حاولوا خداع النماذج بهجمات قوية وغير مرئية مصممة لتحويل صورة باندا إلى كلب، أو قرش إلى قطة.
النتيجة:
- بدون الدرع: كان من السهل خداع النماذج.
- مع الدرع (FS + GSB): ظلت النماذج ثابتة وصحيحة في تحديدها. حتى عندما استخدم المهاجمون أقوى الحيل الممكنة، ظل الحراس يحددون الباندا على أنها باندا بشكل صحيح.
- الشهادة: لم يكتفوا بالتخمين؛ بل أثبتوا رياضياً أن النماذج آمنة حتى حد معين.

5. لماذا هذا مهم؟

عادةً، جعل النموذج أكثر أماناً يجعله "أقل ذكاءً" (قد يفقد التفاصيل أو يرتبك بسبب الصور العادية). تُظهر هذه الورقة أنه يمكنك جعل النموذج أكثر أماناً وأكثر ذكاءً في آن واحد.

إنه يعمل على أنواع مختلفة من الذكاء الاصطناعي (التعرف على الصور، توليد النصوص، والجمع بينهما).
لا يتطلب إعادة بناء الذكاء الاصطناو من الصفر.
يوفر ضماناً رياضياً للسلامة، بدلاً من مجرد الأمل في نجاح الأمر.

باختة: تقدم هذه الورقة طريقة لوضع "حقل قوة" حول نماذج الذكاء الاصطناعي يضمن رياضياً عدم خداعها بواسطة التشوهات الخفية والضارة، مع الحفاظ على ذكائها للقيام بمهامها على أكمل وجه.

ملخص تقني: التنعيم في فضاء الميزات لضمان المتانة المعتمدة للتمثيلات العميقة

1. بيان المشكلة

تعد نماذج التعلم العميق الحديثة، وخاصة النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) مثل GPT-4 وGemini، فعالة للغاية ولكنها عرضة للهجمات العدائية. تقوم هذه الهجمات بحقن اضطرابات طفيفة وغير محسوسة في المدخلات النظيفة لإحداث تنبؤات خاطئة عن طريق تشويه التمثيلات الميزية. وبينما توجد دفاعات تجريبية (مثل التدريب العدائي)، إلا أنها تفتقر إلى ضمانات متانة رسمية وغالبًا ما تفشل أمام الخصوم التكيفيين الأقوى. علاوة على ذلك، فإن طرق الدفاع المعتمدة الحالية (مثل التنعيم العشوائي - Randomized Smoothing) مصممة أساسًا لمهام التصنيف ذات المخرجات المنفصلة، مما يجعل من الصعب تطبيقها على التمثيلات الميزية العامة، أو مهام الانحدار، أو عمليات فك الترميز المعقدة للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). كما أن إعادة تدريب النماذج الضخمة مسبقة التدريب لتحسين متانتها أمر مكلف حوسبيًا بشكل باهظ.

يتمثل التحدي الجوهري الذي يعالجه هذا البحث في تطوير إطار عمل دفاعي يوفر متانة معتمدة على مستوى تمثيل الميزات، ويظل قابلاً للتعميم عبر مختلف النماذج والمهام (بما في ذلك MLLMs)، ويتجنب الحاجة إلى إعادة تدريب النموذج أو الضبط الدقيق المكلف.

2. المنهجية

يتكون الحل المقترح من مكونين رئيسيين: التنعيم في فضاء الميزات (FS) ومعزز النعومة الغاوسية (GSB).

2.1 التنعيم في فضاء الميزات (FS)

إطار العمل FS هو إطار عام يحول مشفر الميزات القياسي $f_e$ إلى نسخة منعمة $\hat{f}_e$ عبر التنعيم الغاوسي.

الآلية: بالنسبة لمدخل $x$ ، يخرج المشفر المنعم توقع تمثيلات الميزات عبر توزيع غاوسي: $\hat{f}_e(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)}[f_e(x + \epsilon)]$ .
الضمان النظري: يضع المؤلفون حداً لتماثل جيب التمام للميزات (FCSB). لقد أثبتوا أنه تحت اضطرابات محدودة بـ $\ell_2$ ، فإن تشابه جيب التمام بين الميزة النظيفة والميزة المنعمة العدائية مضمون أن يكون فوق حد أدو ل معين.
نصف قطر الاعتماد (Certified Radius): يسمح هذا الحد باشتقاق نصف قطر اعتماد $R$ . إذا كان مقدار الاضطراب ضمن $R$ ، فإن تشابه جيب التمام بين الميزات النظيفة والعدائية مضمون أن يظل فوق عتبة معينة (مثل 0.5).
التمديد على مستوى التنبؤ: يمدد إطار العمل هذا الضمان من مستوى الميزة إلى الاعتماد على مستوى التنبؤ. بالنسبة للمهام التي يمكن تمثيل تنبؤاتها كمتجهات موحدة (مثل الاسترجاع، أو التصنيف القائم على النماذج الأولية)، يترجم FCSB إلى حد مضمون لتشابه جيب التمام بين التنبؤ العدائي والتنبؤ المستهدف.

2.2 معزز النعومة الغاوسية (GSB)

تعتمد الحدود النظرية لـ FS على درجة المتانة الغاوسية الجوهرية للمشفر الأساسي. غالبًا ما تمتلك المشفرات مسبقة التدريب متانة غاوسية محدودة، مما يؤدي إلى أنصاف أقطار اعتماد غير مثالية. لمعالجة ذلك دون إعادة تدريب العمود الفقري، يقترح المؤلفون GSB، وهو وحدة قابلة للتركيب والتشغيل (plug-and-play) تتكون من:

مزيل الضجيج الغاوسي ( $\mathcal{P}$ ): وحدة خفيفة الوزن (مثل U-Net) توضع قبل مشفر الميزات. يتم تدريبها لإعادة بناء المدخلات النظيفة من المدخلات المشوهة غاوسيًا، مما يخفف الضجيج قبل استخراج الميزات.
راسم النعومة المتبقي ( $\mathcal{M}$ ): وحدة توضع بعد استخراج الميزات. تعمل على تنقية الميزات المستخرجة لتعزيز المتانة مع الحفاظ على توزيع الميزات الأصلي. وهي تستخدم نهج التعلم المتبقي لضمان الاستقرار على المدخلات النظيفة.

استراتيجية التدريب: يتم تدريب GSB بطريقة ذاتية الإشراف باستخدام فقدان مقايضة المنفعة والمتانة. يظل مشفر العمود الفقري مجمدًا. يقوم مزيل الضجيج بتقليل فقدان إعادة البناء وفقدان اتساق الميزات، بينما يقوم الراسم بتقليل فقدان اتساق الميزات والتنظيم الإحصائي (للحفاظ على المتوسط والتباين) جنبًا إلى جنب مع فقدان الهوية للمدخلات النظيفة.

3. المساهمات الرئيسية

التنعيم في فضاء الميزات (FS): إطار دفاع عام يحول أي مشفر ميزات إلى نسخة منعمة ذات حد أدنى مثبت (FCSB) لتشابه جيب التمام بين الميزات النظيفة والعدائية تحت اضطرابات $\ell_2$ .
الاعتماد على مستوى التنبؤ: تمديد نظري يوضح كيف يمكن نقل ضمانات FCSB من مستوى الميزة إلى متانة مستوى التنبؤ للمهام التي تتضمن مخرجات متجه موحدة (مثل استرجاع Top-1، والتصنيف).
معزز النعومة الغاوسية (GSB): وحدة قابلة للتركيب والتشغيل تعزز درجة المتانة الغاوسية للمشفرات الموجودة دون ضبط دقيق للعمود الفقري، مما يحسن نصف قطر الاعتماد.
التقييم المنهجي: تجارب شاملة عبر مشفرات رؤية متنوعة (CLIP, SigLIP 2, EVA-CLIP) ونماذج MLLM (LLaVA, OpenFlamingo) تثبت أن FS يوفر متانة معتمدة غير تافهة ويحسن بشكل كبير الأداء التجريبي ضد الهجمات القوية ذات الصندوق الأبيض.

4. النتائج التجريبية

4.1 المتانة المعتمدة

على مستوى الميزة: في ImageNet، أدى دمج GSB مع FS إلى زيادة متوسط نصف قطر الاعتماد ( $R$ ) لـ FCSB $\geq 0.5$ بشكل كبير. على سبيل المثال، مع $\sigma=0.5$ ، زاد متوسط نصف القطر لـ CLIP من 0.101 إلى 0.455، ولـ SigLIP 2 من 0.134 إلى 0.514.
على مستوى التنبؤ: في تصنيف ImageNet، حقق FS دقة معتمدة مقاربة للتنعيم العشوائي (RS) التقليدي ولكن دون الحاجة إلى مصنف منعم منفصل. بالنسبة لـ SigLIP 2، حقق FS دقة معتمدة بنسبة 64.0% عند $\epsilon=1.00$ ، وهي نسبة مقاربة لـ RS (67.6%).
الاسترجاع: في استرجاع Zero-shot لـ MS COCO، وفر FS دقة معتمدة غير تافهة، رغم أن الهوامش كانت أضيق مقارنة بالتصنيف بسبب الطبيعة الكثيفة لتمثيلات النصوص.

4.2 المتانة التجريبية ضد هجمات الصندوق الأبيض

تم اختبار إطار العمل ضد أحدث هجمات الصندوق الأبيض (PGD, APGD, M-Attack, FOA, AttackVLM) على نماذج MLLM (LLaVA-1.5-7B, OpenFlamingo-9B) عبر مهام وصف الصور، التصنيف، وVQA.

وصف الصور: تحت هجوم FOA القوي، انخفضت دقة LLaVA الأصلية إلى 1%. مع FS، ارتفعت الدقة إلى 65%، وانخفض معدل نجاح الهجوم (ASR) من 94% إلى 6%. كما حسن FS متانة النماذج الأساسية المدربة عدائيًا (FARE, TeCoA) دون ضبط دقيق إضافي.
تصنيف الصور: رفع FS دقة LLaVA من 3.8% إلى 87.2% تحت هجمات FOA، مما قلل ASR من 81% إلى 0.2%.
VQA: حافظ FS على الدقة النظيفة (54.0%) مع تحسين الدقة في حالة الضجيج الغاوسي وتقليل ASR إلى ما يقرب من الصفر، بينما عانت نماذج التدريب العدائي (FARE, TeCoA) من تدهور كبير في الأداء النظيف.

4.3 الكفاءة

يتسبب التنعيم على مستوى الميزة في تكلفة استدلال أقل من تنعيم النموذج بالكامل. مع $n_0=8$ عينات غاوسية، زاد وقت الاستدلال لـ LLaVA بمقدار ~0.36 ثانية فقط لكل صورة، مما يثبت الجدوى العملية.

5. الأهمية والادعاءات

يزعم البحث أن التنعيم في فضاء الميزات (FS) يقدم تقدمًا كبيرًا من خلال نقل التركيز من مساحات المخرات الخاصة بالمهمة إلى مستوى التمثيل الميزي. وهذا يسمح بـ:

القابلية للتعميم: تنطبق الطريقة على مهام متنوعة (التصنيف، الاسترجاع، التوليد) دون تعديل رأس التنبؤ أو إعادة تدريب العمود الفقري.
التكامل القابل للتركيب والتشغيل: من خلال GSB، يمكن جعل النماذج الضخمة مسبقة التدريب (بما في ذلك MLLMs) متينة دون التكلفة الحوسبية لإعادة التدريب الكامل أو المحاذاة.
الضمانات المثبتة: يوفر حدودًا دنيا مثبتة رياضيًا لتشابه الميزات، والتي تترجم إلى استقرار التنبؤ، مما يوفر مستوى من الثقة تفتقر إليه الدفاعات التجريبية.

يقر المؤلفون بالقيود، مشيرين إلى أن الاعتماد الحالي يقتصر على الاضطرابات المحدودة بـ $\ell_2$ ويعتمد على قواعد اتخاذ القرار القائمة على تشابه جيب التمام، والتي قد لا تغطي جميع سلوكيات فك التشفيد المفتوحة في MLLM. تهدف الأعمال المستقبلية إلى توسيع إطار العمل ليشمل نماذج تهديد أخرى (مثل $\ell_\infty$ ، والهجمات الدلالية) ومهام توليد أوسع.