🤖 machine learning

Channel-Level Semantic Perturbations: Unlearnable Examples for Diverse Training Paradigms

تحدد هذه الورقة البحثية أوجه القصور في الأمثلة غير القابلة للتعلم الحالية في ظل نموذج ما قبل التدريب والضبط الدقيق نتيجة للترشيح الدلالي بواسطة الطبقات المجمدة، وتقترح استراتيجية "تمويه دلالي ضحل" (Shallow Semantic Camouflage) جديدة للحفاظ بفعالية على عدم قابلية تعلم البيانات عبر إعدادات تدريب متنوعة.

المؤلفون الأصليون: Bo Wang, Jia Ni, Mengnan Zhao, Zhan Qin, Kui Ren

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bo Wang, Jia Ni, Mengnan Zhao, Zhan Qin, Kui Ren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

المشكلة الكبيرة: معضلة البيانات "المسمومة"

تخيل أن لديك مجموعة من صورك الشخصية، وأنت قلق من أن تقوم شركة ما بسرقتها لتدريب ذكاء اصطناعي دون إذنك. لمنع حد ذلك، قررت "تسميم" الصور؛ حيث أضفت ذرات غبار غير مرئية (اضطرابات) إلى الصور. بالنسبة للعين البشرية، تبدو الصور مثالية، ولكن بالنسبة للذكاء الاصطناعي، تعمل هذه الذرات ككتيب تعليمات مليء بالأخطاء يربك الكمبيوتر، مما يجعله غير قادر على تعلم أي شيء مفيد من صورك. يُطلق على هذا اسم إنشاء الأمثلة غير القابلة للتعلم (Unlearnable Examples - UEs).

لفترة طويلة، نجحت هذه الحيلة بشكل رائع عندما كان الذكاء الاصطناعي يتعلم من الصفر، مثل طفل يتعلم التعرف على القطط لأول مرة. لقد نجح "الغبار" في إرباك الطفل بنجاح.

التهديد الجديد: الذكاء الاصطناعي "الذكي" (ما قبل التدريب)

ومع ذلك، تغير العالم. معظم أنظمة الذكاء الاصطناعي الحديثة لم تعد أطفالاً؛ بل هي بالغون درسوا بالفعل ملايين الصور الأخرى (عملية تُسمى ما قبل التدريب - Pretraining). عندما يريد طرف سيئ استخدام صورك، فإنه لا يبدأ من الصفر، بل يأخذ هذا الذكاء الاصطناعي "البالغ الذكي"، ويقوم بتجميد معرفته الأساسية (مثل كيفية رؤية الحواف والأشكال)، ثم يحاول فقط تعديل الطبقات العليا لتعلم بياناتك الخاصة.

اكتشف البحث حقيقة صادمة: حيلة "الغبار" القديمة تفشل أمام هذه الأنظمة الذكية.

التشبيه: سماعات إلغاء الضجيج
تخيل أن "الغبار" الذي أضفته إلى صورتك هو صرخة حادة ومزعجة.

الذكاء الاصطناعي القديم (من الصفر): يشبه شخصاً لا يرتدي سماعات أذن. الصرخة عالية وغريبة جداً لدرجة أنها تمنعه من سماع الموسيقى (الصورة الفعلية) وتجعله مرتبكاً.
الذكاء الاصطناعي الذكي (ما قبل التدريب): يشبه شخصاً يرتدي سماعات رأس تقنية متطورة لإلغاء الضجيج. هذه السماعات مضبوطة لتجاهل الصرخات الحادة والغريبة لأنها تعرف أنها ليست جزءاً من الموسيقى الحقيقية. تعمل الطبقات المبكرة "المجمدة" للذكاء الاصطناعي كأنها هذه السماعات؛ فهي تقوم بتصفية "غبارك" وكأنه مجرد ضوضاء خلفية، ويتعلم الذكاء الاصطناعي صورتك بشكل مثالي رغم ذلك.

لماذا فشلت؟ ("عدم الاتساق الدلالي")

بحث المؤلفون في سبب حدوث ذلك، ووجدوا أن "الغبار" الذي أنشأته الطرق القديمة كان غير متسق دلالياً.

الصور الطبيعية: تحتوي على أنماط تشبه الحياة الواقعية (إشارات منخفضة التردد، مثل المنحنى الناعم لأذن قطة).
"الغبار" القديم: كان يتكون في الغالب من ضوضاء عشوائية (إشارات عالية التردد، مثل التشويش على شاشة التلفاز).

الطبقات المبكرة للذكاء الاصطناعي "الذكي" مدربة على حب المنحنيات الناعمة للحياة الواقعية وتجاهل تشويش التلفاز. لذا، عندما ينظر الذكاء الاصطناعي إلى صورتك "المسمومة"، تقول طبقته الأولى: "هذا التشويش لا ينتمي إلى هنا"، وتقوم بتصفيته قبل أن تراه بقية أجزاء الدماغ.

الحل: "التمويه الدلالي الضحل" (SSC)

اقترح المؤلفون طريقة جديدة لتسميم البيانات، أطلقوا عليها اسم التمويه الدلالي الضحل (Shallow Semantic Camouflage - SSC).

التشبيه: التنكر المثالي
بدلاً من إلقاء تشويش عشوائي على الذكاء الاصطناعي، تنشئ الطريقة الجديدة "غباراً" يبدو تماماً مثل الضوضاء الطبيعية.

تخيل أنك تحاول إدخال جاسوس إلى نادٍ مخصص لكبار الشخصيات (VIP).
الطريقة القديمة: يرتدي الجاسوس بدلة مهرج حمراء زاهية ويدخل وهو يصرخ، فيكتشفه الحارس (طبقة الذكاء الاصطفي المجمدة) فوراً بسبب عدم التناسق ويطرده.
الطريقة الجديدة (SSC): يرتدي الجاسوس بدلة رسمية (تكسيدو) تطابق تماماً نمط الحاضرين، ويدخل بهدوء. ينظر إليه الحارس ويفكر: "آه، نعم، هذا يتناسب مع قواعد اللباس، دعوه يدخل".

تُجبر الطريقة الجديدة "الغبار" على التوافق مع أنماط "الصورة الطبيعية". إنها تخدع "سماعات إلغاء الضوضاء" الخاصة بالذكاء الاصطناعي لتجعله يعتقد أن السم هو في الواقع جزء من الموسيقى. ولأن الذكاء الاصطناعي لا يستطيع تصفية هذا النوع من الضوضاء، فإن السم ينتقل إلى أعماق دماغ الذكاء الاصطناعي، مما يربك الطبقات العميقة ويوقف عملية التعلم بنجاح.

ماذا أثبتوا؟

اختبر المؤلفون هذه الطريقة الجديدة ضد أنظمة الذكاء الاصطناعي "الذكية" في سيناريوهات عديدة مختلفة:

مجموعات بيانات مختلفة: نجحت في مجموعات بيانات بسيطة (مثل CIFAR-10) ومعقدة (مثل Tiny-ImageNet).
بنيات ذكاء اصطناعي مختلفة: نجحت حتى عندما استخدم الطرف السيئ أنواعاً مختلفة من نماذج الذكاء الاصطناعي (ResNet, VGG, DenseNet).
فلاتر صارمة للغاية: حتى أنهم أنشأوا سيناريو يكون فيه الذكاء الاصطناعي بارعاً للغاية في تصفية الضوضاء (يسمى SF-Pretrain). وحتى في هذه الحالة، نجح سمهم "المتنكر" بينما فشلت الطرق القديمة تماماً.

الخلاصة

يكشف هذا البحث أن الطريقة القديمة لحماية البيانات (إضافة ضوضاء عشوائية غير مرئية) قد انكسرت أمام أنظمة الذكاء الاصطناي الحديثة المعتمدة على "ما قبل التدريب"، لأن الطبقات المبكرة للذكاء الاصطناعي تعمل كمرشح (فلتر) يزيل تلك الضوضاء.

لقد أصلح المؤلفون ذلك عبر ابتكار نوع جديد من الضوضاء التي تحاكي الهيكل الطبيعي للصور. وهذا يسمح لـ "السم" بالتسلل عبر فلاتر الذكاء الاصطناعي وحماية بياناتك بنجاح، حتى عندما يستخدم المهاجم ذكاءً اصطناعياً متطوراً للغاية.

ملخص تقني: الاضطرابات الدلالية على مستوى القنوات للأمثلة غير القابلة للتعلم

1. بيان المشكلة

يشكل الاستخدام غير المصرح به للبيانات الشخصية في تدريب النماذج تهديدًا كبيرًا للخصوصية، حيث يمكن للنماذج حفظ المعلومات الحساسة أو السماح للمهاجمين بإعادة بناء المحتوى الخاص. وقد برزت الأمثلة غير القابلة للتعلم (UEs) كآلية دفاع، حيث تقوم بدمج اضطرابات غير محسوسة في البيانات الحميدة لعرقلة تعلم الميزات، مما يمنع النماذج من التعميم على البيانات المحمية.

ومع ذلك، فإن أبحاث الأمثلة غير القابلة للتعلم الحالية تقيم فعاليتها بشكل أساسي في إعدادات التدريب من الصفر (from-scratch training). تحدد هذه الورقة فجوة حرجة: إذ لا يزال سلوك الأمثلة غير القابلة للتعلم تحت نموذج ما قبل التدريب والضبط الدقيق (Pretraining–Finetuning - PF) غير مستكشف إلى حد كبير. ويفترض المؤلفون أن انتشار نموذج PF في السيناريوهات الواقعية (حيث يستخدم المهاجمون الأوزان المدربة مسبقًا) قد يجعل الأمثلة غير القابلة للتعلم الحالية غير فعالة. وتحديدًا، تبحث الورقة فيما إذا كان تحميل وتجميد الأوزان المدربة مسبقًا، وخاصة في الطبقات الضحلة، يقوض قدرة الأمثلة غير القابلة للتعلم على منع التعلم غير المصرح به.

2. المنهجية

2.1 تحليل الثغرات

قام المؤلفون أولاً بتقييم منهجي لطرق الأمثلة غير القابلة للتعلم الحالية (مثل الضوضاء المقللة للخطأ، والأمثلة غير القابلة للتعلم القوية) تحت تكوينات مختلفة لنموذج PF. قاموا بتفكيك النموذج إلى بارامترات ضحلة مجمدة ( $\theta_f$ ) وبارامترات عميقة قابلة للتعلم ( $\theta_l$ ).

الملاحظة: يؤدي تجميد الطبقات الضحلة إلى إضعاف حماية الأمثلة غير القابلة للتعلم الحالية بشكل كبير. في بعض الحالات، ترتفع دقة الاختبار النظيفة للبيانات المحمية من حوالي 18% (في حالة التدريب من الصفر) إلى أكثر من 79% (في حالة PF مع تجميد الطبقات الضحلة).
اكتشاف الآلية: من خلال تحليل اتساق الميزات ومقاييس معدل انتقال الاضطراب (PTR)، وجد المؤلفون أنه بينما تنجح الاضطرابات في فصل الميزات في نماذج التدريب من الصفر، إلا أنها تفشل في الانتشار عبر الطبقات الضحلة المجمدة في نماذج PF.
فرضية التصفية الدلالية: تفترض الورقة أن الطبقات الضحلة المدربة مسبقًا تعمل كـ مرشحات دلالية (semantic filters). فالاضطرابات في الأمثلة غير القابلة للتعلم الحالية غير متسقة دلاليًا مع الصور الطبيعية (حيث توجد غالبًا في نطاقات التردد المتوسط إلى العالي)، بينما تم ضبط نوى (kernels) الطبقات الضحلة المدربة مسبقًا لتناسب دلالات الصور الطبيعية ذات التردد المنخفض. وبناءً على ذلك، تقوم الطبقات المجمدة بكبح هذه الاضطرابات "غير المتوافقة"، مما يسمح للنموذج بالتعلم من المحتوى الدلالي الأساسي رغم وجود الضوضاء.
التحقق: قدم المؤلفون التدريب المسبق المرتكز على الدلالة (SF-Pretrain)، والذي يجبر الطبقات الضحلة على استخراج تمثيلات دلالية أقوى. وتظهر النتائج أن SF-Pretrain يؤدي إلى تدهور أداء الأمثلة غير القابلة للتعلم القياسية، مما يؤكد أن التصفية الدلالية هي السبب الرئيسي للفشل.

2.2 الحل المقترح: التمويه الدلالي الضحل (SSC)

لتجاوز تأثير التصفية الدلالية، اقترح المؤلفون التمويه الدلالي الضحل (SSC)، وهو استراتيجية خداع هرمية.

المفهوم الجوهري: بدلاً من توليد ضوضاء غير متسقة دلاليًا (وبالتالي يتم تصفيتها)، يقوم SSC بتوليد اضطرابات دلالية على مستوى القنوات تتوافق مع المنطو (manifold) الدلالي للصور الطبيعية.
البنية: تستخدم الطريقة إطار عمل التحسين ثنائي المستوى (Bilevel Optimization):
1. الحلقة الداخلية (التثبيت الدلالي): يتم تدريب نموذج بديل على البيانات المضطربة. ومن الضروري إدخال خسارة التوافق الدلالي ( $R_{sem}$ )، والتي تقيد الميزات الضحلة للمدخلات المضطربة لتتطابق مع الميزات الضحلة لـ نموذج مرجعي مجمد (يعمل كمرساة دلالية). يضمن هذا بقاء الاضطراب ضمن الفضاء الفرعي لميزات الصور الطبيعية.
2. الحلقة الخارجية (التسميم): يتم تحديث الاضطراب $\delta$ لتقليل خسارة التصنيف للنموذج البديل، مما يضمن بقاء البيانات غير قابلة للتعلم.
الآلية: من خلال فرض التوافق الدلالي في الطبقات الضحلة، يتجاوز الاضطراب المرشح الدلالي. ثم يتم نقل "الخداع" إلى الطبقات العميقة القابلة للتعلم حيث يحاول النموذج تعلم الميزات الفاسدة، مما يؤدي إلى فشل في التعميم.

3. المساهمات الرئيسية

تحديد الثغرات بشكل منهجي: تقدم الورقة أول تحليل شامل يكشف أن الأمثلة غير القابلة للتعلم الحالية معرضة بشدة للاختراق تحت نموذج PF، وتحديدًا عند تجميد الطبقات الضحلة.
شرح الآلية: حددت الورقة عدم التطابق الدلالي كسبب رئيسي للفشل. وأثبت المؤلفون أن الطبقات الضحلة المجمدة تعمل كمرشحات دلالية تقمع الاضطرابات غير المتوافقة مع إحصائيات الصور الطبيعية (تم التحقق من ذلك عبر تحليل المجال الترددي وتجارب SF-Pretrain).
استراتيجية دفاع مبتكرة (SSC): اقترح المؤلفون استراتيجية خداع هرمية تولد اضطرابات دلالية على مستوى القنوات. ومن خلال محاذاة الاضطرابات مع الأولويات الدلالية للأوزان المدربة مسبقًا، يتجاوز SSC آلية التصفية.
التحقق التجريبي: أظهرت التجارب المكثفة على CIFAR-10 وCIFAR-100 وTiny-ImageNet أن SSC يحافظ على المتانة عبر نماذج تدريب متنوعة (التدريب من الصفر، PF القياسي، وSF-Pretrain) وعبر بنيات مختلفة (ResNet, DenseNet, VGG).

4. النتائج التجريبية

نموذج PF القياسي: تحت إعدادات PF القياسية (تجميد الطبقات الضحلة)، تعاني الطرق الحالية (مثل EMN وNTGA وAR) من انهيار شديد في الحماية، حيث تتجاوز دقة الاختبار النظيفة غالبًا 50-60%. في المقابل، يحافظ SSC على دقة منخفضة (على سبيل المثال، 31.56% في Tiny-ImageNet مقابل 60.77% لـ AR).
نموذج SF-Pretrain: حتى تحت إعداد SF-Pretrain الأكثر صرامة، حيث تشتد التصفية الدلالية، يتفوق SSC على جميع النماذج المرجعية. وبينما تشهد الطرق المرجعية انهيارًا شبه كامل لقدراتها الحمائية (ارتفاع الدقة إلى >80%)، يحتفظ SSC بقدرة كبيرة على عدم التعلم (الدقة ~55%).
تعدد البنيات والبيانات: يظهر SSC قدرة قوية على الانتقال. فالاضطرابات المولدة على بنية أو مجموعة بيانات واحدة تظل فعالة ضد النماذج التي تم بدء تشغيلها بأوزان أو بنيات مختلفة، متفوقة بذلك على طرق التوليد المدركة للأوزان التي تفرط في التخصيص لمعاملات محددة.
القابلية للتوسع: تتوسع الطريقة بفعالية مع تعقيد مجموعة البيانات، حيث تحافظ على دقة منخفضة في مجموعات البيانات عالية الدقة والمتنوعة دلاليًا مثل Tiny-ImageNet حيث تفشل الطرق الأخرى.

5. الأهمية والادعاءات

تدعي الورقة سد فجوة حرجة في مجال حماية خصوصية البيانات. وتجادل بأن المجتمع العلمي للتعلم الآلي، مع توجهه نحو التعلم بنقل الخبرة والنماذج المدربة مسبقًا، أصبحت تقنيات عدم التعلم الحالية عتيقة بسبب اعتمادها على عدم التطابق الدلالي الذي يسهل على المرشحات المدربة مسبقًا التخلص منه.

من خلال تقديم SSC، يوفر المؤلفون حلاً عمليًا يتكيف مع واقع مسارات التدريب الحديثة. يسلط العمل الضوء على أن الحماية الفعالة للبيانات في عصر التدريب واسع النطاق تتطلب اضطرابات ليست فقط غير محسوسة، بل متوافقة دلاليًا مع المرشحات المحددة لأوزان النموذج المستهدف. وهذا ينقل النموذج من "حقن الضوضاء" إلى "الخداع الهرمي"، مما يضمن بقاء حماية الخصوصية قوية حتى عندما يستخدم المهاجمون أوزانًا مدربة مسبقًا وقوية.