🤖 machine learning

A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

تقدم هذه الورقة البحثية وتتحقق من فئة جديدة من الأمثلة التنافسية حيث تتسبب الاضطرابات الكبيرة والمرئية في جعل البشر يخطئون في التعرف على الصور بينما تحتفظ النماذج بتنبؤات صحيحة، مما يثبت أن كواشف وخوارزميات الدفاع القياسية الخاصة بالبيانات خارج التوزيع (OOD) غير فعالة إلى حد كبير ضد هذه الفجوة بين الإنسان والنموذج.

المؤلفون الأصليون: Ali Borji

نُشر 2026-07-28

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ali Borji

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الحبر غير المرئي والنقطة العمياء

تخيل أنك تعلم روبوتًا التعرف على صور القطط والكلاب. تعرض عليه آلاف الصور، ويصبح بارعًا جدًا في ذلك. ولكن بعد ذلك، تكتشف خللاً غريبًا: إذا أضفت ذرة رقمية صغيرة غير مرئية من الضجيج إلى صورة قطة، سيعتقد الروبوت فجأة أنها كلب. هذا هو "المثال الخصمي" الكلاسيكي، وهي مشكلة شهيرة في عالم الذكاء الاصطناائي حيث تكون الآلات هشة بشكل مفاجئ أمام التغييرات الطفيفة التي لا يستطيع البشر حتى رؤيتها.

ولكن ماذا لو عمل هذا الخلل بطريقة عكسية؟ ماذا لو استطعت أخذ صورة لقطة، وشخبطت فوقها بكل مكان بقلم تحديد أحمر كبير وزاهٍ حتى تبدو كفوضى من الألوان، ومع ذلك يصر الروبوت، بثقة بنسبة 100%، قائلاً: "هذه بالتأكيد قطة"؟ في حين أن الإنسان الذي ينظر إلى نفس الفوضى المشخبطة لن يعرف ما الذي ينظر إليه. يستكشف هذا البحث هذا السيناريو بالضبط. إنه يسأل سؤالاً بسيطًا ولكنه مخيف: هل توجد فجوة بين ما تراه أعيننا وما يعتقده عقل الروبوت؟ وإذا كانت موجودة، فهل يمكننا بناء نظام أمني للإمساك بها؟ لا يتعلق الأمر فقط بخداع الروبوتات؛ بل يتعلق بفهم ما إذا كان ذكاؤنا الاصطناعي يتخيل ثقة في أشياء غير قابلة للتمييز تمامًا بالنسبة لنا.

النوع "الجديد" من الخدعة

قرر الباحثون وراء هذه الدراسة قلب الطاولة على الطريقة المعتادة لخداع الذكاء الاصطناعي. عادةً، يحاول المخترقون جعل الروبوت "مخطئًا" عن طريق إضافة تغيير صغير غير مرئي. هنا، حاولوا جعل الروبوت "مصراً على الصواب" بينما يجعل الصورة "خاطئة تمامًا" بالنسبة للإنسان. هم يسمون هذا "نوعًا جديدًا من الأمثلة الخصمية" (أو NKE).

فكر في الأمر كخدعة سحرية حيث يكون الساحر (الذكاء الاصطناعي) مقتنعًا بأن الأرنب داخل القبعة، رغم أن القبعة الآن مليئة بالبريق، والقصاصات الملونة، وسنجاب حي. الجمهور البشري (نحن) ينظر إلى القبعة ويقول: "ليس لدي أدنى فكرة ما هذا!" لكن الساحر يستمر في الإشارة ويقول: "أرنب! أرنب!" بكل يقين.

اختبر الفريق هذا على ثلاثة مستويات من الصعوبة: الأرقام البسيطة بالأبيض والأسود (MNIST)، الصور الصغيرة الملونة للأشياء (CIFAR-10)، والصور الواقعية (ImageNet). ووجدوا أنه يمكنهم بسهولة إنشاء هذه الصور "المشخبطة". ومع إضافة المزيد والمزيد من الضجيج الفوضوي (إلى نقطة تبدو فيها الصورة مثل التشويش على تلفزيون قديم)، حافظ نموذج الذكاء الاصطناعي على تسميته الأصلية وظل معدل ثقته عند 100% مثالية. ولكن البشر؟ لقد ضاعوا تمامًا.

الفجوة بين الإنسان والروبوت

لإثبات أن هذا لم يكن مجرد محاكاة حاسوبية، أجرى الباحثون تجربة صغيرة مع أشخاص حقيقيين. عرضوا على خمسة متطوعين هذه الصور المشخبطة وطلبوا منهم تخمين ماهية الصورة. كانت النتائج صارخة. عندما كانت الصور مشخبطة بكثافة، لم يستطع البشر التخمين بشكل صحيح إلا بنسبة 8% تقريبًا. وفي الوقت نفسه، كان الذكاء الاصطناعي يخمن بشكل صحيح بنسبة 100% من الوقت.

خلق هذا "فجوة هائلة بين الإنسان والنموذج". كان الذكاء الاصطناعي مخطئًا بثقة بشأن ما يراه الإنسان. كما تحقق الباحثون مما إذا كان هذا بسبب كون الصور ضبابية للغاية أو مليئة بالضجيج. قارنوا صورهم "المشخبطة" بضجيج عشوائي له نفس القدر من "الضرر" البصري تمامًا. ووجدوا أن "شخبطة" الذكاء الاصطناعي الخاصة كانت في الواقع أكثر قابلية للتمييز من قبل برامج الكمبيوتر الأخرى مقارنة بالضجيج العشوائي، رغم أن كليهما بدا كقمامة للبشر. يشير هذا إلى أن الذكاء الاصطناعي لا يتجاهل الضجيج فحسب؛ بل يتشبث بنمط غريب وخفي لا يستطيع البشر رؤيته.

النقطة العمياء الأمنية

هنا يصبح الأمر معقدًا حقًا. عادةً، عندما يرى الذكاء الاصطناعي شيئًا غريبًا (مثل صورة محمصة خبز تبدو مثل سحابة)، يجب أن يرفع راية حمراء. لدينا أدوات تسمى "كاشفات التوزيع خارج النطاق" (OOD) مصممة للقيام بذلك بالضبط. فهي تتحقق مما إذا كانت الصورة تبدو مثل البيانات التي تدرب عليها الذكاء الاصطناعي. إذا لم تكن كذلك، يقول الكاشف: "مهلًا، هذا يبدو مريبًا!"

اختبر الباحثون صورهم المشخبطة مقابل أدوات الأمان هذه. والنتيجة؟ كانت الأدوات القياسية عمياء تمامًا.

فحص الثقة: قال الذكاء الاصطناعي: "أنا متأكد بنسبة 100%!" لذا اعتقدت أداة الأمان: "حسنًا، لا مشكلة".
فحص الطاقة: أداة أخرى تبحث عن "الطاقة الغريبة" في الصورة لم ترَ شيئًا أيضًا.
فحص الميزات: أداة واحدة محددة تنظر إلى "شكل" البيانات الداخلي رصدت تلك الصور. فقد صنفت 100% من الصور المشخبطة كصور مشبوهة.

لكن كانت هناك عقبة. أظهر الباحثون أنه إذا عرف المخترق وجود أداة "فحص الميزات" هذه، فيمكنه تعديل شخبطاته قليلًا لخدعها. الأمر يشبه لصًا يتعلم بالضبط نظام الإنذار الموجود في المنزل ثم يختار القفل بدقة شديدة بحيث لا ينطلق الإنذار أبدًا. الأداة التي يمكنها كشف الخدعة يمكن هزيمتها بسهولة إذا كان المهاجم ذكيًا بما يكفي.

لغز الملمس مقابل الشكل

لماذا يحدث هذا؟ بحث الباحثون في "دماغ" الذكاء الاصطناعي ليروا ما الذي كان ينظر إليه. وجدوا انقسامًا رائعًا.

الملمس (Texture): يعتمد الذكاء الاصطناعي بشدة على التفاصيل الدقيقة، "ملمس" الصورة (مثل فراء القطة). دمرت الشخبطات هذا الملمس فورًا.
الشكل (Shape): "المخطط الخارجي" أو "شكل" الجسم (مثل المنحنى العام لجسم القطة) صمد أمام الشخبطات لفترة أطول بكثير.

عادة ما يتعرف البشر على الأشياء من خلال شكلها. لكن الذكاء الاصطناعي، في هذه الحالة، بدا وكأنه يتجاهل الشكل ويصاب بالارتباك بسبب الملمس، أو ربما يجد نمط ملمس غريب يفهمه هو فقط. حتى عندما اختبروا نوعًا أحدث من الذكاء الاصطناعي (Vision Transformer) والذي يُفترض أنه أفضل في رؤية الأشكال، فإنه لا يزال يقع في الفخ. ظلت الفجوة بين الإنسان والآلة قائمة.

"الدفاع الخارق" لا يعمل

أخيرًا، سأل الفريق: "هل يمكننا فقط تدريب الذكاء الاصطناعي ليكون أكثر صلابة؟" حاولوا تعليم الذكاء الاصطناعي مقاومة الهجمات الصغيرة غير المرئية المعتادة (وهي طريقة تسمى "التدريب الخصمي"). كما حاولوا تمويه الصور أو تغيير حجمها قبل أن ينظر إليها الذكاء الاصطناعي.

النتيجة؟ لم ينجح أي منها. الذكاء الاصطناعي الذي تم تدريبه ليكون قويًا للغاية ضد الهجمات الصغيرة لا يزال معرضًا للخطر بنسبة 100% أمام هذه الهجمات الكبيرة والمشخبطة. اتضح أن كونك جيدًا في تجاهل ذرات الغبار الصغيرة لا يساعدك على الإطلاق عندما يرسم شخص ما شاربًا ضخمًا على وجهك. نوعا الهجمات مختلفان تمامًا، ودفاعاتنا الحالية لا تغطي سوى جانب واحد من المشكلة.

الخلاصة

يكشف هذا البحث عن ثغرة أمنية جديدة ومخيفة. لقد بنينا أنظمة ذكاء اصطناعي يمكن خداعها لتكون واثقة بنسبة 100% بشأن أشياء غير قابلة للتمييز تمامًا بالنسبة لنا. إن أجهزة الإنذار الأمنية الحالية لدينا لا ترى هذا القادم لأن الذكاء الاصطناعي واثق جدًا من نفسه. وحتى الأدوات التي يمكنها رؤية ذلك يمكن خداعها بسهولة إذا عرف المهاجم كيف يستخدمها.

الباحثون لا يقولون إن هذه مشكلة تم حلها. في الواقع، هم يقولون إنها فجوة كبيرة ومفتوحة في شبكة الأمان لدينا. لقد أطلقوا جميع الأكواد والأدوات التي استخدموها للاختبار، آملين أن يساعد العلماء الآخرون في اكتشاف كيفية بناء ذكاء اصطناعي لا يكتفي فقط بـ "التخمين" بثقة عندما ينظر إلى فوضى، بل يعترف فعليًا: "أنا لا أعرف ما هذا". وحتى ذلك الحين، علينا أن نكون حذرين: مجرد قول الروبوت إنه متأكد، لا يعني بالضرورة أنه على حق.

ملخص تقني: نوع جديد من الأمثلة العدائية (NKE)

بيان المشكلة
تُعرف الأمثلة العدائية الكلاسيكية بأنها اضطرابات صغيرة غير محسوسة تسبب خطأ في تصنيف النموذج للصورة مع بقائها دون تغيير مرئي للإنسان. تبحث هذه الورقة في نمط الفشل العكسي: الأمثلة العدائية من نوع جديد (NKE). في هذا الإعداد، يتم تطبيق اضطراب كبير وواضح للعيان على صورة ما بحيث يحافظ النموذج على تنبؤه الأصلي الصحيح بثقة عالية، على الرغم من أن المراقب البشري لن يعود قادراً على التعرف على الصورة.

بينما أثبتت الأعمال السابقة (Borji [3]؛ Nie et al. [5]) إمكانية توليد مثل هذه الأمثلة على نطاق واسع، ظلت ثلاثة أسئلة حاسمة دون اختبار:

الفجوة بين الإنسان والنموذج: هل يتدهور الإدراك البشري بالفعل بشكل أسرع بكثير من دقة النموذج تحت هذه الاضطرابات الكبيرة، أم أن الفجوة مجرد نتاج لفقدان الإشارة؟
كشف التوزيع خارج النطاق (OOD) والمعايرة: هل تحدد أدوات كشف التوزيع خارج النطاق (OOD) وأدوات المعايرة القياسية (مثل درجات الثقة، أو الطرق القائمة على الطاقة) هذه الأمثلة كحالات فشل، بالنظر إلى أنها بعيدة عن مجال البيانات ومع ذلك تُصنف بثقة؟
المتانة: هل تخفف الدفاعات الحالية (التدريب العدائي، تحويلات المدخلات، التنعيم العشوائي) من نمط الفشل هذا، أم أن المقاومة لهجمات $\epsilon$ -صغيرة مستقلة عن المقاومة لهجمات $\epsilon_l$ -كبيرة؟

المنهجية
تستخدم الدراسة مساراً موحداً لتوليد الهجمات لإنتاج صور NKE عبر مجموعات بيانات MNIST وCIFAR-10 وImageNet (باستخدام Imagenette). يعمل الهجوم على تقليل خسارة الملصق الحقيقي (للحفاظ على التنبؤ الصحيح) مع فرض قيد الحد الأدنى من مقدار الاضطراب ( $D(x, x') > \epsilon_l$ ). يستخدم المولد الأساسي متغيرات تكرارية تعتمد على الزخم (NMI-FGSM/NMI-FGM).

تم تنظيم التقييم في أربعة مسارات:

قياس الفجوة بين الإنسان والنموذج:
- النماذج الحسابية البديلة: يعمل مُعرف عام مستقل (بنية مختلفة مدربة على بيانات نظيفة) ومُعرف للشكل (مدرب على خرائط حواف Canny) كنماذج بديلة للأداء البشري.
- تجربة بشرية استطلاعية: دراسة اختيار قسري صغيرة النطاق ( $N=5$ ) باستخدام أداة مُطلقة لجمع الاستجابات البشرية الحقيقية.
- مجموعات الضبط: تُستخدم ضوضاء غاوسية متطابقة في المقدار للتمييز بين تأثيرات "البنية العدائية" وبين "فقدان الإشارة" العام.
- بديل CLIP: يُستخدم تصنيف CLIP بنمط (Zero-shot) كبديل قوي غير قائم على الشبكات العصبية الالتفافية (non-CNN) لتعريف القدرة على التعرف البشري على مقياس ImageNet.
تحليل OOD والمعايرة: تقييم احتمالية Softmax القصوى (MSP)، ودرجات الطاقة، وكاشفات مسافة ماهالانوبيس (Mahalanobis distance)، جنباً إلى جنب مع خطأ المعايرة المتوقع (ECE).
الهجوم التكيفي: اختبار ما إذا كان يمكن للمهاجم الذي يدمج مقياس مسافة الكاشف في هدف التحسين تجاوز كاشفات فضاء السمات (feature-space detectors).
تقييم الدفاعات: تقييم التدريب العدائي، والتنعيم العشوائي، وتحويلات المدخلات ضد NKE، وربط المتانة الكلاسيكية مع مقاومة NKE.
التحليل الآلي: قياس الحفاظ على بنية الحواف/الشكل مقابل النسيج (عبر GLCM ودرجات F1 لحواف Canny) لتفسير عدم تغير النموذج.

النتائج الرئيسية

الفجوة بين الإنسان والنموذج حقيقية وبنيوية:
- في CIFAR-10، مع زيادة $\epsilon_l$ ، يحافظ النموذج المصدر على دقة 100%، بينما تنخفض دقة المُعرف العام المستقل إلى ~49%.
- والأهم من ذلك، أن ضوضاء غاوس (L2) المتطابقة في المقدار تؤدي إلى تدهور المُعرف بشكل أسرع (إلى ~15%) من اضطراب NKE المهيكل. وهذا يشير إلى أن الفجوة ليست بسبب فقدان الإشارة، بل بسبب البنية العدائية المحددة التي تحافظ على الميزات ذات الصلة بالنموذج بينما تدمر المحتوى القابل للتعرف البشري.
- أكدت تجربة بشرية صغيرة ( $N=5$ ) وجود الفجوة، حيث انخفضت الدقة البشرية إلى ~8% عند الاضطرابات الكبيرة بينما ظل النموذج عند 100%.
- على مقياس ImageNet، يؤكد بديل CLIP (Zero-shot) وجود فجوة كبيرة (النموذج 100% مقابل CLIP ~33%)، رغم أن ترتيب NKE مقابل ضوضاء غاوس ينعكس مقارنة بـ CIFAR-10، مما يشير إلى أن NKE يدمر المحتوى الدلالي الواسع بنشاط عند هذا المقياس.
عمى أدوات OOD والمعايرة القياسية:
- لم تكتشف كاشفات OOD القائمة على الثقة (MSP) أو الطاقة 0% من صور NKE، وظل ECE قريباً من 0. تبدو النماذج معايرة بشكل مثالي رغم أن المدخلات غير قابلة للتعرف عليها بشرياً.
- كشفت كاشفات مسافة ماهالانوبيس في فضاء السمات عن 100% من صور NKE، مما حددها بشكل صحيح كخارجة عن المجال (off-manifold).
- الهشاشة التكيفية: ومع ذلك، يمكن لمهاجم تكيفي تقليل كشف ماهالانوبيس من 100% إلى 0% عن طريق إضافة حد جزاء (penalty term) إلى دالة الخسارة، دون أي تكلفة على نجاح الهجوم أو مقدار الاضطراب. هذا التهرب يظل فعالاً ضد الكاشفات المستقلة والنماذج المدربة عدائياً.
الاستقلال عن الدفاعات الكلاسيكية:
- لا يوجد دفاع كلاسيكي يخفف من حدة NKE. فالنماذج المدربة عدائياً (التي تمتلك دقة متينة بنسبة 45% ضد PGD) تظل معرضة لـ NKE بنسبة ~100%.
- لا يوجد ارتباط ( $r \approx 0$ ) بين المقاومة لهجمات $\epsilon$ -صغيرة والمقاومة لهجمات NKE الكبيرة ( $\epsilon_l$ ).
الرؤية الآلية (النسيج مقابل الشكل):
- يدمر الهجوم إحصائيات النسيج منخفضة المستوى (انهيار تشابه GLCM إلى ~0) بشكل أسرع بكثير من تدهور بنية الحواف/الشكل (يبقى الحفاظ على الحواف عند ~0.3–0.4).
- بينما تميل الشبكات العصبية الالتفافية (CNNs) نحو النسيج، فإن نموذج Vision Transformer (ViT) الذي يمتلك انحيازاً للشكل لا يستعيد الملصق بشكل أفضل من الـ CNN في مدخلات NKE، مما يشير إلى أن البنية المتبقية غير كافية للتعرف الشبيه بالبشر.
- يظهر تحليل قابلية النقل أن أمثلة NKE خاصة جداً بالنماذج؛ فمع زيادة تعقيد المهمة (MNIST $\to$ ImageNet)، تنهار قابلية النقل، مما يشير إلى أن الإشارة المتبقية هي سمة مميزة للنموذج المصدر.

الأهمية والادعاءات
تدعي الورقة الانتقال من مجرد مناقشة إمكانية بناء مثل هذه الأمثلة إلى فهم آثارها على الفجوة بين الإدراك البشري وإدراك النماذج، والقيود المفروضة على أدوات السلامة الحالية.

إعادة صياغة نمط الفشل: يمثل NKE ثغرة متميزة حيث تكون النماذج "واثقة في الخطأ" بالمعنى البشري (غير قابلة للتعرف) ولكنها "صحيحة" بالمعنى الخاص بالنموذج. هذا نمط فشل لا تستطيع أدوات المراقبة القائمة على الثقة اكتشافه بنيوياً.
محدودية الدفاعات الحالية: تظهر النتائج أن المتانة تجاه الاضطرابات الصغيرة لا تعني المتانة تجاه الاضطرابات الكبيرة التي تحافظ على الملصق. الدفاعات الحالية لا تعالج هذا النطاق.
دقة كشف OOD: يمكن لكاشفات فضاء السمات تحديد أمثلة NKE، لكنها ليست متينة تكيفياً. تشير الورقة إلى أن الكشف عن "خروج المجال" ضروري ولكنه غير كافٍ بمجرد معرفة الكاشف من قبل المهاجم.
التباعد بين الإنسان والنموذج: توفر الدراسة دليلاً تجريبياً (عبر النماذج البديلة والتجربة الاستطلاعية) على أن التباعد بين المنحنيات السيكومترية للبشر والنماذج ليس مجرد مفهوم نظري، بل هو واقع قابل للقياس، وتحديداً في النطاقات التي يتم فيها تدمير النسيج مع الحفاظ على هياكل تشبه الشكل يعتمد عليها النماذج.

خلص المؤلفون إلى أن الأنظمة التي تعتمد على ثقة Softmax أو درجات الطاقة يجب مراجعتها ضد هذا النمط المحدد، وأن العمل المستقبلي يجب أن يركز على الكاشفات التي تكون متينة تكيفياً بحكم التصميم. وتصدر الورقة المسار الكامل، والمحفزات، وأداة التجربة البشرية لتسهيل عمليات التدقيق هذه.