Beyond Attack Success Rate: A Multi-Metric Evaluation of Adversarial Transferability in Medical Imaging Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "ما وراء معدل نجاح الهجوم: تقييم متعدد المقاييس لقابلية انتقال الهجمات العدائية في نماذج التصوير الطبي."

1. بيان المشكلة

تُستخدم نماذج التعلم العميق، وخاصة الشبكات العصبية الالتفافية (CNNs) ومحولات الرؤية (ViTs)، بشكل متزايد في تحليل الصور الطبية. ومع ذلك، فإن هذه الأنظمة عرضة للهجمات العدائية (adversarial attacks)—وهي اضطرابات صغيرة غير محسوسة تسبب خطأ في التصنيف.

يعتمد البحث الحالي بشكل كبير على معدل نجاح الهجوم (ASR) كمقياس أساسي للتقييم. وASR هو مقياس ثنائي يشير فقط إلى ما إذا كان الهجوم قد نجح أم فشل. ويرى المؤلفون أن ASR غير كافٍ لأن:

• يتجاهل قوة الاضطراب (مدى كبر التغيير).
• يتجاهل جودة الصورة الإدراكية (ما إذا كان التغيير مرئياً للبشر).
• يفشل في رصد التكلفة/الأعباء الإضافية لتوليد الهجوم.
• لا يقدم صورة كاملة عن قابلية الانتقال (ما إذا كان الهجوم المصمم على نموذج واحد يعمل على نموذج آخر)، خاصة عند مقارنة البنى الهيكلية المتباينة مثل CNNs وViTs.

الفجوة البحثية الجوهرية هي غياب إطار عمل متماسك يحلل الارتباط بين ASR والمقاييس الأخرى (مثل PSNR وSSIM وL2) عبر مجموعات البيانات والنماذج المعمارية المتنوعة.

2. المنهجية

أجرى المؤلفون دراسة تجريبية منهجية واسعة النطاق تتضمن المكونات التالية:

• مجموعات البيانات: تم استخدام أربع مجموعات بيانات للصور الطبية:
  • PathMNIST: لصور الأنسجة المرضية (9 فئات).
  • DermaMNIST: لأمراض الجلد (7 فئات).
  • RetinaMNIST: لأمراض العيون/OCT (5 فئات).
  • CheXpert: للأشعة السينية للصدر (14 فئة، متعددة الملصقات).
• النماذج: سبعة نماذج تمثل عائلتين معماريتين:
  • CNNs: تشمل VGG-16، وResNet-50، وDenseNet-121، وInception-v3.
  • ViTs: تشمل DeiT، وSwin Transformer، وViT-B/16.
  • ملاحظة: تم تهيئة جميع النماذج بأوزان مدربة مسبقاً على ImageNet واستُخدمت دون ضبط دقيق (fine-tuning) لعزل الاختلافات المعمارية.
• الهجمات العدائية: تم تقييم سبع طرق للهجوم:
  • خطوة واحدة: FGSM.
  • تكرارية: PGD، وI-FGSM.
  • قائمة على الزخم: MI-FGSM، وNI-FGSM، وVMI-FGSM.
  • تجميعي (Ensemble): تجميع التدرجات عبر جميع النماذج البديلة.
• ميزانيات الاضطراب: خمس ميزانيات محددة بـ $L_\infty$ تتراوح من القريبة من عدم الإدراك ($\epsilon = 2/255$) إلى الواضحة تماماً ($\epsilon = 32/255$).
• مقاييس التقييم:
  • ASR: نسبة المدخلات التي تم تصنيفها بشكل خاطئ.
  • الجودة الإدراكية: SSIM (مؤشر التشابه الهيكلي) وPSNR (نسبة ذروة الإشارة إلى الضجيج).
  • مقدار الاضطراب: معيار L2.
• نطاق التجربة: أنتجت الدراسة 3,500 تكوين تجريبي (4 مجموعات بيانات $\times$ 5 ميزانيات $\times$ 7 هجمات $\times$ أزواج متعددة من النماذج البديلة/المستهدفة).
• التحليل: تم حساب معاملات ارتباط بيرسون وسبيرمان لتحديد العلاقات بين ASR والمقاييس الأخرى.

3. المساهمات الرئيسية

1. إطار عمل متعدد المقاييس: تقترح الورقة الانتقال لما وراء ASR من خلال دمج المقاييس الإدراكية (SSIM، PSNR) ومقاييس المقدار (L2) في التقييم العدائي.
2. تحليل عبر البنى المعمارية: تقدم مقارنة شاملة للسلوك العدائي بين نماذج CNN والأنظمة الناشئة لـ ViT في المجال الطبي.
3. اكتشاف الانفصال: تثبت الدراسة تجريبياً أن ASR منفصل إحصائياً عن الجودة الإدراكية ومقدار الاضطراب.
4. رؤى حول قابلية الانتقال: تكشف عن أنماط انتقال متميزة بين CNNs (غير متماثلة) وViTs (عالية بشكل موحد).

4. النتائج الرئيسية

أ. ASR منفصل عن المقاييس الإدراكية

النتيجة الأكثر أهمية هي أن ASR ليس له ارتباط يذكر مع SSIM وPSNR ومقدار L2.

• معاملات الارتباط: عبر جميع النماذج، كان الارتباط بين ASR والمقاييس الإدراكية ضئيلاً جداً ($|r| \le 0.17$، $|\rho| \le 0.15$).
• الاستنتاج: لا يعني معدل ASR المرتفع بالضرورة وجود اضطراب كبير أو جودة صورة سيئة. وعلى العكس، فإن انخفاض ASR لا يضمن صورة "نظيفة". يمكن لهجومين أن يكون لهما معدلات نجاح متطابقة ولكن بتأثيرات بصرية مختلفة تماماً.
• الاتساق الداخلي: في المقابل، ترتبط المقاييس الإدراكية (SSIM، PSNR، L2) بقوة مع بعضها البعض ($|r| \ge 0.87$)، مما يؤكد أنها تقيس نفس خاصية "التشويه" الأساسية.

ب. الاختلافات المعمارية في قابلية الانتقال

• ViTs: أظهرت قابلية انتقال عالية بشكل موحد. حققت الهجمات (Black-box) بين نماذج ViT المختلفة معدل ASR يتراوح بين 91.1% و93.4%، بغض النظر عن زوج النموذج البديل/المستهدف المحدد.
• CNNs: أظهرت قابلية انتقال غير متماثلة.
  • الهدف الأسهل: Inception-v3 (معدل ASR بنسبة 81.2–82.4% في حالة Black-box).
  • الهدف الأصعب: ResNet-50 (معدل ASR بنسبة 72.0–73.5% في حالة Black-box).
• شذوذ CheXpert: انخفض معدل ASR الخاص بـ CNN في حالة Black-box على مجموعة CheXpert بشكل كبير إلى 52.8%، ويرجع ذلك على الأرجح إلى طبيعة البيانات متعددة الملصقات التي تعقد انتقال CNN-to-CNN. ومع ذلك، حققت نماذج ViT معدل ASR بنسبة 100% على CheXpert في كل من حالات White-box وBlack-box.

ج. تأثير ميزانية الاضطراب

أدى زيادة ميزانية الاضطراب ($\epsilon$) من $2/255$ إلى $32/255$ (زيادة بمقدار 16 ضعفاً) إلى مكاسب هامشية في ASR:

• CNNs: ارتفع معدل Black-box ASR من 75.5% إلى 79.0% فقط.
• ViTs: ظل معدل Black-box ASR ثابتاً بين 91.4% و92.8%.
  هذا يؤكد أن مجرد زيادة قوة الاضطراب لا يحسن نجاح الهجوم بشكل خطي، مما يدعم صحة انفصال ASR عن مقدار الاضطراب.

د. الهجمات التجميعية (Ensemble Attacks)

كانت طريقة الهجوم التجميعي (تجميع التدرجات من عدة نماذج بديلة) هي الأكثر فعالية، حيث قلصت الفجوة بين White-box ASR وBlack-box ASR إلى 1.1% فقط.

5. الأهمية والآثار المترتبة

• تقييم المخاطر السريرية: الاعتماد فقط على ASR أمر خطير في الذكاء الاصطناعي الطبي. فقد يكون الهجوم ناجحاً للغاية (ASM مرتفع) بينما يُدخل تشوهات طفيفة وغير مرئية (SSIM/PSNR مرتفع) قد يغفل عنها أخصائي الأشعة، أو على العكس، قد يفشل تشويه مرئي في خداع النموذج.
• ضعف نماذج ViT: تشير قابلية الانتقال العالية الموحدة لنماذج ViT إلى أنه إذا تمكن مهاجم من اختراق نموذج ViT واحد، فمن المرجح أن يتمكن من اختراق أي نموذج ViT آخر في المنظومة بنجاح عالٍ، مما يشكل خطراً نظامياً.
• معايير التقييم المستقبلية: يرى المؤلفون ضرورة الانتقال إلى إطار تقييم متعدد المقاييس يأخذ في الاعتبار:
  1. الفعالية: (ASFR)
  2. المنهجية: (نوع الاضطراب)
  3. الأعباء الإضافية: (الجودة الإدراكية، تكلفة L2)
• الخلاصة: يعد ASR وحده مؤشراً غير كافٍ للمتانة العدائية. يجب أن يأخذ التقييم الشامل للمخاطر في الاعتبار "تكلفة" الهجوم (التدهور البصري) جنباً إلى جنب مع معدل نجاحه لضمان سلامة المرضى في عمليات النشر السريري.