🤖 machine learning

Sample-wise Targeted Adversarial Attacks on Test-time Adaptation

تقدم هذه الورقة هجوماً عدائياً مستهدفاً وخفياً على مستوى العينة ضد التكيف في وقت الاختبار (TTA)، يستخدم استراتيجية محاذاة تدرج واعية بالأولوية قائمة على التعلم الميتافيزيقي لتصنيف المدخلات التي تم تحفيزها فقط بشكل خاطئ مع الحفاظ على توزيع التسميات العالمي للإفلات من الكشف.

المؤلفون الأصليون: Phuc Duc Nguyen, Quang Duc Nguyen

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Phuc Duc Nguyen, Quang Duc Nguyen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: الروبوت "ذاتي التحسين" والمخرب المتسلل

تخيل أن لديك روبوتاً ذكياً جداً (نموذج ذكاء اصطناعي) بارع في التعرف على الأشياء، مثل القطط أو الكلاب أو علامات التوقف. ومع ذلك، يتغير العالم؛ فربما تم تدريب الروبوت في كاليفورنيا المشمسة، لكنه يعمل الآن في لندن الضبابية. تصبح رؤيته مشوشة، ويبدأ في ارتكاب الأخطاء.

لإصلاح ذلك، منح المهندسون الروبوت قوة خارقة تسمى التكيف وقت الاختبار (TTA). تتيح هذه القوة للروبوت النظر إلى الصور الضبابية الجديدة التي يراها أثناء عمله وتعديل دماغه فوراً ليصبح أفضل. الأمر يشبه طالباً يدرك أثناء أداء الامتحان أنه مرتبك بسبب الإضاءة الضبابية، فيقوم فوراً بتعديل نظارته ليرى بشكل أفضل.

المشكلة: ميزة "التحسين الذاتي" هذه هي سلاح ذو حدين. ولأن الروبوت يثق في الصور التي يراها ليتعلم، يمكن لمخترق سيء النية (مهاجم) أن يغذيه ببعض الصور "المخادعة" ليخدع الروبوت ويجعله يتعلم الدرس الخاطئ.

الطريقة القديمة في الهجوم: "القوة الغاشمة" الصاخبة

أظهرت الأبحاث السابقة أنه يمكن للمهاجمين خداع الروبوت، لكن الطرق القديمة كانت تشبه احتجاجاً صاخباً وفوضوياً.

كيف كانت تعمل: إذا أراد المهاجم جعل الروبوت يعتقد أن "علامات التوقف" هي في الواقع "علامات انطلاق"، فسيغرق الروبوت بآلاف علامات التوقف المزيفة التي تبدو كعلامات انطلاق.
العيب: سيصاب الروبوت بالارتباك الشديد لدرجة أن كل علامة توقف يراها ستتحول فجأة إلى علامة انطلاق. الأمر يشبه إذا بدأ معلم فجأة في تقييم كل ورقة حصلت على "امتياز" بأنها "رسوب". سيلاحظ مدير المدرسة (نظام المراقبة) فوراً: "مهلاً، هناك خطأ ما! لقد تغيرت جميع الدرجات!"، وهكذا يتم كشف الهجوم لأنه يخلق خللاً ضخماً وواضحاً.

الطريقة الجديدة: "القاتل الصامت" (الهجوم المستهدف لكل عينة)

تقدم هذه الورقة البحثية نوعاً أكثر دهاءً وخطورة من الهجمات يسمى الهجوم المستهدف لكل عينة (Sample-Wise Targeted Attack).

التشبيه: "رقعة المحفز" (Trigger Patch)
تخيل أن المهاجم يضع ملصقاً صغيراً غير مرئي تقريباً (محفز) على أشياء محددة.

إذا كانت علامة التوقف تحمل الملصق، يُخدع الروبوت ويعتقد أنها "علامة انطلاق".
إذا كانت علامة التوقف لا تحمل الملصق، يراها الروبوت بشكل طبيعي.
إذا كان الكلب يحمل الملصق، يُخدع الروبوت ويعتقد أنه "علامة انطلاق".
إذا كانت القطة تحمل الملصق، يُخدع الروبوت ويعتقد أنها "علامة انطلاق".

لماذا يعد هذا خطيراً؟
المهاجم يريد فقط إفساد العناصر المحددة التي تحمل الملصق، ولا يهتم بالباقي.

التسلل: لأن الروبوت لا يزال يتعرف بشكل صحيح على 99% من علامات التوقف والكلاب والقطط، فإن "توزيع الدرجات" العام يبدو طبيعياً. سينظر المدير إلى التقرير ويرى مزيجاً من درجات الامتياز والجيد والضعيف، تماماً كما كان من قبل. الهجوم غير مرئي لأنه لا يكسر النظام بأكمله، بل يكسر فقط العناصر المحددة التي يهتم بها المهاجم.

التحدي التقني: "شد الحبل"

واجه الباحثون مشكلة رياضية ضخمة؛ فقد كان عليهم تعليم الروبوت القيام بـ:

الفشل في التعامل مع العناصر المغطاة بالملصق (هدف الهجوم).
النجاح في التعامل مع كل شيء آخر ليبدو طبيعياً (هدف التسلل).

عادة ما يتصارع هذان الهدفان؛ فإذا دفعت الروبوت للفشل في التعامل مع الملصقات، فإنه غالباً ما يبدأ في الفشل في التعامل مع العناصر العادية أيضاً. الأمر يشبه محاولة دفع سيارة للأمام بقدم بينما تحاول إبقاءها ثابتة تماماً بالقدم الأخرى.

الحل: "المدرب الواعي بالأولويات"
ابتكر المؤلفون طريقة تدريب جديدة (تعلم ميتا - Meta-Learning) ذات قاعدة خاصة: "اربح المعركة، ولكن لا تكسر السلام".

استخدموا أداة رياضية تسمى "منطقة الثقة الإهليلجية" (Ellipsoidal Trust-Region).

تخيل بالوناً: "هدف الهجوم" هو مركز البالون. "هدف التسلل" هو اتجاه قد يؤدي لتفجير البالون.
الاستراتيجية: صمم الباحثون خطوات تعلم الروبوت لتبقى قريبة جداً من "هدف الهجوم" (المركز)، ولكن مع تمديد البالون بطريقة تجعل من الصعب جداً التحرك نحو "هدف التسلل" إذا كان هذا التحرك سيؤدي لإفساد الهجوم.
النتيجة: يتعلم الروبوت أن يكون بارعاً في الخدعة المحددة (الملصقات) دون أن يفسد معرفته العامة عن طريق الخطأ. إنه يشبه الساحر الذي يتعلم خدعة معينة بإتقان شديد بحيث ينخدع الجمهور، بينما يستمر باقي العرض بشكل طبيعي تماماً.

النتائج: نجاح صامت

اختبر الباحثون طريقتهم على مجموعات بيانات صور شهيرة (مثل CIFAR و ImageNet) مع أنواع مختلفة من الظروف "الضبابية".

معدل النجاح: نجحت طريقتهم في خداع الروبوت في حوالي 90% من العناصر المغطاة بالملصق.
التسلل: ظل سلوك الروبوت تجاه العناصر العادية متطابقاً تقريباً مع سلوكه قبل الهجوم. كان "الضجيج" في النظام منخفضاً جداً لدرجة أنه سيكون من المستحيل تقريباً على البشر أو أنظمة المراقبة الحاسوبية اكتشاف وقوع هجوم.
الدفاعات: حاولوا أيضاً كسر هجومهم باستخدام دفاعات أمنية موجودة (مثل تصفية البيانات "الغريبة" أو استخدام رياضيات خاصة لتثبيت الروبوت). ومع ذلك، ظل هجومهم فعالاً، مما يثبت أن الدفاعات الحالية ليست مستعدة لهذا النوع من التخريب الصامت.

الملخص

تكشف هذه الورقة البحثية أن أنظمة الذكاء الاصطناعي التي تتعلم أثناء العمل معرضة لنوع جديد من الهجمات. فبدلاً من تحطيم النظام بأكمله (وهو أمر سهل الاكتشاف)، يمكن للمهاجم استخدام "محفز" صغير لتخريب قرارات محددة بشكل انتقائي مع إبقاء بقية النظام يبدو سليماً تماماً. لقد بنى المؤلفون "مدرباً" رياضياً جديداً لجعل هذا الهجوم يعمل بكفاءة، مما يظهر أن شبكات الأمان الحالية لدينا قد لا تكون قوية بما يكفي لإيقاف هذه الخدع الصامتة والمستهدفة.

ملخص تقني: الهجمات العدائية المستهدفة على مستوى العينة في التكيف وقت الاختبار

بيان المشكلة
يعمل التكيف وقت الاختبار (TTA) على التخفيف من حدة انزياح التوزيع بفعالية عبر تحديث معاملات النموذج عبر الإنترنت باستخدام تدفقات اختبار غير مصنفة. ومع ذلك، فإن هذا الاعتماد على التدفق غير المصنف يخلق سطح هجوم حرج. تركز التهديدات العدائية الحالية ضد TTA بشكل أساسي على التدهور غير المستهدف أو الهجمات المستهدفة على مستوى الفئة. إن الهجمات على مستوى الفئة، التي تجبر جميع عينات فئة دلالية معينة (مثل جميع لوحات "قف") على الوصول إلى تسمية مستهدفة، هي بطبيعتها غير متخفية. نظرًا لأن TTA يعمل على دفعات (batches)، فإن إجبار مجموعة فرعية من العينات نحو تسمية مستهدفة يسحب معه دون قصد عينات سليمة مشابهة، مما يؤدي إلى تركيز ملحوتم وغير طبيعي للتسمية المستهدفة في توزيع المخرجات. وفي سيناريوهات النشر حيث لا تتوفر تسميات الحقيقة الأرضية (ground-truth)، يعمل هذا الشذوذ التوزيعي كإشارة كشف سهلة. يفترض البحث أن نموذج تهديد أكثر واقعية وخطورة مطلوب: نموذج يمكن فيه للمهاجم تصنيف مدخلات محددة بشكل خاطئ بشكل انتقائي مع الحفاظ على توزيع التسميات العالمي للاستعلامات السليمة.

المنهجية
يقترح المؤلفون إطار عمل لـ هجوم مستهدف على مستوى العينة يعمل في بيئة "الصندوق الرمادي" (grey-box). يمتلك المهاجم إمكانية الوصول إلى بنية نموذج ما قبل التدريب الأولي ومعاملاته، ولكنه يفتقر إلى الوصول إلى خوارزمية TTA الخاصة بالخادم، أو بيانات الضحية، أو تسميات الحقيقة الأرضية. يعتمد الهجوم على محفز (trigger) محدد (مثل رقعة أو نمط جيبي) يتم حقنه في مدخلات الضحية. الهدف هو تصنيف المدخلات التي تحمل هذا المحفز فقط بشكل خاطئ، مع ضمان بقاء المدخلات غير المحفزة بتوزيع تنبؤي متسق مع خط أساس سليم.

يعتمد توليد الهجوم على نهج قائم على التعلم التلوي (meta-learning) لمحاكاة عملية TTA باستخدام بيانات يسيطر عليها المهاجم فقط. تتضمن عملية التحسين هدفين متنافسين:

هدف الهجوم الأساسي ( $L_{cls}$ ): يعظم معدل نجاح التصنيف الخاطئ للمدخلات التي تحمل المحفز إلى تسمية مستهدفة.
هدف التخفي الثانوي ( $L_{stl}$ ): يقلل التباعد في توزيع مخرجات النموذج على المدخلات السليمة الناتج عن وجود عينات عدائية في نفس الدفعة.

تتمثل المعضلة الحرجة المحددة في عدم توافق التدرج (gradient misalignment) القوي بين هذين الهدفين؛ حيث يظهر التحليل التجريبي أن تدرجاتهما متضادة في جميع خطوات التحسين تقريبًا (تشابه جيب التمام السلبي بنسبة 99.9%). تفشل طرق التعلم متعدد المهام (MTL) القياسية، التي تسعى إلى حلول وسط متماثلة في باريتو، هنا لأنها تضحي بنجاح الهجوم مقابل مكاسب طفيفة في التخفي.

لحل هذه المشكلة، قدم المؤلفون استراتيجية محاذاة التدرج الواعية بالأولوية والتي تمت صياغتها كـ مسألة منطقة ثقة إهليلجية (ellipsoidal trust-region problem).

عدم تماثل الأولوية: يتم بناء اتجاه التحديث للبقاء قريبًا من تدرج الهجوم ( $a$ ) مع معاقبة الحركة نحو تدرج التخفي ( $c$ ) إذا انحرفت عن $a$ .
منطقة الثقة الإهليلجية: يتم تقييد اتجاه التحديث $d$ داخل شكل إهليجي مركزه $a$ مع مقياس $M = I + \lambda uu^\top$ ، حيث يمثل $u$ اتجاه الانحراف نحو تدرج التخفي. تعمل هذه الهندسة على تقليص حجم الخطوة المسموح بها على طول اتجاه التخفي غير المتوافق مع الحفاظ على اتجاه الهجوم.
الضمان النظري: يقدم البحث نظرية تثبت أن اتجاه المحاذاة هذا يضمن نزولًا رتيبًا في هدف الهجوم حتى في ظل عدم توافق التدرج الشديد، وهو ضمان تفتقر إليه النماذج المتماثلة.

المساهمات الرئيسية

صياغة نموذج التهديد: يحدد البحث نموذج تهديد مستهدف على مستوى العينة لـ TTA، ويميزه عن الهجمات السابقة على مستوى الفئة من خلال فرض انتقائية صارمة بناءً على المحفزات بدلاً من الفئات الدلالية.
استراتيجية تحسين مبتكرة: اقتراح إطار عمل للتعلم التلوي معزز بمحاذاة التدرج الواعية بالأولوية، والتي تتعامل صراحة مع الطبيعة المتضادة لأهداف الهجوم والتخفي دون التضحية بهدف الهجوم الأساسي.
التحليل النظري: تقديم ضمانات نظرية تظهر أن اتجاه التحديث الإهليجي يضمن تحسينًا فعالًا لهدف الهجوم حتى عندما تكون التدرجات غير متوافقة.
التحقق التجريبي: إجراء تجارب واسعة النط "تثبت ارتفاع معدلات نجاح الهجوم مع الحفاظ على التخفي التوزيعي.

النتائج التجريبية
تم تقييم الطريقة على مجموعات CIFAR-10-C، وCIFAR-100-C، وImageNet-C عبر خمسة بروتوكولات TTA (TENT, RPL, EATA, SAR, DeYO) باستخدام محفزات الرقعة (patch) والمحفزات الجيبية (SIG).

معدل نجاح الهجوم (ASR): تحقق الطريقة المقترحة معدل ASR أعلى بكثير من النماذج المرجعية المعدلة (RTTDP, FCA). في CIFAR-10-C، يتراوح ASR بين 89.59% و95.90% عبر طرق TTA، مقارنة بـ 25-63% للنماذج المرجعية. وفي ImageNet-C، يتجاوز ASR نسبة 95% في معظم الإعدادات.
التخفي (الاتساق التوزيعي): على عكس الهجمات على مستوى الفئة التي تسبب تباعدات KL كبيرة (على سبيل المثال، >0.03) وارتفاعات في الاحتمالية، تحافظ الطريقة المقترحة على توزيع تسميات مطابق تقريبًا لخط الأساس الذي لا يحتوي على هجوم (KL $\approx$ 0.006).
المتانة ضد الدفاعات: يظل الهجوم فعالًا ضد الدفاعات الحالية، بما في ذلك:
- تصفية العينات (Sample Filtering): تفشل التصفية القائمة على الإنتروبيا لأن الهجوم يقلل من عدم اليقين لضمان النجاح، مما ينتج عنه عينات عدائية ذات إنتروبيا منخفضة.
  டன் MedBN: يحافظ الهجوم على ASR مرتفع (~80%) ضد Median Batch Normalization، حيث أن مسار الهجوم الذي تم تحسينه على BN القياسي ينتقل بفعالية.
- المتوسط المتحرك الأسي (EMA): بينما يقلل EMA من ASR في البداية، فإن تعزيز البيانات البسيط على العينات العدائية يستعيد ASR إلى ~41%، مما يشير إلى سهولة تجاوز الدفاع.

الأهمية والادعاءات
يدعي البحث أنه يكشف عن ثغرة حرجة في نماذج نشر TTA الحالية: القدرة على حقن تصنيفات خاطئة مستهدفة ("فشل صامت") دون تفعيل إنذارات انزياح التوزيع القياسية. يؤكد المؤلفون أن أطر العمل الحالية لـ TTA تفتقر إلى المتانة الجوهرية ضد مثل هذه التهديدات التي تركز على التهرب. ومن خلال إثبات إمكانية تنفيذ هجمات عالية الدقة مع الحفاظ على الطبيعة الإحصائية لمخرجات التوزيع، يسلط العمل الضوء على ضرورة وجود تصميمات واعية أمنيًا للنماذج التكيفية، خاصة للتطبيقات الحساسة للسلامة مثل القيادة الذاتية والتصوير الطبي. يشير المؤلفون بتواضع إلى بعض القيود، مثل الاعتماد على التجميع المشترك (co-batching) للعينات المحفزة وعينات الضحية، واحتمالية أن يعمل انخفاض دقة العينات السليمة كإشارة كشف ثانوية، لكنهم يؤكدون أن الهجوم المقترح يمثل خطوة مهمة نحو فهم المخاطر الأمنية للتكيف عبر الإنترنت.