🤖 machine learning

Low Rank Adaptation for Adversarial Perturbation

تُثبت هذه الورقة أن الاضطرابات العدائية تمتلك بنية ذات رتبة منخفضة متأصلة، وتستغل هذه الخاصية لتطوير طريقة هجوم "الصندوق الأسود" أكثر كفاءة وفعالية من خلال حصر البحث عن الاضطراب في فضاء فرعي منخفض الأبعاد.

المؤلفون الأصليون: Han Liu, Shanghao Shi, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Han Liu, Shanghao Shi, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الجوهرية: العثور على "الاختصار السري"

تخيل أنك تحاول خداع حارس أمن ذكي جداً (نموذج ذكاء اصطناائي) للسماح للص (مدخل ضار) بالدخول إلى مبنى. في عالم الذكاء الاصطناعي، يُسمى هذا هجوماً عدائياً (Adversarial Attack).

عادةً، لخداع الحارس، عليك تجربة آلاف الأقنعة المختلفة (الاضطرابات/Perturbations) حتى تجد واحداً ينجح. هذه العملية بطيئة، مكلفة، وغالباً ما تؤدي إلى كشف أمرك لأنك تطرح على الحارس الكثير من الأسئلة.

اكتشف مؤلفو هذه الورقة البحثية سراً مذهلاً: لست بحاجة لتجربة كل الأقنعة الممكنة.

لقد وجدوا أن "الخدع" اللازمة لخداع نماذج الذكاء الاصطناعي هذه هي في الواقع بسيطة للغاية. فهي توجد في "اختصار" صغير ومنخفض الأبعاد داخل العالم الهائل والمعقد من الاحتمالات. الأمر يشبه إدراك أنك لفتح خزنة ضخمة عالية التقنية، لا تحتاج لتجربة كل التوليفات لقفل مكون من مليار رقم؛ بل تحتاج فقط لتحريك ثلاث قطع محددة بدقة.

الإلهام: تقنية LoRA (طريقة "الملاحظات اللاصقة")

تبدأ الورقة بمفهوم من نماذج اللغات الكبيرة (LLMs) يسمى LoRA (التكيف منخفض الرتبة/Low-Rank Adaptation).

الطريقة القديمة: لتعليم ذكاء اصطناعي ضخم مهارة جديدة، كان عليك سابقاً إعادة كتابة دماغه بالكامل (جميع أوزانه). هذا يشبه إعادة كتابة موسوعة كاملة لإضافة حقيقة واحدة جديدة. إنه أمر يستغرق وقتاً طويلاً ويكلف ثروة.
طريقة LoRA: أدرك الباحثون أنك تحتاج فقط لترك بعض "الملاحظات اللاصقة" (مصفوفات منخفضة الرتبة) على الصفحات الموجودة لتعليمه شيئاً جديداً. إنها طريقة رخيصة، سريعة، وفعالة.

تساءل المؤلفون: "إذا كان تعلم الذكاء الاصطناعي يمتلك هذه الاختصارات القائمة على 'الملاحظات اللاصقة'، فهل تمتلك الخدع المستخدمة لكسر الذكاء الاصطناعي (الاضطرابات العدائية) أيضاً اختصارات؟"

الاكتشاف: البنية "منخفضة الرتبة"

تثبت الورقة البحثية أن الإجابة هي نعم، هي كذلك.

عندما يحاول المهاجم خداع الذكاء الاصطناعي، فإن التغييرات التي يجريها على الصورة أو النص ليست فوضى عشوائية. بل هي منظمة للغاية ومركزة في منطقة صغيرة جداً من "المساحة الرياضية".

التشبيه: تخيل محيطاً شاسعاً (مساحة مدخلات الذكاء الاصطناعي). يعتقد معظم الناس أن المهاجم يجب أن يثير المحيط بأكمله لإحداث موجة. لكن المؤلفين وجدوا أنك تحتاج فقط لإثارة بركة صغيرة ومحددة لإحداث موجة كبيرة بما يكفي لإسقاط الذكاء الاصطناعي.

لقد أثبتوا ذلك رياضياً وأظهروا ذلك عبر البيانات في العديد من نماذج الذكاء الاصطناعي المختلفة (مثل تلك التي تتعرف على الطيور، السيارات، أو الأشياء العامة).

الحل: هجوم "خريطة الظل" (Shadow Map Attack)

بما أن المهاجمين عادة لا يستطيعون رؤية الدماغ الداخلي للذكاء الاصطناعي (وهذا ما يسمى بإعداد الصندوق الأسود/Black-Box)، فلا يمكنهم بسهولة العثور على هذه "البركة" لإثارتها. وعادة ما يضطرون للتخمين بعشوائية، مما يستغرق ملايين المحاولات.

بنى المؤلفون طريقة جديدة للعثور على هذا الاختصار دون رؤية الدماغ:

نموذج الظل (The Shadow Model): يستخدم المهاجم نموذج ذكاء اصطناعي مختلف ومتاح للجمهور (نموذج مرجعي) وبعض الصور العشوائية (مجموعة بيانات مساعدة) ليست حتى نفس مجموعة بيانات الهدف.
المترجم (The Translator): يستخدمون نموذج الظل هذا لمعرفة الأجزاء الأكثر أهمية في المدخلات لاتخاذ القرارات. يستخدمون أدوات "الذكاء الاصطناعي القابل للتفسير" (مثل كشاف ضوئي يوضح أكثر البكسلات أهمية) لتصفية الضجيج.
الضغط (The Compression): يقومون بتدريب أداة خاصة (Autoencoder) لتعلم "شكل" هذه الخدع المهمة. هذا يخلق فضاءً فرعيًا منخفض الرتبة (Low-Rank Subspace)، وهو عبارة عن خريطة مضغوطة للاختصارات.
الهجوم (The Attack): بدلاً من التخمين في المحيط بأكره، يقوم المهاجم الآن بإثارة المياه داخل هذه الخريطة المضغوطة الصغيرة فقط.

النتائج: أسرع، أرخص، وأقوى

عندما اختبروا هذه الطة الجديدة ضد الهجمات القياسية:

السرعة: كانت أسرع بشكل جذري. في بعض الحالات، تطلبت 90% أقل من الأسئلة (الاستعلامات) لخداع الذكاء الاصطناعي.
التخفي: كانت الخدع أكثر دقة، مما يعني أنه تم خداع الذكاء الاصطناعي بتشوه أقل وضوحاً.
تعدد الاستخدامات: نجحت الطريقة حتى عندما كان "نموذج الظل" و"الصور العشوائية" مختلفين تماماً عن نموذج الذكاء الاصطناعي المستهدف (على سبيل المثال، استخدام صور الوجوه لخداع ذكاء اصطناعي يحدد أنواع الطيور).

لماذا هذا مهم (وفقاً للورقة البحثية)

تركز الورقة على شيئين رئيسيين:

هجمات أفضل: تجعل من السهل والميسر للباحثين اختبار مدى ضعف أنظمة الذكاء الاصطناعي. إذا كان بإمكانك كسر نظام بسرعة وبموارد أقل، يمكنك العثور على الثغرات بشكل أسرع.
دفاعات أفضل: لأن هذه الهجمات فعالة للغاية، فإنها تشير إلى أن الدفاعات الحالية قد تكون أضعف مما كنا نعتقد. أيضاً، فهم أن الهجمات تعيش في "مساحة صغيرة" يمكن أن يساعد في بناء دفاعات تغلق تلك المساحة الصغيرة خصيصاً، مما يوفر الذاكرة وقوة الحوسبة.

باختاً، اكتشفت الورقة أن كسر الذكاء الاصطناعي أسهل مما ظننا لأن "الشقوق" في النظام صغيرة ومنظمة. ومن خلال العثور على خريطة لتلك الشقوق، يمكن للمهاجمين الاقتحام بشكل أسرع وبجهد أقل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التكيف منخفض الرتبة للاضطراب العدائي" (Low Rank Adaptation for Adversarial Perturbation):

1. بيان المشكلة

تعالج الورقة عدم الكفاءة في الهجمات العدائية ذات الصندوق الأسود (Black-box attacks)، وتحديداً العدد المفرط من الاستعلامات المطلوبة لتوليد أمثلة عدائية ناجحة.

السياق: تُعد هجمات الصندوق الأسود (حيث لا يملك المهاجم وصولاً إلى تدرجات أو أوزان النموذج) هي نموذج التهديد الأكثر واقعية، لكنها تعاني من تكاليف استعلام عالية. يؤدي هذا إلى أعباء مالية عند استهداف واجهات برمجة التطبيقات (APIs) التجارية، كما يحفز أنظمة كشف التسلل.
الفجوة: بينما أحدثت تقنية "التكيف منخفض الرتبة" (LoRA) ثورة في كفاءة الضبط الدقيق للنماذج اللغوية الكبيرة (LLMs) عبر افتراض أن تحديثات النموذج تقع في فضاء فرعي منخفض الأبعاد، يبقى سؤال مفتوح حول ما إذا كانت الاضطرابات العدائية (تحديثات المدخلات) تشترك في هذه الخاصية منخفضة الرتبة. لقد استكشفت الأعمال الحالية الخصائص منخفضة الرتبة في البيانات الطبيعية، لكنها لم تقدم تحليلاً نظرياً أو تجريبياً منهجياً للاضطرابات نفسها.
التحدي: في إعداد الصندوق الأسود، لا يمكن للمهاجم الوصول مباشرة إلى تدرجات النموذج الضحية لتفكيكها إلى مصفوفات منخفضة الرتبة (كما هو متبع في LoRA للأوزان)، مما يجعل من الصعب بناء فضاء بحث منخفض الرتبة.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر يستفيد من البنية المتأصلة منخفضة الرتبة للاضطرابات العدائية لتحسين كفاءة الهجوم. تتكون المنهجية من ثلاثة مكونات رئيسية:

أ. التحقق النظري والتجريبي

النظرية: يثبت المؤلفون أنه بالنسبة لمصنف الشبكة العصبية $f$ ، فإن الحد الأدنى من الاضطراب $\delta$ المطلوب لقلب قرار التصنيف يقع ضمن الفضاء الصفّي لمصفوفة جاكوبي $J(x)$ . وبما أن بُعد المخرجات (عدد الفئات $C$ ) أصغر بكثير من بُعد المدخلات $d$ ( $C \ll d$ )، فإن الاضطراب $\delta$ هو بطبيعته منخفض الرتبة (الرتبة $\le C$ ).
التحليل التجريبي: باستخدام تحليل القيم المفردة (SVD) على الاضطرابات الناتزة عن هجمات مختلفة (مثل PGD و C&W) عبر بنيات متنوعة (ResNet, ViT, EfficientNet) ومجموعات بيانات (ImageNet, CUB-200)، أثبتوا أن حوالي 70-80% من تغير المقدار النسبي للقيم المفردة يتركز بالقرب من الصفر. وهذا يؤكد أن الاضطرابات تشغل مجموعة فرعية صغيرة من الاتجاهات المهيمنة.

ب. بناء الفضاء الفرعي منخفض الرتبة (إعداد الصندوق الأسود)

للتغلب على عدم القدر دراية بالمتدرجات في سيناريوهات الصندوق الأسود، يقترح المؤلفون طريقة بناء فضاء فرعي قابل للنقل:

البيانات المساعدة والنموذج المرجعي: يستخدم المهاجم مجموعة بيانات مساعدة (قد تختلف تسمياتها/توزيعاتها عن النموذج الضحية) ونموذجاً مرجعياً مدرباً مسبقاً (ببنية مختلفة) لتوليد متجهات التدرج.
تصفية القابلية للتفسير: للتخفيف من الضجيج في تدرجات النموذج المرجعي، يطبقون تقنيات التعلم الآلي القابل للتفسير (XAI) (مثل GradCAM، SHAP، LIME) لإنشاء "أقنعة بارزة" (Salient Masks). تسلط هذه الأقنعة الضوء على الميزات الحرجة، مما يسمح للنظام بالتركيز على مكونات التدرج الأكثر صلة.
تدريب المشفر التلقائي (Autoencoder - AE): يتم تدريب مشفر تلقائي يعتمد على بنية U-Net لخرائط متجهات التدرج عالية الأبعاد (المفلترة بالأقنعة) إلى فضاء كامن منخفض الأبعاد وإعادة بنائها. يمثل هذا الفضاء الكامن الفضاء الفرعي منخفض الرتبة.

ج. الهجوم العدائي منخفض الرتبة

يتم دمج الفضاء الفرعي المنشأ في الهجمات الحالية ذات الصندوق الأسود (القائمة على الدرجة Score-based والقائمة على القرار Decision-based):

الآلية: بدلاً من أخذ عينات من متجهات اضطراب عشوائية في الفضاء الكامل عالي الأبعاد، يقوم الهجوم بأخذ عينات من متجهات عشوائية داخل الفضاء الكامن منخفض الأبعاد الذي تم تعلمه.
الإسقاط: يتم فك تشفير هذه المتجهات الكامنة وإعادتها إلى الفضاء الأصلي عالي الأبعاد باستخدام فك التشفير (Decoder) المدرب.
التحسين: يستمر الهجوم عبر تقدير التدرجات وتحديث الاضطراب حصرياً ضمن هذا الفضاء المنخفض الرتبة المقيد، مما يقلل بشكل كبير من فضاء البحث ويسرع سرعة التقارب.

3. المساهمات الرئيسية

البرهان النظري: أول برهان نظري يوضح أن الاضطرابات العدائية تمتلك بطبيعتها بنية منخفضة الرتبة بسبب فجوة الأبعاد بين فضاء المدخلات وفئات المخرجات.
الدليل التجريبي: تحليل SVD شامل عبر نماذج ومجموعات بيانات وأنواع هجمات متنوعة يؤكد الطبيعة منخفضة الرتبة للاضطرابات.
إطار عمل مبتكر: إطار هجوم صندوق أسود يبني فضاءً فرعياً منخفض الرتبة قابلاً للنقل باستخدام بيانات مساعدة، ونماذج مرجعية، وتقنيات XAI، دون الحاجة للوصول إلى التدرجات الداخلية للنموذج الضحية.
مكاسب الأداء: تحقيق تحسن ملحوظ في كل من فعالية الهجوم (تشويه أقل) وكفاءته (استعلامات أقل) مقارنة بالنماذج المرجعية المتطورة.

4. النتائج التجريبية

تم تقييم إطار العمل على مجموعات بيانات ImageNet و CUB-200 و Stanford Cars باستخدام نماذج مثل ResNet-50 و EfficientNet و ViT.

كفاءة الاستعلام: في الهجمات القائمة على القرار (مثل HSJA) على مجموعة بيانات CUB-200، خفضت الطريقة منخفضة الرتبة عدد الاستعلامات المطلوبة لخفض متانة النموذج من 1.0 إلى 0.66 بنسبة 90% (من حوالي 10,000 استعلام إلى أقل من 1,000) مقارنة بالهجمات التقليدية.
تقليل التشويه: حققت الطريقة تشويهاً أقل بكثير في مقياس $L_2$ . على سبيل المثال، في CUB-200 باستخدام HSJA، انخفض متوسط التشويه من 2.64 (الطريقة التقليدية) إلى 0.82 (الطريقة منخفضة الرتبة مع GradCAM).
المتانة تجاه عدم التطابق: ظل الهجوم فعالاً للغاية حتى عندما اختلفت مجموعة البيانات المساعدة (مثل صور الوجوه) والنموذج المرجعي بشكل كبير عن النموذج الضحية (مثل تصنيف الطيور)، مما يثبت قابلية نقل الفضاء الفرعي منخفض الرتبة.
دراسات الاستئصال (Ablation Studies):
- المشفر التلقائي مقابل PCA: تفوق المشفر التلقائي غير الخطي بشكل كبير على PCA الخطي، حيث نجح في التقاط أنماط التدرج المعقدة.
- تكامل XAI: استخدام أقنعة التدرج (XAI) لتدريب المشفر التلقائي أعطى نتائج أفضل من استخدام التدرجات الخام وحدها.
- النماذج القوية: نجحت الطريقة في مهاجمة النماذج المدربة عدائياً (مثل TRADES و Distillation، إلخ)، مما قلل من دقتها المتينة بشكل كبير.

5. الأهمية

من منظور الهجوم: يوفر هذا العمل أداة قوية لتقييم الأمن الحقيقي للأنظمة ذات الصندوق الأسود. من خلال تقليل تكاليف الاستعلام بشكل جذري، فإنه يجعل من الممكن اختبار واجهات برمجة التطبيقات التجارية التي كان من الصعب أو المكلف جداً فحصها باستمرار.
من منظور الدفاع: تشير هذه النتائج إلى أنه يمكن جعل التدريب العدائي أكثر كفاءة. من خلال حصر توليد الأمثلة العدائية في فضاء فرعي منخفض الرتبة أثناء التدريب، يمكن تقليل العبء الحسابي والذاكرة (الذي غالباً ما يكون 3 أضعاف التدريب القياسي) بشكل كبير.
الرؤية النظرية: يربط هذا العمل بين الضبط الدقيق كفء المعلمات (LoRA) والتعلم الآلي العدائي، مؤكداً أن ظاهرة "الرتبة المنخفضة" هي خاصية أساسية للتحسين في الفضاءات عالية الأبعاد للشبكات العصبية، وهي تنطبق على كل من تحديثات الأوزان واضطرابات المدخلات.