💻 computer science

Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

تقترح هذه الورقة البحثية AdvFLYP، وهو نموذج جديد للضبط الدقيق الخصمي لنماذج الرؤية واللغة يحاكي وصفة التدريب المسبق الأصلية باستخدام أزواج الصور والنصوص المجموعة من الويب مع فقد التباين وتنظيم الميزات، مما يعزز بشكل كبير المتانة الخصمية في حالة الصفر والقدرة على النقل عبر مجالات متنوعة دون المساس بالدقة في الحالات الطبيعية.

المؤلفون الأصليون: Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

نُشر 2026-04-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Songlong Xing, Weijie Wang, Zhengyu Zhao, Jindong Gu, Philip Torr, Nicu Sebe

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً جاب العالم، يُدعى CLIP. لقد قرأ هذا الأمين ملايين الكتب ورأى ملايين الصور من الإنترنت، وبسبب ذلك، يمتلك CLIP ذكاءً خارقاً في تخمين موضوع الصورة، حتى لو لم يرَ هذا النوع المحدد من الصور من قبل. تُسمى هذه القدرة "القدرة على التعرف دون تدريب مسبق" (zero-shot)—وهي تشبه تخمين أن حيوان جديد هو "قطة" لمجرد أنك تعرف كيف تبدو القطط، دون أن تتعلم كلمة "قطة" بشكل محدد.

ومع ذلك، هناك مشكلة. إذا وضع شخص ما ملصقاً صغيراً غير مرئي تقريباً على صورة ما (هجوم عدائي - adversarial attack)، يمكن لـ CLIP أن يُخدع ويظن أن الكلب هو محمصة خبز. إنه هش بشكل مثير للدهشة.

الطريقة القديمة: نهج "رقيب التدريب"

لإصلاح هذا، حاول باحثون سابقون جعل CLIP أكثر صلابة. أخذوا مجموعة محددة من البطاقات التعليمية (مثل مجموعة ImageNet الشهيرة) وتصرفوا كرقيب تدريب صارم.

الطريقة: عرضوا على CLIP صورة، وأضافوا إليها "ملصقاً مخادعاً"، ثم صرخوا: "هذا كلب! يجب أن تتعلم رؤية الكلب حتى مع وجود الملصق!"
المشكلة: نجح هذا الأمر بشكل جيد مع البطاقات التعليمية، لكنه جعل CLIP ينسى معرفته العامة. أصبح شديد التركيز على البطاقات التعليمية المحددة وبدأ يفشل في التعرف على الأشياء في العالم الحقيقي. كان الأمر يشبه طالباً حفظ إجابات اختبار تجريبي بدقة شديدة لدرجة أنه نسي كيف يفكر نقدياً في أي شيء آخر.

الفكرة الجديدة: "تدرب كما ولدت" (AdvFLYP)

كان لدى المؤلفين، سونغلونغ شينغ وفريقه، فكرة مختلفة. تساءلوا: "لماذا ندرب CLIP كطالب يؤدي اختباراً، بينما تم تدريب CLIP في الأصل كـ مستكشف فضولي يقرأ الإنترنت بأكره؟"

اقترحوا طريقة جديدة تسمى AdvFLYP (التدريب النهائي العدائي كما في التدريب الأصلي). إليك التشبيه:

1. بيانات التدريب: "المكتبة الفوضوية" مقابل "البطاقات التعليمية"

الطريقة القديمة: استخدمت بطاقات تعليمية مرتبة ومصنفة (ImageNet).
الطريقة الجديدة (AdvFLYP): تستخدم كومة فوضوية وعشوائية مكونة من مليون صورة وتعليقات تم جمعها من الإنترنت (مثل مجموعة LAION). إنها غير منظمة ومليئة بالضجيج، لكنها تماماً من نوع البيانات التي وُلد معها CLIP.

2. الدرس: "طابق التعليق" مقابل "اختر الإجابة الصحيحة"

الطريقة القديمة: المعلم يقول: "هل هذا قط أم كلب؟ اختر التصنيف الصحيح!" (هذه مهمة تصنيف).
الطريقة الجديدة (AdvFLYP): المعلم يقول: "إليك صورة عليها ملصق، وإليك جملة تصفها. تأكد من أن الصورة والجملة لا تزالان متطابقتين تماماً، حتى مع وجود الملصق".
لماذا تنجح: لأن هذا يحترم الطريقة التي بُني بها عقل CLIP في الأصل. بدلاً من إجباره على حفظ التصنيفات، نحن فقط نطلب منه الحفاظ على فهمه للعالم سليماً، حتى عندما يكون العالم مشوهاً قليلاً.

3. شبكة الأمان: "الحارس الشخصي" (التنظيم - Regularization)

كان هناك عقبة واحدة. نظرًا لأن بيانات الإنترنت فوضوية، قد يخدع "الملصق" نظام CLIP ليرى أشياءً ليست موجودة، مما يشوه صورته الذهنية كثيراً.

الحل: أضاف المؤلفون "حارساً شخصياً" (قاعدة رياضية تسمى التنظيم - regularization).
كيف يعمل: إذا بدأ CLIP في رؤية صورة بشكل مختلف تماماً بسبب الملصق، يقوم الحارس الشخصي بدفعه بلطف للعودة إلى المسار الصحيح. يقول له: "مهلاً، لا تنسَ كيف كانت تبدو هذه الصورة قبل الملصق!"
النتيجة: هذا يحافظ على قدرات CLIP الخارقة في "التعرف دون تدريب مسبق" مع تعليمه في الوقت نفسه تجاهل الخدع.

النتائج: أمين مكتبة أذكى وأكثر صلابة

عندما اختبروا هذه الطريقة الجديدة على 14 نوعاً مختلفاً من المهام (من التعرف على الزهور إلى رصد السيارات)، كانت النتائج مذهلة:

الطرق القديمة: أصبح CLIP صلباً ضد الهجمات ولكنه أصبح غبياً في التعرف على الأشياء العادية.
AdvFLYP: أصبح CLIP صلباً ضد الهجمات و حافظ على قدرته على التعرف على الأشياء في العالم الحقيقي.

الخلاصة الكبرى

تعلمنا هذه الورقة درساً بسيطاً ولكنه عميق: إذا أردت جعل ذكاء اصطناعي ذكي أكثر صلابة، فلا تجبره على الدراسة لاختبار محدد. بدلاً من ذلك، اتركه يستمر فيما وُلد لفعله — استكشاف العالم الحقيقي الفوضوي — ولكن مع القليل من الحماية الإضافية ضد الخدع.

من خلال احترام أسلوب تدريب الذكاء الاصطناعي الأصلي، خلق المؤلفون نظاماً ليس فقط أكثر حصانة ضد المخترقين، بل وأكثر ذكاءً في الحياة اليومية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models" (AdvFLYP).

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs) مثل CLIP قدرات مذهلة في التعلم من الصفر (zero-shot)، لكنها تظل عرضة بشدة للهجمات العدائية (adversarial attacks)، حيث تؤدي التغييرات الطفيفة على مستوى البكسل إلى حدوث خطأ في التصنيف.

القيود الحالية: تتبع الطرق الحالية لتعزيز المتانة العدائية، والمعروفة باسم التدريب الدقيق العدائي (Adversarial Finetuning - AFT)، نموذجاً يعتمد على تدريب المشفر البصري مسبق التدريب على مجموعة بيانات تصنيف وسيطة (مثل ImageNet) باستخدام أمثلة عدائية وخسارة الإنتروبيا المتقاطعة (cross-entropy loss).
الجذر الأساسي للمشكلة: هذا النهج يبتعد بشكل كبير عن عملية ما قبل التدريب الأصلية لنموذج CLIP، والتي تعتمد على التعلم التبايني (contrastive learning) عبر أزواج ضخمة وغير منظمة من (الصور-النصوص) المستمدة من الويب.
- النتيجة 1: يؤدي التدريب الدقيق على مجموعة بيانات تصنيف باستخدام خسارة الإنتروبيا المتقاطعة إلى تدهور قدرات النموذج في التعميم من الصفر (zero-shot generalization).
- النتيجة 2: غالباً ما تكون المتانة المكتسبة محدودة في الانتقال عبر النطاقات ومجموعات البيانات المختلفة لأن توزيع التدريب (فئات نظيفة ومصنفة) لا يتطابق مع توزيع ما قبل التدريب (بيانات ويب مفتوحة المصدر وغير منظمة).

2. المنهجية: AdvFLYP

يقترح المؤلفون AdvFLYP (التدريب الدقيق العدائي كما لو كنت تقوم بما قبل التدريب)، وهو نموذج يربط عملية التدريب الدقيق العدائي بوصفة ما قبل التدريب الأصلية لـ CLIP.

أ. توزيع بيانات التدريب

بدلاً من استخدام مجموعة بيانات تصنيف منسقة مثل ImageNet، يستخدم AdvFLYP أزواج (صورة-نص) بمقياس الويب (تحديداً مليون زوج تم سحبها من LAION-400M). وهذا يحاكي التوزيع المتنوع وغير المنظم لبيانات ما قبل التدريب الأصلية.

ب. هدف التدريب (الخسارة التباينية)

بدلاً من تقليل خسارة الإنتروبيا المتقاطعة لمواءمة الصور مع تسميات الفئات، يقوم AdvFLYP بتقليل الخسارة التباينية (contrastive loss) (المعادلة 1 في الورقة).

العملية: بالنسبة لدفعة (batch) من أزواج (صورة-نص) $\{(x_i, t_i)\}$ ، يتم توليد اضطرابات عدائية $\delta_i$ لـ زيادة الخسارة التباينية داخل الدفعة.
التحسين: يتم بعد ذلك تحديث المشفر البصري لـ تقليل هذه الخسارة التباينية، مما يجبر النموذج فعلياً على مطابقة الصور العدائية مع نصوصها المقابلة مع اعتبار الصور الأخرى في الدفعة كعينات سالبة.
الاختلاف الجوهري: على عكس الطرق السابقة حيث يتم توليد الاضطرابات بشكل مستقل لكل صورة لزيادة خسارة التصنيف، يقوم AdvFLYP بتوليد الاضطرابات بشكل مشترك للدفعة لزيادة هدف التباين.

ج. استراتيجيات التنظيم (Regularization)

بما أن بيانات الويب غير منظمة، فإن توليد أمثلة عدائية عبر التعلم التبايني يمكن أن يؤدي إلى تشويه تمثيلات الميزات (feature embeddings) مما يضر بالمشفر البصري. يقدم المؤلفون مصطلحين للتنظيم للتخفيف من ذلك:

تنظيم مستوى الميزة ( $L_{feat}$ ):
- الهدف: الحفاظ على قدرات التعلم من الصفر ومنع المشفر البصري من تعلم ميزات مشوهة.
- الآلية: يعاقب الانحراف في ميزات الصورة العدائية (التي ينتجها النموذج المستهدف $f_\theta$ $f_{θ}$ ) عن مصدرين:
  1. ميزات الصورة النظيفة (من نفس النموذج).
  2. الميزات العدائية التي ينتجها نموذج CLIP الأصلي المجمد ( $F_{\theta_0}$ ).
- الأثر: يحسن الدقة النظيفة (clean accuracy) بشكل كبير من خلال الحفاظ على استقرار مساحة الميزات.
تنظيم مستوى اللوجيت ( $L_{logit}$ ):
- الهدف: تعزيز المتانة والقدرة على التعميم.
- الآلية: يطبق خسارة تباعد KL (KL-divergence) بين احتمالات اللوجيت (logits) للنموذج المستهدف وتلك الخاصة بنموذج CLIP الأصلي المجمد (والنظراء النظيفين).
- الأثر: يحسن المتانة العدائية بشكل كبير عبر المهام المختلفة.

دالة الخسارة النهائية:
$\theta' = \arg \min_\theta \{ \mathcal{L}_{CLIP} + \mathcal{L}_{logit} + \mathcal{L}_{feat} \}$

3. المساهمات الرئيسية

تحول في النموذج: يتحدى الممارسة القياسية لـ AFT باستخدام خسارة الإنتروبيا المتقاطة على مجموعات البيانات المصنفة. ويقترح أن احترام توزيع بيانات ما قبل التدريب (صورة-نص بمقياس الويب) وهدفه هو أمر بالغ الأهمية لنماذج VLMs المتينة.
تنظيم مبتكر: يثبت أن بينما يساعد تنظيم مستوى اللوجيت في المتانة، فإن تنظيم مستوى الميزة ضروري بشكل فريد للحفاظ على الدقة النظيفة في سياق التدريب العدائي التبايني على البيانات غير المنظمة.
أداء رائد (SOTA): يضع معياراً جديداً للتدريب الدقيق العدائي يتفوق على الطرق الموجودة دون الحاجة إلى تغييرات معقدة في البنية أو بيانات تدريب إضافية تتجاوز مقياس الويب.

4. النتائج التجريبية

قيم المؤلفون AdvFLYP على 14 مجموعة بيانات تابعة تغطي نطاقات متنوعة (التعرف على الأشياء، التصنيف دقيق التفاصيل، التعرف على المشاهد، إلخ) تحت ثلاثة أنواع من الهجمات: PGD-10، وCW-10، وAutoAttack.

المتانة:
- AdvFLYP (الأساسي): حقق متوسط دقة متينة قدره 35.61% (مقابل 33.00% لـ TeCoA، وهو المستوى القياسي السابق).
- AdvFPYFull (مع التنظيم): حقق متوسط دقة متينة قدره 38.39%، متفوقاً بشكل كبير على جميع النماذج المرجعية بما في ذلك PMG-AFT وTGA-ZSR.
- الهجمات الأقوى: تحت ميزانيات هجوم أقوى ( $\epsilon = 2/255$ و $4/255$ )، حافظ AdvFPY باستمرار على فجوة أداء فوق النماذج المرجعية، مما أظهر قدرة فائقة على الانتقال.
الدقة النظيفة:
- نقطة ضعف رئيسية في AFT هي المقايضة بين المتانة والدقة النظيفة.
- حقق AdvFPYFull متوسط دقة نظيفة قدره 55.84%، متفوقاً على النماذج المرجعية الخاضعة للإشراف (TeCoA: 51.35%، PMG-AFT: 54.25%) ومقارباً لأداء الطرق غير الخاضعة للإشراف مع الحفاظ على متانة أعلى.
دراسات الاستئصال (Ablation Studies):
- أكدت أن الهدف التبايني مركزي للمتانة.
- أظهرت أن تنظيم مستوى الميزة ضروري للحفاظ على الدقة النظيفة في هذا النموذج تحديداً، وهي نتيجة تختلف عن الدراسات السابقة على AFT القائم على الإنتروبيا المتقاطة حيث كان تنظيم الميزات أقل فعالية.
- أثبتت أن تطبيق مفهوم "التدريب الدقيق كما لو كنت تقوم بما قبل التدريب" (FLYP) بشكل ساذج على ImageNet (بتجاهل تداخل الدفعات) لا يعمل؛ بل إن الجمع بين بيانات الويب + الخسارة التباينية + الاضطراب المشترك هو الضروري.

5. الأهمية

إعادة التفكير في المتانة: تجادل الورقة بأن المتانة لا ينبغي معاملتها كمرحلة منفصلة لما بعد التدريب تتجاهل سياق ما قبل التدريب. بدلاً من ذلك، يتم تحقيق المتانة بشكل أفضل من خلال مواصلة مسار ما قبل التدريب (التوزيع والهدف) حتى عند إدخال الضجيج العدائي.
القدرة على التعميم: الطريقة مستقلة عن النطاق ولا تعتمد على تسميات فئات محددة، مما يجعلها قابلة للانتقال بشكل كبير إلى مهام الكلمات المفتوحة (open-vocabulary).
الكفاءة: النهج بسيط وبديهي، ويتطلب فقط خسارة تباينية قياسية ومصطلحات تنظيم، ومع ذلك فهو يتفوق على الطرق المعقدة التي تعتمد على آليات الانتباه أو المطالبات (prompts) الموجهة بالنص.
التأثير على المجتمع: يضع معياراً جديداً للتدريب الدقيق العدائي في نماذج VLMs، مما يشير إلى أن الأبحاء المستقبلية يجب أن تعطي الأولوية لمواءمة أهداف التدريب الدقيق مع أهداف ما قبل التدريب بدلاً من إجبار نماذج VLMs على نماذج التصنيف التقليدية.