Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Epsilon-Scheduling

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الضبط الدقيق القوي من نماذج سابقة التدريب غير قوية: التخفيف من النقل دون الأمثل عبر جدولة إبسيلون" (ICLR 2026).

1. بيان المشكلة

تتناول الورقة فجوة حرجة في الضبط الدقيق القوي (Robust Fine-Tuning - RFT): وهي الافتراض بأن النماذج الأساسية (backbones) القوية مسبقة التدريب ضرورية لنجاح المتانة في المهام اللاحقة. في الواقع، معظم النماذج سابقة التدريب المتاحة على نطاق واسع (مثل تلك الموجودة في Hugging Face) هي نماذج غير قوية (تدربت فقط على بيانات نظيفة).

عندما يحاول الباحثون إجراء ضبط دقيق قوي لهذه النماذج غير القوية باستخدام أهداف التدريب الخصمي (Adversarial Training - AT) القياسية (تحديداً تقليل أسوأ خسارة عند قوة اضطراب ثابتة $\epsilon_g$)، فإنهم يواجهون ظاهرة يسميها المؤلفون النقل دون الأمثل (Suboptimal Transfer).

• المشكلة: حتى مع استخدام قوى اضطراب صغيرة، غالباً ما يؤدي الضبط الدقيق القوي القياسي إلى انهيار الدقة النظيفة (clean accuracy) بشكل كبير مقارنة بالضبط الدقيق القياسي. وفي الحالات الشديدة، تنخفض الأداء إلى مستويات تقترب من العشوائية، مما يجعل التهيئة سابقة التدريب عديمة الفائدة.
• السبب: يحدد المؤلفون أن تطبيق هدف قوي فور بدء التدريب يؤخر التكيف مع المهمة. حيث يكافح النموذج لتعلم ميزات المهمة اللاحقة لأن الاضطرابات الخصمية تشوه التمثيلات سابقة التدريب قبل أن يتمكن النموذج من التكيف مع المجال الجديد.

2. المنهجية

أ. جدولة إبسيلون (الحل المقترح)

للتخفيف من النقل دون الأمثل، يقترح المؤلفون جدولة إبسيلون (Epsilon-Scheduling)، وهي جدولة تعتمد على منهج تعليمي (heuristic) تعدل قوة الاضطراب الخصمي ($\epsilon$) ديناميكياً أثناء التدريب.

• الآلية: بدلاً من تثبيت $\epsilon = \epsilon_g$ طوال التدريب (الأساس المرجعي RFT-fix)، تتبع الجدولة دالة خطية ذات مفصلين (two-hinge linear function):
  1. المرحلة 1 (التكيف): لأول $T_1$ من الحقبات (epochs)، يكون $\epsilon = 0$. يقوم النموذج بضبط دقيق قياسي للتكيف مع المهمة اللاحقة دون قيود المتانة.
  2. المرحلة 2 (الانتقال): من الحقبة $T_1$ إلى $T_2$، تزداد $\epsilon$ خطياً من $0$إلى الهدف$\epsilon_g$.
  3. المرحلة 3 (المتانة): من الحقبة $T_2$ فصاعداً، تظل $\epsilon$ ثابتة عند $\epsilon_g$.
• المنطق: يعمل هذا كاستراتيجية تعلم تدريجي (curriculum learning). فهو يسمح للنموذج أولاً بإنشاء تمثيل قوي للمهمة اللاحقة (تقليل الخسارة النظيفة) قبل إدخال قيد المتانة تدريجياً، مما يمنع "تشوه الميزات" الذي يسبب تأخير التكيف.

ب. المتانة المتوقعة (مقياس تقييم جديد)

تجادل الورقة بأن التقييم القياسي (الدقة النظيفة مقابل الدقة القوية عند $\epsilon_g$ واحدة) غير كافٍ. لذا قدموا مقياس المتانة المتوقعة (Expected Robustness):

• التعريف: الدقة المتوقعة للنموذج عبر كامل نطاق الاضطرابات من $0$إلى$\epsilon_g$، بافتراض توزيع منتظم لقوى الاضطراب.
• الصيغة: $\text{Acc}_{[0, \epsilon_g]}(f) = \frac{1}{\epsilon_g} \int_{0}^{\epsilon_g} \text{Acc}_{\epsilon}(f) d\epsilon$.
• الأهمية: يلتقط هذا المقياس منحنى المقايضة الكامل بين الدقة والمتانة (المساحة تحت المنحنى)، مما يوفر رؤية أكثر شمولاً لأداء النموذج تحت نماذج التهديد الواقعية حيث قد تختلف شدة الاضطرابات.

3. المساهمات الرئيسية

1. تحديد النقل دون الأمثل: توضح الورقة بشكل منهجي أن الضبط الدقيق القوي من النماذج الأساسية غير القوية غالباً ما يفشل، مما يؤدي إلى تدهور شديد في الدقة النظيفة، حتى عند مستويات اضطراب متوسطة ($\epsilon_g = 4/255$).
2. تشخيص تأخر التكيف: من خلال التحليل التجريبي، أظهر المؤلفون وجود ارتباط سلبي قوي بين تأخر التكيف مع المهمة (عدد الحقبات قبل ارتفاع دقة التحقق) وشدة النقل دون الأمثل. يتسبب الضبط الدقيق القوي القياسي في هذا التأخير؛ بينما تلغيه جدولة إبسيلون.
3. جدولة إبسيلون: جدولة خطية بسيطة وفعالة ذات مفصلين تسمح للنماذج بالتكيف مع المهمة أولاً ثم تعلم المتانة، مما ينجح في منع النقل دون الأمثل.
4. مقياس المتانة المتوقعة: معيار تقييم جديد يحدد الأداء عبر طيف من الاضطرابات، ويكشف أن جدولة إبسيلون غالباً ما تحقق فائدة إجمالية أفضل من الضبط الدقيق القوي القياسي، حتى لو كانت متانة الحالة الأسوأ أقل قليلاً.

4. النتائج التجريبية

قيم المؤلفون طريقتهم عبر 6 نماذج سابقة التدريب (ViT, Swin, ConvNeXt, ResNet-50, CLIP-ViT, CLIP-ConvNeXt) و 5 مجموعات بيانات (Caltech, CUB, Cars, Dogs, Aircraft) تحت نظامي اضطراب: متوسط ($\epsilon_g = 4/255$) وعالٍ ($\epsilon_g = 8/255$).

• التخفيف من الفشل:
  • الضبط الدقيق القوي القياسي (fix): أدى في كثير من الأحيان إلى نقل دون أمثل. على سبيل المثال، في مجموعة بيانات Aircraft مع نموذج ViT، انخفضت الدقة النظيفة إلى ~6% عند $\epsilon_g=4/255$ (مقارنة بـ ~58% مع الضبط الدقيق القياسي).
  • جدولة إبسيلون (sched): حافظت باستمرار على دقة نظيفة عالية (غالباً ما تطابق أو تتجاوز الضبط الدقيق القياسي) مع تحقيق متانة كبيرة.
• مكاسب الأداء:
  • عند $\epsilon_g = 4/255$، حسنت جدولة إبسيلون المتانة المتوقعة في جميع الإعدادات مقارنة بـ fix.
  • عند $\epsilon_g = 8/255$، فشل الضبط الدقيق القوي القياسي بشكل شبه عالمي (الدقة النظيفة قريبة من 0-5%)، بينما حافظت جدولة إبسيلون على الدقة النظيفة (مثلاً ~69% على Aircraft مع Swin) وحققت المتانة.
• النماذج الأساسية القوية: حتى عند تطبيقها على نماذج سابقة التدريب قوية، حسنت جدولة إبسيلونة الدقة النظيفة، رغم أنها قللت أحياناً من متانة الحالة الأسوأ قليلاً، ومع ذلك حققت مكسباً صافياً في المتانة المتوقعة.
• ديناميكيات التحسين: أظهر تحليل تضاريس الخسارة (loss landscapes) أن جدولة إبسيلون تتقارب نحو حد أدنى محلي مختلف عن الضبط الدقيق القوي القياسي، يتميز بخسارة نظيفة أقل وخسارة خصمية مماثلة، مما يوازن بفعالية بين الأهداف المتعارضة.

5. الأهمية والأثر

• سد الفجوة بين البحث والنشر: بما أن معظم النماذج سابقة التدريب المتاحة هي نماذج غير قوية، فإن هذا العمل يوفر استراتيجية عملية وضرورية لجعلها قوية للمهام اللاحقة دون الحاجة إلى تدريب مسبق قوي مكلف.
• تحول في نموذج الضبط الدقيق القوي: تتحدى الورقة الافتراض السائد بأن التدريب المسبق القوي هو شرط مسبق للضبط الدقيق القوي. تثبت الورقة أن جدولة إدخال الاضطراب أكثر أهمية من المتانة الأولية للنموذج الأساسي.
• معيار التقييم: يشجع تقديم المتانة المتوقعة المجتمع على تجاوز التقييم بنقطة واحدة، مما يقدم مقياساً أكثر واقعية للتطبيقات الحرجة للسلامة حيث تختلف شدة التهديدات.
• القدرة على التعميم: الطريقة مستقلة عن البنية (تعمل على CNNs و Transformers) ومستقلة عن المهمة، مما يجعلها أداة متعددة الاستخدامات لمجتمع تعلم الآلة الأوسع.

في الختام، تثبت الورقة أنه عندما، وليس فقط كيف، نطبق التدريب الخصمي أثناء الضبط الدقيق، هو المفتاح لفتح آفاق المتانة في النماذج سابقة التدريب غير القوية. تقدم جدولة إبسيلون حلاً بسيطاً وعالي التأثير لوضع فشل كان مغفلاً عنه سابقاً في تعلم النقل.