CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

ملخص تقني لـ CRoFT: الضبط الدقيق القوي مع التحسين المتزامن للتعميم خارج التوزيع (OOD) وكشف الفئات المفتوحة خارج التوزيع (Open-Set OOD)

بيان المشكلة
أظهرت النماذج الحديثة سابقة التدريب لغوية-بصرية (VL-PTMs)، مثل CLIP، نجاحاً ملحوظاً في المهام مفتوحة المفردات. ومع ذلك، فإن نشر هذه النماذج في سيناريوهات العالم الحقيقي يتطلب غالباً ضبطاً دقيقاً للتطبيقات اللاحقة. وتفرض هذه العملية تحدياً حرجاً: فالضبط الدقيق القياسي يمكن أن يشوه المعرفة العامة للنماذج، مما يضعف قدرتها على التعامل مع انزياحات التوزيع. وتواجه بيئات العالم الحقيقي نوعين متميزين من انزياح التوزيع:

1. انزياحات المتغيرات المصاحبة (Closed-Set OOD): تغيرات في أنماط الصور أو البيئات حيث تظل تسميات الفئات هي نفسها الموجودة في بيانات التدريب (مثل كلب بأسلوب الرسم التخطيطي/Sketch).
2. الانزياحات الدلالية (Open-Set OOD): وجود فئات وقت الاختبار التي لم تكن مرئية أثناء التدريب (مثل الباندا عندما يكون النموذج قد تدرب على الكلاب).

تركز طرق الضبط الدقيق الحالية عادةً على تحسين المتانة تجاه انزياحات المتغيرات المصاحبة (التعميم خارج التوزيع - OOD generalization) أو اكتشاف الفئات غير المرئية (كشف الفئات المفتوحة خارج التوزيع - open-set OOD detection) بشكل منفصل. وغالباً ما تفشل في معالجة كليهما في آن واحد. علاوة على ذلك، تعاني طرق الكشف القائمة على الطاقة (energy-based detection) لأن توزيعات الطاقة للبيانات داخل التوزيع (ID) والبيانات خارج التوزيع (OOD) تتداخل بشكل كبير، مما يجعل التمييز بينهما صعباً. تعالج الورقة البحثية السؤال التالي: كيف يمكن ضبط نماذج VL-PTMs بدقة لتحسين التعميم لبيانات الـ OOD ذات المجموعة المغلقة (closed-set)، مع اكتشاف الفئات المفتوحة غير المرئية (open-set) بفعالية في الوقت نفسه؟

المنهجية
يقترح المؤلفون CRoFT، وهو إطار عمل موحد للضبط الدقيق يتيح التحسين المتزامن للتعميم خارج التوزيع (OOD generalization) واكتشاف الفئات المفتوحة خارج التوزيع (open-set OOD detection). تعتمد المنهجية على ثلاث مكونات أساسية:

1. خسارة إعادة تشكيل توزيع الطاقة (EDR Loss):
   بدلاً من تقليل درجات الطاقة مباشرة على البيانات داخل التوزيع (ID)، يقترح المؤلفون تقليل مقدار تدرج درجات الطاقة. نظرياً، يؤدي تقليل مقدار تدرج درجات الطاقة ($\nabla_\theta E_\theta(x) \to 0$) إلى مصفوفات هسيان (Hessians) متسقة مع النطاق لخسارة التصنيف. يتم صياغة خسارة EDR هذه كتقليل لمتجه النور (squared norm) لمتجه التدرج لدالة log-sum-exp الخاصة بحدود الطاقة. هذا النهج يعيد تشكيل توزيع الطاقة لتمييز الفئات المعروفة عن المجهولة بشكل أفضل دون التضحية بدقة التصنيف.

2. حد التعميم خارج التوزيع القائم على الهسيان (Hessian-Based OOD Generalization Bound):
   من خلال التحليل النظري، يربط المؤلفون بين خسارة EDR والتعميم خارج التوزيع (OOD generalization). حيث يثبتون أن خسارة EDR تستحث مصفوفات هسيان متسقة مع النطاق، مما يساعد في وضع حدود لأداء التعميم على بيانات اختبار الـ OOD ذات المجموعة المغلقة تحت أسوأ السيناريوهات. وتحديداً، يشتقون حداً للتعميم يوضح أن الفجوة في الأداء بين نطاق المصدر والنطاق المستهدف ترتبط بالمخاطر التجريبية في حالات انزياح المتغيرات المصاحبة الأسوأ، وبانحناء (Hessian) دالة المخاطرة.

3. إطار التحسين المتزامن (Concurrent Optimization Framework):
   لتقليل حد التعميم المستمد، يستخدم CRoFT استراتيجية تعلم تنافسي (adversarial learning). حيث يقوم بتوليد سمات صور "السيناريو الأسوأ" للمتغيرات المصاحبة التي تحافظ على المعلومات الدلالية ولكنها تختلف عن سمات البيانات داخل التوزيع (ID). يقوم الإطار بتحسين دالة هدف موحدة تتكون من:

• خسارة التصنيف القياسية على سمات الـ ID.
• خسارة ($L_c$) يتم تحسينها على سمات الـ OOD المولدة في السيناريو الأسوأ لتعزيز المتانة.
• خسارة EDR ($L_e$) تُطبق على كل من سمات الـ ID والسمات المولدة للـ OOD لإعادة تشكيل توزيعات الطاقة.

يستخدم الإطار ضبطاً دقيقاً خفيف الوزن (عن طريق حقن إسقاطات خطية أحادية الطبقة/محولات (adapters) داخل مشفرات CLIP المجمدة) لضمان الكفاءة الحسابية.

المساهمات الرئيسية

• إطار عمل موحد: يعد CRoFT أول إطار عمل يحسن في آن واحد كلاً من التعميم خارج التوزيع (OOD generalization) للمجموعات المغلقة واكتشاف الفئات المفتوحة خارج التوزيع (open-set OOD detection) أثناء الضبط الدقيق لنماذج VL-PTMs.
• رؤية نظرية: تقدم الورقة برهاناً نظرياً على أن تقليل مقدار تدرج درجات الطاقة (EDer loss) يؤدي إلى مصفوفات هسيان متسقة مع النطاق، مما يضع حداً نظرياً لخطأ التعميم خارج التوزيع (OOD generalization error). وهذا يكشف عن ارتباط خفي بين اكتشاف الـ OOD والتعميم خارج التوزيع.
• دالة خسارة مبتكرة: تقديم خسارة EDR، التي تعيد تشكيل توزيعات الطاقة عن طريق تقليل مقادير التدرج بدلاً من مجرد قيم الطاقة، مما يحسن الفصل بين بيانات الـ ID والـ OOD.
• التوليد التنافسي: توليد سمات للمتغيرات المصاحبة في "السيناريو الأسوأ" للتدريب صراحةً ضد انزياحات التوزيع، مما يعزز المتانة.

النتائج التجريبية
أُجريت تجارب واسعة النطاق على إعدادين:

• الإعداد الأول (Setup-I): متغيرات ImageNet واسعة النطاق تحتوي على 40% من فئات المجموعة المغلقة و60% من فئات المجموعة المفتوحة، بما في ذلك مجموعات بيانات ذات متغيرات مصاحبة (ImageNet-A, R, Sketch, V2).
• الإعداد الثاني (Setup-II): تقييم عبر مجموعات البيانات باستخدام مجموعات بيانات التعميم النطاقي (PACS, VLCS) كمجموعة مغلقة، ومجموعات أخرى (Caltech101, DTD, Food101) كمجموعة مفتوحة.

النتائج الرئيسية:

• اكتشاف المجموعة المفتوحة (Open-Set Detection): يتفوق CRoFT بشكل كبير على طرق الضبط الدقيق الرائدة (مثل CoOp, CoCoOp, CLIP-Adapter, Tip-Adapter-F). في الإعداد الأول، حقق انخفاضاً يصل إلى 25.3% في معدل الإيجابيات الكاذبة عند استدعاء 95% (FPR95) مقارنة بنموذج CLIP (zero-shot)، وتحسناً يصل إلى 20% في اكتشاف الفئات المفتوحة غير المرئية مقارنة بطرق الضبط الدقيق الأخرى.
• التعميم خارج التوزيع (OOD Generalization): يُظهر CRoFT أداءً مقارباً أو متفوقاً في التعميم على مجموعات اختبار الـ OOD ذات المجموعة المغلقة (مثل ImageNet-Sketch, ImageNet-A) مقارنة بالطرق الحالية.
• دراسات الاستبعاد (Ablation Studies): أدى إزالة إما خسارة EDR ($L_e$) أو الخسارة التنافسية ($L_c$) إلى تدهور الأداء في كلا المهمتين، مما يؤكد ضرورة التحسين المتزامن.
• تصوير السمات: تُظهر تصورات t-SNE ورسوم توزيع الطاقة أن CRoFT ينجح في تقليل التداخل بين توزيعات طاقة الـ ID والـ OOD ويتعلم تمثيلات سمات أكثر تميزاً للتمييز بين المفتوح والمغلق.

الأهمية والادعاءات
تدعي الورقة أن CRoFT يعالج فجوة حرجة في نشر نماذج VL-PTMs من خلال تمكينها من التعامل مع كل من انزياحات التوزيع المعروفة والفئات غير المعروفة في آن واحد. ويؤكد المؤلفون أن اكتشافهم النظري — المتمثل في أن التحسين من أجل اكتشاف المجموعة المفتوحة عبر خسارة EDR يعزز بطبيعته التعميم خارج التوزيع — يوفر اتجاهاً جديداً للضبط الدقيق القوي. يتم تقديم الطريقة كحل عملي للتطبيقات عالية المخاطر (مثل القيادة الذاتية، والتصوير الطبي) حيث يكون اكتشاف الفئات غير المرئية لا يقل أهمية عن الحفاظ على الدقة في الفئات المعروفة تحت ظروف تغير البيئة. وقد تم توفير الكود البرمجي لتسهيل المزيد من الأبحاث في مجال تكييف نماذج الرؤية واللغة القوية.