ملخص تقني: احترام فجوة النمط في الكشف عن القيم الخارجة عن التوزيع بعد وقوع الحدث باستخدام نماذج الرؤية واللغة سابقة التدريب

بيان المشكلة

يعد الكشف عن القيم الخارجة عن التوزيع (OOD) أمراً بالغ الأهمية لضمان موثوقية نماذج تعلم الآلة في البيئات المفتوحة، حيث قد تنتمي عينات الاختبار إلى فئات غير معروفة لم تُشاهد أثناء التدريب. وبينما مكنت التطورات الأخيرة في نماذج الرؤية واللغة (VLMs) سابقة التدريب، وخاصة نموذج CLIP، من الكشف عن القيم الخارجة عن التوزيع بنمط "الصفر المعرفة" (zero-shot) دون الوصول إلى بيانات تدريب الفئة داخل التوزيع (ID)، إلا أن النهج السائد يعتمد على نموذج محدد: وهو معاملة التضمينات النصية لأسماء الفئات كأنماط نموذجية (prototypes) للفئات.

تتحدى هذه الورقة البحثية صحة نموذج "النص كنمط نموذجي". وتجادل بأن الأساليب الحالية تفترض ضمناً أن التمثيلات النصية متوافقة جيداً مع الأنماط البصرية المثلى للفئات. ومع ذلك، تشير الأدلة الحديثة إلى وجود "فجوة نمط" (modality gap) مستمرة، حيث تظل التمثيلات النصية والبصرية في نماذج CLIP متميزة عن بعضها البعض. ويرى المؤلفون أن الأنماط النموذجية النصية الجاهزة غالباً ما تكون غير متوافقة مع الأنماط البصرية المثلى، مما يخلق فجوة هيكلية جوهرية لا يمكن حلها بمجرد هندسة الأوامر (prompt engineering) أو تنقيب الملصقات السلبية. ويؤدي هذا عدم التوافق إلى أداء دون المستوى في الكشف عن القيم الخارجة عن التوزيع.

المنهجية

لمعالجة فجوة النمط تحت قيود "ما بعد وقوع الحدث" (post-hoc) (حيث لا تتوفر بيانات تدريب ID)، تقترح الورقة إطار عمل تعلم شبه مُشرف عبر الإنترنت (online pseudo-supervised framework) يقوم بتعلم وتحديث الأنماط النموذجية للفئات مباشرة داخل فضاء السمات البصرية.

1. التوصيف النظري لفجوة النمط

يقدم المؤلفون أولاً تحليلاً نظرياً تحت صياغة إشرافية مثالية. حيث استنتجوا تعبيراً مغلق الصيغة للأنماط النموذجية البصرية المثلى، وأثبتوا أن هذه الأنماط يجب أن تقع بالكامل ضمن نطاق الفضاء الميزة البصرية. وفي المقابل، غالباً ما تحتوي الأنماط النموذجية المستمدة من النصوص على مكونات متعامدة مع هذا الفضاء الفرعي البصري.

• النظرية 1: تثبت أن الأنماط النموذجية البصرية المثلى هي تركيبات خطية من السمات البصرية.
• النظرية 2: تثبت وجود حد أدنى غير متلاشٍ للمسافة بين الأنماط النموذجية النصية والأنماط النموذجية البصرية المثلى كلما احتوت التضمينات النصية على مكونات خارج الفضاء الفرعي للسمات البصرية. وهذا يضفي طابعاً رسمياً على "فجوة النمط" باعتبارها قيداً هيكلياً.

2. إطار عمل التعلم شبه المُشرف عبر الإنترنت

بما أن الملصقات الحقيقية غير متوفرة في إعدادات "الصفر المعرفة"، يستخدم الأسلوب قدرات النقل القوية لنموذج CLIP لإنشاء ملصقات وهمية ناعمة (soft pseudo-labels).

• هدف الإشراف الوهمي: يستبدل إطار العمل الملصقات الحقيقية الصارمة بتنبؤات ناعمة من نموذج VLM المسبق التدريب لبناء دالة خسارة شبه إشرافية.
• التحسين عبر الإنترنت: تم تطوير إجراء تحسين عبر الإنترنت لزيادة تحديث الأنماط النموذجية البصرية بشكل تدريجي باستخدام تدفقات بيانات الاختبار غير المصنفة. وهذا يحترم قيد "ما بعد وقوع الحدث" من خلال معالجة البيانات فور وصولها.
• استراتيجية تحديث النمط النموذجي:
  • يتم توسيع فضاء تسميات ID ليشمل $L$ من الفئات الوهمية لـ OOD (عناصر نائبة).
  • تستخدم قاعدة عتبة صارمة بناءً على درجات OOD الحالية (مثل NegLabel) لتصنيف العينات الاختبارية الواردة كـ "إيجابية" (من المرجح أن تكون ID) أو "سلبية" (من المرجح أن تكون OOD).
  • يتم تحديث الأنماط النموذجية لفئة ID فقط عندما تُصنف العينة كـ ID؛ بينما يتم تحديث الأنماط النموذجية لفئات OOD الوهمية عندما تُصنف العينة كـ OOD.
  • يتم تجاهل العينات ذات الدرجات غير المؤكدة.
• ضمانات التقارب: توفر النظرية 3 ضمانات نظرية لتقارب إجراء التحسين عبر الإنترنت المقترح، حيث تحد من الندم التراكمي بـ $O(\sqrt{N})$.

3. تسجيل درجة OOD

يتم حساب درجة OOD النهائية لصورة اختبار من خلال مقارنة السمة البصرية للصورة مقابل الأنماط النموذجية البصرية المحدثة (لكل من ID وفئات OOD الوهمية) باستخدام مقياس تشابه قائم على Softmax، بدلاً من الاعتماد على التضمينات النصية الأصلية.

المساهمات الرئيسية

1. الرؤية النظرية: تثبت الورقة نظرياً أن افتراض "النص كنمط نموذجي" في الكشف عن OOD القائم على CLIP معيب جوهرياً بسبب فجوة نمط داخلية. وتثبت أن التضمينات النصية لا يمكنها تمثيل الأنماط النموذجية البصرية المثلى تماماً دون معايرة بصرية.
2. إطار عمل مبتكر: تقدم إطار عمل للتعلم شبه المُشرف عبر الإنترنت يتعلم الأنماط النموذجية للفئات مباشرة في فضاء السمات البصرية باستخدام تدفقات اختبار غير مصنفة وتنبؤات VLM ناعمة، مما يسد فجوة النمط بفعالية.
3. الضمانات النظرية: يقدم المؤلفون ضمانات تقارب صارمة لخوارزمية التحسين عبر الإنترنت الخاصة بهم.
4. أداء رائد (State-of-the-Art): يحقق الأسلوب نتائج جديدة رائدة عبر مختلف اختبارات OOD، بما في ذلك ImageNet-1K وOpenOOD ومجموعات بيانات CIFAR، متفوقاً على الأساليب القوية مثل AdaNeg وNegLabel.

النتائج التجريبية

تؤكد التجارونات الواسعة فعالية الطريقة المقترحة:

• ImageNet-1K: يحقق الأسلوب درجة AUROC تبلغ 97.75% وFPR95 تبلغ 12.79%، متجاوزاً أفضل النتائج السابقة (AdaNeg) بفروق كبيرة (على سبيل المثال، +1.09% في AUROC و -6.13% في FPR95).
• معيار OpenOOD: لوحظت تحسينات مستمرة في كل من مجموعات بيانات Near-OOD وFar-OOD، مما يدل على المتانة عبر أنواع مختلفة من انزياحات التوزيع.
• اختبارات CIFAR: يظهر الأسلوب مكاسب ثابتة في إعدادات CIFAR-10 وCIFAR-100.
• دراسات الاستئصال (Ablation Studies): تبين أن الطريقة قوية تجاه خيارات المعلمات الفائقة (hyperparameters)، وفعالة عبر بنيات مشفرات بصرية مختلفة (ResNet-50, ViT-B/32, ViT-L/14)، وقابلة للتوسع في دقة المدخلات الكبيرة.
• التعميم النطاقي (Domain Generalization): يحافظ النهج على أداء متفوق عندما تتعرض بيانات ID لانزياحات نطاقية (مثل ImageNet-A, ImageNet-R, ImageNet-S).

الأهمية والادعاءات

تدعي الورقة أن أهميتها الرئيسية تكمن في تحديد ومعالجة قيد هيكلي في النموذج الحالي للكشف عن OOD بنمط "الصفر معرفة". ومن خلال الابتعاد عن الاعتماد على التضمينات النصية كأنماط ثابتة، وبدلاً من ذلك تعلم أنماط بصرية ديناميكية ومعايرة من بيانات وقت الاختبار، يقدم الأسلوب حلاً أكثر رصانة من الناحية النظرية وأكثر فعالية من الناحية التجريبية.

يؤكد المؤلفون أن نهجهم ليس مجرد تعديل هندسي، بل هو تحول جذري في كيفية بناء الأنماط النموذجية للكشف عن OOD القائم على VLM. ويؤكدون أن فجوة النمط هي قضية هيكلية مستقلة عن استراتيجيات تنقيب الملصقات السلبية، وأن إطار عملهم يوفر طريقة منهجية للتخفيف من هذه الفجوة، مما يؤدي إلى مكاسب أداء ثابتة عبر مختلف المعايير دون الحاجة إلى إعادة التدريب على بيانات ID.