ملخص تقني: ∆Energy: تحسين تغير الطاقة أثناء محاذاة الرؤية واللغة يعزز كلاً من اكتشاف البيانات خارج التوزيع (OOD) والتعميم خارج التوزيع (OOD)

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs)، مثل CLIP، نجاحاً ملحوظاً في التكيف مع المهام اللاحقة. ومع ذلك، عند نشرها في سيناريوهات العالم الحقيقي، تواجه نوعين متميزين من تحديات البيانات خارج التوزيع (OOD):

1. انزياحات المتغيرات المشتركة (OOD مغلق المجموعة): بيانات تظل فيها تسميات الفئات هي نفسها في توزيع التدريب، ولكن يتغير توزيع البيانات (مثل تغير الأنماط أو التغيرات البيئية).
2. الانزياحات الدلالية (OOD مفتوح المجموعة): بيانات تحتوي على فئات لم يسبق رؤيتها تماماً أثناء التدريب.

غالباً ما تعالج الأدبيات الحالية هذه المشكلات بشكل منفصل. فالطرق التي تركز على المتانة تجاه انزياحات المتغيرات المشتركة عادة ما تفشل في اكتشاف الانزياحات الدلالية مفتوحة المجموعة بفعالية، بينما تعاني طرق اكتشاف OOD غالباً في الحفاظ على أداء التعميم في ظل انزياحات المتغيرات المشتركة. علاوة على ذلك، فإن المحاولات الأخيرة للتعامل مع كليهما (الطيف الكامل لـ OOD) غالباً ما تتطلب موارد حوسبة كبيرة أو تعتمد على مجموعات ضيقة من الدوال اللاحقة (post-hoc functions). ويتمثل التحدي الجوهري في تطوير إطار عمل موحد يعزز في آن واحد قدرة نموذج الرؤية واللغة على التعميم في ظل انزياحات المتغيرات المشتركة، مع الاكتشاف الفعال للفئات الدلالية غير المرئية.

2. المنهجية

يقترح البحث نهجاً جديداً يرتكز على ملاحظة أن إعادة محاذاة الوسائط (الرؤية واللغة) عن طريق تعطيل التشابه الجيبي الأقصى (maximum cosine similarity) يؤدي إلى تغيير جوهري وتمييزي في درجة الطاقة.

2.1 ∆Energy: درجة OOD مبتكرة

قدم المؤلفون ∆Energy، وهي درجة اكتشاف OOD لاحقة تعتمد على تغير الطاقة الناتج عن تعديل محاذاة الرؤية واللغة.

• الآلية: بالنسبة لصورة مدخلة، تحدد الطريقة أعلى $c$ من المطالبات النصية (text prompts) ذات أعلى تشابه جيبي. ثم تقوم بـ "إعادة محاذاة" الوسائط عن طريق قص (ضبط إلى صفر) هذه التشابهات القصوى.
• الحساب: تُعرف الدرجة بأنها الفرق بين درجة الطاقة قبل إعادة المحاذاة ($E_0$) وبعد إعادة المحاذاة ($E_1$):
  $$\Delta \text{Energy}(x_i) = E_1(x_i) - E_0(x_i)$$
• الرؤية النظرية: يوضح التحليل النظري (النظرية 3.2) أنه بالنسبة للبيانات داخل التوزيع (ID)، يكون تغير الطاقة أكبر بكثير مما هو عليه في بيانات OOD مفتوحة المجموعة؛ وذلك لأن بيانات ID تعتمد بشكل كبير على أعلى الميزات المتطابقة نصياً؛ حيث يؤدي حذفها إلى إحداث تحول جذري في الطاقة. في المق المقابل، تُظهر بيانات OOD، التي تفتقر إلى محاذاة قوية مع أي فئة محددة، تغيراً أصغر في الطاقة.
• الميزة: يثبت البحث أن ∆Energy تضخم الفصل بين عينات ID وOOD بشكل أكثر فعالية من طريقة مطابقة المفاهيم القصوى (MCM)، مما يؤدي إلى معدل إيجابي كاذب (FPR) أقل.

2.2 EBM: تعظيم الحد القائم على ∆Energy

لمعالجة التعميم خارج التوزيع (انزياحات المتغيرات المشتركة) مع الحفاظ على قدرات الاكتشاف، اقترح المؤلفون EBM (تعظيم الحد القائم على الطاقة) خلال مرحلة الضبط الدقيق.

• الآلية: أثناء التكيف قليل العينات (few-shot adaptation)، تطبق الطريقة عملية قناع (masking) على ميزات الصورة. وتحديداً، تحتفظ فقط بأعلى $p\%$ من العناصر في حاصل الضرب العنصري بين ميزة الصورة وأعلى ميزة نصية، وتصفر الباقي.
• الهدف: يتم تدريب النموذج لتقليل الخسارة $L_{\Delta E}$، والتي تمثل فرق الطاقة بين الميزات الأصلية والمقنعة:
  $$L_{\Delta E} = \frac{1}{N} \sum_{i=1}^{N} [E_2(x_i) - E_0(x_i)]$$
  حيث $E_2$ هي طاقة الميزة المقنعة.
• الضمان النظري: يثبت المؤلفون (النظرية 3.4) أن تقليل $L_{\Delta E}$ يزيد من الحد الأدنى لـ ∆Energy للفئات مغلقة المجموعة. علاوة على ذلك، تثبت النظرية 3.5 أن عملية التحسين هذه تؤدي إلى هيسيان متسق مع النطاق (domain-consistent Hessians) بين نطاقات الميزات الأصلية والمقنعة. ويعمل هذا الاتساق كمؤشر قوي للتعميم خارج التوزيع، مما يضع حداً نظرياً للفجوة في الأداء بين النطاقات المصدرية والمستهدفة.

2.3 الإطار الموحد

يجمع هدف التحسين النهائي بين خسارة التقاطع المتقاطع (Cross-Entropy) القياسية وخسارة EBM:
$$L_{EBM} = L_{CE} + \lambda_0 L_{\Delta E}$$
يسمح هذا الإطار بالتحسين المتزامن للتعميم خارج التوزيع (عبر EBM) والاكتشاف خارج التوزيع (عبر درجة ∆Energy الناتجة).

3. المساهمات الرئيسية

1. درجة OOD مبتكرة (∆Energy): يقدم البحث طريقة اكتشاف OOD بنمط "صفر من التدريب" (zero-shot) تقيس تغير الطاقة عند إعادة محاذاة وسائط الرؤية واللغة. وهي تتفوق نظرياً وعملياً على الطرق الموجودة مثل MCM وEnergy وReAct، خاصة في سيناريوهات اكتشاف OOD "الصعبة".
2. إطار ضبط دقيق موحد (EBM): طور المؤلفون نموذج ضبط دقيق يحسن في آن واحد كلاً من التعميم خارج التوزيع واكتشاف OOD. ومن خلال تقليل تغير الطاقة الناجم عن قناع الميزات، تحفز الطريقة إنتاج هيسيان متسق مع النطاق، مما يربط عملية التحسين نظرياً بتحسين المتانة تجاه انزياحات النطاق.
3. التحليل النظري: يوفر العمل براهين نظرية صارمة توضح أن ∆Energy توفر قابلية فصل أفضل من MCM، وأن خسارة EBM تؤدي إلى هيسيان متسق مع النطاق، مما يضع حداً لفجوة التعميم خارج التوزيع.
4. تقييم شامل: تم تقييم الطريقة على معايير صعبة تشمل ImageNet-1k (مع تقسيمات مختلفة)، وPACS، وVLCS، لتغطية كل من انزياحات المتغيرات المشتركة والانزياحات الدلالية.

4. النتائج التجريبية

أجرى المؤلفون تجارب واسعة النطاق على مجموعات بيانات ImageNet-1k وPACS وVLCS باستخدام CLIP (ViT-B/16) كبنية أساسية.

• أداء اكتشاف OOD:

  • في معيار ImageNet-1k (Setup-I)، حققت ∆Energy درجة AUROC بلغت 87.10%، متفوقة على ثاني أفضل طريقة (MCM بنسبة 85.81%) ومتجاوزة بشكل كبير طريقة Energy التقليدية.
  • في التمييز بين OOD مغلق المجموعة (انزياح المتغيرات المشتركة) وOOD مفتوح المجموعة (الانزياح الدلالي)، حققت ∆Energy درجة AUROC بلغت 78.68%، متفوقة على المنافسين بفارق يتراوح بين 10% إلى 25% في إعدادات مختلفة.
  • أظهرت الطريقة أداءً متفوقاً في تقسيمات اكتشاف OOD "الصعبة" حيث تكون بيانات ID وOOD متقاربة في التوزيع.

• أداء التعميم خارج التوزيع (OOD Generalization):

  • في إعداد الضبط الدقيق قليل العينات (Setup-I وSetup-II)، حقق منهج EBM أفضل أداء إجمالي في كل من دقة OOD ومقاييس AUROC.
  • تحديداً، حسنت EBM دقة OOD في بيانات OOD مغلقة المجموعة بنسبة 0.45% ورفعت AUROC بأكثر من 5% مقارنة بطريقة CRoFT المنافسة.
  • في مجموعة بيانات VLCS، أظهرت EBM تحسينات كبيرة مقارنة بطرق مثل CRoFT وGalLoP، التي غالباً ما تعاني من نسيان المعرفة العامة عند التكيف مع نطاقات محددة.

• الكفاءة:

  • يتطلب اكتشاف ∆ero-shot (بدون تدريب) عدم وجود تدريب إضافي، مع أوقات استدلال مقاربة لـ MCM (18 ثانية مقابل 17 ثانية).
  • عملية ضبط EBM الدقيق فعالة حوسبياً، حيث تتطلب وقتاً وذاكرة GPU مشابهة لـ CoOp (18 دقيقة، ~7.7 جيجابايت) وأقل بكثير من GalLoP (140 دقيقة، ~47 جيجابايت).

5. الأهمية والادعاءات

يزعم البحث أن ∆Energy و EBM يوفران حلاً موحداً للمفاضلة بين اكتشاف OOD والتعميم خارج التوزيع في نماذج الرؤية واللغة.

• الموثوقية: يؤكد المؤلفون أن ∆Energy توفر نهجاً أكثر موثوقية لاكتشاف OOD من الطرق القائمة على الطاقة أو Softmax السابقة، خاصة في السيناريوهات الصعبة حيث تكون انزياحات التوزيع دقيقة.
• التأسيس النظري: تكمن أهمية العمل في برهانه النظري على أن التحسين من أجل تغير الطاقة (عبر EBM) لا يساعد في الاكتشاف فحسب، بل يحسن أيضاً هيكلياً من متانة النموذج تجاه انزياحات النطاق من خلال محاذاة الهيسيان للمخاطر التجريبية عبر النطاقات.
• الأثر العملي: من خلال تمكين إطار عمل واحد للضبط الدقيق للتعامل مع كل من انزياحات المتغيرات المشتركة (التعميم) والانزياحات الدلالية (الاكتشاف)، تعالج هذه الطريقة فجوة حرجة في نشر نماذج الرؤية واللغة للتطبيقات الواقعية حيث يكون كلا النوعين من انزياحات التوزيع أمراً حتمياً.

يخلص المؤلفون إلى أن طريقتهم تتفوق على أحدث الأساليب الحالية بفارق كبير (10%–25% في AUROC) في المعايير الصعبة، مما يثبت فعالية الاستفادة من تغير الطاقة أثناء إعادة محاذاة الرؤية واللغة.