💻 computer science

Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score

تقدم هذه الورقة "درجة اللوجيت التباينية" (CLS)، وهي دالة تسجيل جديدة لاحقة (post-hoc) وجاهزة للاستخدام المباشر (plug-and-play) تعزز بشكل كبير الكشف عن حالات الخروج عن التوزيع القريبة (near out-of-distribution) لطرق تعلم المحفزات في الرؤية واللغة دون الحاجة إلى إعادة تدريب النموذج أو إجراء تعديلات هيكلية.

المؤلفون الأصليون: Myong Chol Jung, Joanna Dipnall, Belinda Gabbe, He Zhao

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Myong Chol Jung, Joanna Dipnall, Belinda Gabbe, He Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً فائق الذكاء يسمى CLIP. لقد قرأ هذا الروبوت ملايين الكتب ورأى ملايين الصور. إنه بارع في التعرف على الأشياء: إذا عرضت عليه صورة قطة، سيعرف أنها قطة. إذا عرضت عليه كلباً، سيعرف أنه كلب.

ومع ذلك، هناك عقبة. هذا الروبوت "محب لإرضاء الناس". إذا سألته: "هل هذه صورة لقطة؟" سيقول "نعم" حتى لو كانت في الواقع صورة لكلب منفوش جداً، لمجرد أنه يريد تقديم إجابة لك. إنه يعاني في قول: "لا أعرف ما هذا الشيء"، خاصة عندما يكون الشيء المجهول يشبه إلى حد كبير ما يعرفه بالفعل.

هذه هي مشكلة الكشف عن البيانات خارج التوزيع القريبة (Near Out-of-Distribution - OOD). الأمر يشبه محاولة التمييز بين تفاحة حقيقية وتفاحة شمعية واقعية للغاية. يبدوان متطابقين تقريباً، لكن إحداهما حقيقية (داخل التوزيع - In-Distribution) والأخرى مزيفة (قريبة من خارج التوزيع - Near OOD). إذا كان روبوتك يقود سيارة أو يشخص مرضاً، فإن الخلط بين تفاحة حقيقية وتفاحة شمعية قد يكون خطيراً.

المشكلة مع الحلول الحالية

حاول العلماء إصلاح ذلك عن طريق إعادة تدريب الروبوت أو بناء "رؤوس" (heads) معقدة وجديدة فوقه. لكن هذا يشبه محاولة تعليم لغة جديدة لروبوت يتحدث بالفعل 100 لغة بطلاقة. إنها عملية بطيئة، ومكلفة، وغالباً ما تُفسد مهارات الروبوت الأصلية.

الحل: "درجة اللوجيت التباينية" (Contrastive Logit Score - CLS)

ابتكر المؤلفون، "جونغ" وفريقه، خدعة ذكية "جاهزة للتركيب" (plug-and-play). لم يغيروا دماغ الروبوت، بل أعطوه فقط طريقة جديدة للتفكير في مدى ثقته بنفسه.

إليك التشبيه:

تخيل أن الروبوت يؤدي اختباراً.

الطريقة القديمة (MaxLogit): ينظر الروبوت إلى صورة ويسأل نفسه: "إلى أي مدى تشبه هذه قطة؟ وإلى أي مدى تشبه كلباً؟" ثم يختار الدرجة الأعلى. إذا كانت درجة "القطة" عالية، فسيقول "قطة".
- العيب: إذا عرضت عليه تفاحة شمعية، قد يقول: "حسناً، تبدو مثل القطة بنسبة 80% وتبدو مثل الكلب بنسبة 80%". يصاب بالارتباك لأن التفاحة الشمعية تشترك في السمات مع كليهما. لا يستطيع التمييز بين "قطة غريبة" و"قطة مزيفة".
الطريقة الجديدة (CLS): قدم المؤلفون مفهوماً جديداً يسمى "متجه السياق" (لنسمه "العامّ" أو The Generalist).
- "العامّ" هو صورة ذهنية لـ "كيف يبدو أي حيوان نموذجي" دون التفكير في أنواع محددة. إنه جوهر "كون الشيء حيواناً".
- الصيغة الجديدة تسأل سؤالين:
  1. "إلى أي مدى تشبه هذه قطة؟" (الدرجة النوعية/المحددة)
  2. "إلى أي مدى تشبه العامّ؟" (درجة السياق)

الخدعة السحرية:
يقوم الروبوت بطرح درجة "العامّ" من درجة "القطة".

القطة الحقيقية: تبدو كثيراً مثل قطة، وكثيراً مثل "العامّ". عملية الطرح تترك رقماً موجباً قوياً. "نعم، هذه بالتأكيد قطة!"
التفاحة الشمعية (Near OOD): قد تبدو قليلاً مثل القطة (لأنها مستديرة وحمراء)، لكنها لا تتناسب حقاً مع "روح" العامّ ككائن حي. عندما تطرح درجة "العامّ"، تنخفض النتيجة بشكل كبير. يدرك الروبوت: "مهلاً، هذا لا يبدو صحيحاً. إنها ليست قطة حقيقية".

لماذا يعد هذا أمراً مهماً؟

لا جراحة مطلوبة: لا تحتاج إلى فتح دماغ الروبوت (إعادة التدريب). أنت فقط تطبق هذه الصيغة الرياضية الجديدة على الإجابات التي يقدمها بالفعل.
ترقية فورية: تعمل هذه الطريقة مع أي نسخة من الروبوت (طرق تعلم المحفزات المختلفة) ومع أي مجموعة بيانات تقريباً.
النتيجة: في اختباراتهم، حسنت هذه الخدعة الرياضية البسيطة قدرة الروبوت على رصد العناصر "المزيفة" بنسبة تصل إلى 11.67%. هذه قفزة هائلة في عالم الذكاء الاصطناعي.

عامل "بيتا" (مقبض الضبط)

أدرك المؤلفون أيضاً أن المجموعات المختلفة من العناصر تحتاج إلى درجات متفاوتة من طرح "العامّ".

أحياناً تحتاج إلى طرح القليل.
وأحياناً تحتاج إلى طرح الكثير.

لقلبت طريقة ذكية وتلقائية لإيجاد المقدار المثالي (يسمى بيتا - Beta) بمجرد النظر إلى بضع أمثلة من العناصر "الحقيقية" التي يعرفها الروبوت بالفعل. الأمر يشبه طباخاً يتذوق الحساء ويعرف تلقائياً الكمية الدقيقة من الملح التي يجب إضافتها دون الحاجة إلى وصفة.

الملخص

يتعلق هذا البحث بتعليم الذكاء الاصطناعي أن يكون أكثر تواضعاً. فبدلاً من مجرد التخمين بأن الشيء "قطة" أو "كلب" بناءً على مدى إعجابه بالإجابة، تعلمه الطريقة الجديدة أن يسأل: "هل يتناسب هذا حقاً مع النمط الذي أعرفه؟"

من خلال استخدام خدعة طرح بسيطة، جعلوا نماذج الرؤية واللغة أكثر أماناً وموثوقية للوظائف في العالم الحقيقي، دون الحاجة إلى إعادة بناء النماذج من الصفر. إنها تعديل رياضي بسيط له تأثير عملاق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الكشف عن حالات خروج التوزيع القريب (Near OOD) في تعلم التلقين للرؤية واللغة باستخدام درجة التباين اللوجستي (Contrastive Logit Score)."

1. بيان المشكلة

تتناول الورقة تحديًا حاسمًا يتمثل في الكشف عن حالات خروج التوزيع القريب (Near Out-of-Distribution - Near OOD) في سياق تعلم التلقين للرؤية واللغة (تحديدًا باستخدام نماذج مثل CLIP).

السياق: تتفوق نماذج الرؤية واللغة (VLMs) سابقة التدريب مثل CLIP في التصنيف بـ "الصفر من الأمثلة" (zero-shot classification). ولتحسين الأداء في سيناريوهات "الأمثلة القليلة" (few-shot)، تقوم طرق تعلم التلقين (مثل CoOp و CoCoOp) بتحسين متجهات السياق المستمرة في فضاء تضمين الكلمات بدلاً من إعادة تدريب النموذج بأكم، مما يوفر كفاءة عالية.
الفجوة: بينما تحسن هذه الطرق دقة التصنيف للتوزيع الداخلي (ID)، إلا أنها غالبًا ما تفشل في اكتشاف عينات الـ Near OOD. يشير مصطلح Near OOD إلى البيانات التي تشترك في نفس النطاق والخصائص البصرية مع بيانات التدريب ولكنها تنتمي إلى فئات غير مرئية (تحول دلالي/semantic shift)، على عكس الـ Far OOD الذي يتضمن تحولات نطاق واضًا (مثل صور الكلاب مقابل الأرقام).
قصور الطرق الحالية:
- دوال تسجيل OOD القياسية (مثل MaxLogit و Energy Score و Mahalanobis) ليست مصممة للهيكلية الخاصة بنماذج تعلم التلقين، والتي تفتقر إلى رؤوس تصنيف تقليدية وتعتمد على تشابه جيب التمام (cosine similarity) بين تضمينات الصور والنصوص.
- طرق تعلم التلقين المخصصة لـ OOD غالبًا ما تتطلب ضبطًا دقيقًا (fine-tuning)، أو تغييرات هيكلية، أو إعادة تدريب، مما يحد من فائدتها كأدوات جاهزة للاستخدام (plug-and-play).
- تعاني الطرق الحالية في التمييز بين عينات الـ ID غير النمطية (بيانات التوزيع الداخلي الصعبة في التصنيف) وبين عينات الـ Near OOD، حيث يمكن لكليهما إظهار درجات ثقة منخفضة.

2. المنهجية: درجة التباين اللوجستي (CLS)

يقترح المؤلفون درجة التباين اللوجستي (CLS)، وهي دالة تسجيل مبتكرة، لاحقة (post-hoc)، وجاهزة للاستخدام (plug-and-play)، لا تتطلب إعادة تدريب النموذج أو تعديل الهيكلية.

الأساس النظري

تستند الطريقة إلى اختبار الفرضيات. الهدف هو التمييز بين:

$H_{ID}$ : العينة قادمة من التوزيع الداخلي (يُمثل بكثافة $p_{ID}$ ).
$H_{OOD}$ : العينة قادمة من توزيع Near OOD (يُمثل بكثافة $p_{OOD}$ ).

باستخدام اختبار نسبة الاحتمال اللوغاريتمي، تُعرف الدرجة كالتالي: $\lambda(x) = \log \frac{p_{ID}(x)}{p_{OOD}(x)}$ . وبما أن $p_{OOD}$ غير معروفة، فقد استخدم المؤلفون مفهوم "الفئة الفارغة" (null class) لتقريبها.

دالة التسجيل

يتم اشتقاق درجة CLS من خلال مباينة احتمالية انتماء العينة إلى فئة معروفة مقابل احتمالية انتمائها إلى فئة عامة (الفئة الفارغة - "فئة داخل التوزيع ولكن غير معروفة").

تُعرف الصيغة كالتالي:
$\text{CLS}(x) = \max_{i \in \{1, \dots, K\}} \langle I, P_i \rangle - \beta \langle I, V \rangle$

حيث أن:

$I$ : تضمين ميزة الصورة (image feature embedding).
$P_i$ : تضمين التلقين (prompt embedding) للفئة المعروفة رقم $i$ (متجهات السياق + اسم الفئة).
$V$ : متجهات السياق التي تم تعلمها أثناء تدريب التلقين، بدون إلحاق أي أسماء فئات محددة. وهذا يمثل الميزات العامة لنطاق التوزيع الداخلي.
$\langle \cdot, \cdot \rangle$ : تشابه جيب التمام (cosine similarity).
$\beta$ : عامل قياس (scaling factor) يضبط وزن حد الفئة الفارغة.

الرؤية الجوهرية:

الحد $\max \langle I, P_i \rangle$ (المشابه لـ MaxLogit) يقيس الثقة في فئات محددة.
الحد $\langle I, V \rangle$ يقيس مدى توافق الصورة مع الميزات العامة للنطاق الداخلي.
عينات Near OOD غالبًا ما تتوافق جيدًا مع ميزات النطاق العام ( $\langle I, V \rangle$ مرتفع) ولكنها تتوافق بشكل ضعيف مع الفئات المحددة.
عينات الـ ID غير النمطية قد تظهر ثقة منخفضة في الفئات المحددة، ولكنها أيضًا تظهر توافقًا منخفضًا مع ميزات النطاق العام.
من خلال طرح $\beta \langle I, V \rangle$ ، تقوم الطريقة بمعاقبة العينات التي تبدو مثل النطاق العام ولكنها لا تتناسب مع الفئات المحددة، مما يؤدي إلى الفصل بين Near OOD والـ ID غير النمطية.

تعلم عامل القياس ( $\beta$ )

بما أن $\beta$ المثلى تختلف باختلاف مجموعة البيانات، فقد اقترح المؤلفون تقديرًا بصيغة مغلقة (closed-form estimation) باستخدام عينات التدريب الـ ID القليلة فقط:

حساب درجة MaxLogit ودرجة السياق ( $\langle I, V \rangle$ ) لمجموعة التدريب.
إيجاد $\beta$ التي تقلل الارتباط (تجعل التباين خارج القطر صفرًا) بين هاتين الدرجتين.
يتم تحقيق ذلك عبر عملية تشبه الانحدار الخطي البسيط (التمهيد 1 في الورقة)، مما يضمن كفاءة الطريقة وعدم حاجتها لبيانات OOD أثناء مرحلة الضبط.

3. المساهمات الرئيسية

دالة تسجيل مبتكرة (CLS): تقديم آلية تسجيل لاحقة مصممة خصيصًا لتعلم التلقين للرؤية واللغة، تستفيد من الطبيعة التباينية لنموذج CLIP.
كفاءة الجاهزية للاستخدام (Plug-and-Play): لا تتطلب الط م إعادة تدريب، ولا تغييرات هيكلية، ولا وصولًا إلى بيانات OOD للمعايرة. يمكن تطبيقها على أي نموذج تعلم تلقين موجود (مثل CoOp و MaPLe و LoCoOp).
التبرير النظري: وضع المسألة ضمن إطار اختبار الفرضيات، وتقديم متجه "الفئة الفارغة" لتقريب احتمالية OOD.
التكيف مع مجموعة البيانات: تطوير حل بصيغة مغلقة لتقدير عامل القياس $\beta$ الأمثل باستخدام بيانات التدريب الداخلية فقط.
التحقق الواسع: التحقق من النتائج عبر 13 مجموعة بيانات متنوعة و8 نماذج مختلفة لتعلم التلقين.

4. النتائج التجريبية

قيم المؤلفون CLS على 13 مجموعة بيانات (بما في ذلك ImageNet و Caltech101 و Flowers102 و CIFAR-10/100، إلخ) باستخدام 8 هياكل خلفية مختلفة لتعلم التلقين.

أداء الكشف عن Near OOD:
- حققت CLS تحسنًا يصل إلى 11.67% في مقياس AUROC مقارنة بدرجة MaxLogit المرجعية.
- حققت CLS تحسنًا في متوسط AUROC في 104 من أصل 104 عملية تقييم (13 مجموعة بيانات × 8 نماذج).
- قللت بشكل كبير من معدل الإيجاب الكاذب عند نسبة 95% من الإيجاب الحقيقي (FPR95).
المقارنة مع أحدث التقنيات (SOTA):
- تفوقت CLS على طرق OOD الموجودة والمخصصة لنماذج VLM (مثل NegLabel و NegPrompt و LoCoOp) وعلى كاشفات OOD العامة (مثل Mahalanobis و Energy Score).
- حققت أفضل أداء إجمالي في فئة "CLIP Prompt Learning" في الجدول 3.
الكشف عن Far OOD:
- رغم تصميمها لـ Near OOD، أظهرت CL أيضًا أداءً تنافسيًا في الكشف عن Far OOD، حيث جاءت في المرتبة الثانية بعد الطرق المتخصصة مثل GL-MCM، ولكن بفجوة أداء أصغر بكثير مما هي عليه في حالة Near OOD.
التكلفة الحسابية:
- تضيف الطريقة تكلفة حسابية ضئيلة جدًا، حيث تقتصر فقط على حساب تشابه جيب التمام وعملية تقدير خطي بسيطة لـ $\beta$ .

5. الأهمية والأثر

التطبيقات الحرجة للسلامة: إن القدرة على الكشف الموثوق عن عينات Near OOD أمر بالغ الأهمية لنشر نماذج VLM في السيناريوهات الواقعية (مثل الرعاية الصحية أو القيادة الذاتية) حيث يجب أن تتعرف النماذج على المدخلات "غير المألوفة" حتى لو كانت تشبه بصريًا البيانات المعروفة.
الكفاءة: من خلال تجنب إعادة التدريب، تجعل CLS الكشف عن OOD متاحًا لأي نموذج تعلم تلقين حالي أو مستقبلي دون العبء الحسابي الثقيل للضبط الدقيق.
القدرة على التعميم: النهج مستقل عن خوارزمية تعلم التلقين المحددة، مما يجعلها أداة متعددة الاستخدامات لمجتمع باحثي نماذج الرؤية واللغة.

باختصار، تسد هذه الورقة فجوة حرجة في نشر نماذج الرؤية واللغة الفعالة من خلال توفير طريقة بسيطة وفعالة ومبنية على أسس نظرية للكشف عن التحولات الطفيفة في التوزيع (Near OOD) دون المساس بقدرات التصنيف للنماذج.