💻 computer science

Towards Calibrating Prompt Tuning of Vision-Language Models

تقترح هذه الورقة إطار عمل للمعايرة لنماذج الرؤية واللغة المضبطة عبر التلقين (prompt-tuned)، والتي تعزز موثوقية التنبؤ من خلال إدخال منظمات هامش متوسط التباين ومطابقة عزم النص لاستقرار هوامش اللوجيت والحفاظ على هندسة فضاء التضمين مسبق التدريب، مما يقلل بشكل كبير من خطأ المعايرة المتوقع عبر مجموعات بيانات متنوعة.

المؤلفون الأصليون: Ashshak Sharifdeen, Fahad Shamshad, Muhammad Akhtar Munir, Abhishek Basu, Mohamed Insaf Ismithdeen, Jeyapriyan Jeyamohan, Chathurika Sewwandi Silva, Karthik Nandakumar, Muhammad Haris Khan

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ashshak Sharifdeen, Fahad Shamshad, Muhammad Akhtar Munir, Abhishek Basu, Mohamed Insaf Ismithdeen, Jeyapriyan Jeyamohan, Chathurika Sewwandi Silva, Karthik Nandakumar, Muhammad Haris Khan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "نحو معايرة ضبط التلقين لنماذج الرؤية واللغة"، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.

الصورة الكبيرة: الخبير المفرط في الثقة

تخيل أنك استأجرت ناقداً فنياً عبقرياً (النموذج الذكي، وتحديداً CLIP) درس ملايين اللوحات ويمكنه وصفها بدقة مثالية. ومع ذلك، تريد تعليمه التعرف على أسلوب فني جديد ومحدد، مثل "السايبربانك" (Cyberpunk)، دون إعادة تدريب دماغه بالكامل (وهو أمر مكلف وبطيء).

لذا، قمت بإعطائه نظارات جديدة (هذا هو ضبط التلقين - Prompt Tuning). هذه النظارات تحتوي على ملاحظات صغيرة على عدساتها تساعده على رصد ملامح "السايبربانك".

المشكلة:
بينما تساعد هذه النظارات الجديدة الناقد على تحديد فن "السايبربانك" بشكل جيد جداً، إلا أنها تكسر مقياس الثقة لدى الناقد.

السيناريو أ (الفئات الأساسية): عند النظر إلى فن مألوف (مثل "عصر النهضة")، يصبح الناقد خجولاً للغاية. يرى تحفة فنية ويقول: "أنا متأكد بنسبة 40% فقط أنها تحفة فنية"، رغم أنه على حق بنسبة 100%. إنه ضعيف الثقة (Underconfident).
السيناريو ب (الفئات المستحدثة): عند النظر إلى فن غريب وجديد تماماً (مثل "التجريد الرقمي المشوه - Abstract Glitch")، يصبح الناقد مغروراً ويعتقد أنه يعرف كل شيء. يرى مجرد خربشة عشوائية ويقول: "أنا متأكد بنسبة 99% أنها تحفة فنية!"، رغم أنه مخطئ. إنه مفرط في الثقة (Overconfident).

في العالم الحقيقي (مثل السيارات ذاتية القيادة أو التشخيص الطبي)، يكون الخطأ مع اليقين التام أمراً خطيراً. هذه الورقة البحثية تتعلق بإصلاح مقياس الثقة هذا.

الحل: "إطار المعايرة" (The Calibration Framework)

يقترح المؤلفون طريقة تدريب تعمل مثل شوكة الرنانة (Tuning Fork) لمقياس ثقة الذكاء الاصطناعي. لقد أضافوا "قاعدتين" خاصتين (منظمات - Regularizers) إلى عملية التدريب لإصلاح مقياس الثقة دون إفساد قدرة الذكاء الاصطناعي على تعلم أشياء جديدة.

القاعدة الأولى: "هامش منطقة الاعتدال" (Mean-Variance Margin)

التشبيه: تخيل لاعب السيرك الذي يمشي على الحبل.
- إذا كان الحبل مرتخياً جداً (هامش صغير)، سيتمايل اللاعب ويشعر بعدم اليقين (ضعف الثقة).
- إذا كان الحبل مشدوداً جداً وصلباً في أماكن غريبة، فقد يقفز اللاعب قفزة خطيرة ظناً منه أنه في أمان (الإفراط في الثقة).
ماذا تفعل: تخبر هذه القاعدة الذكاء الاصطناعي: "تأكد من أن إجابتك 'الصحيحة' أفضل بوضوح من الإجابات 'الخاطئة'، ولكن لا تجعل الفجوة بينهما تصبح جامحة أو غير متسقة".
النتيجة: تمنع الذكاء الاصطناعي من أن يكون خجولاً جداً تجاه الأشياء المألوفة، وتمنعه من أن يكون مغروراً جداً تجاه الأشياء الجديدة. إنها تحافظ على "الفجوة" بين الإجابات الصحيحة والخاطئة في المستوى المناسب.

القاعدة الثانية: "مرساة الذاكرة" (Text Moment-Matching)

التشبيه: تخيل أن عقل الذكاء الاصطناٍ هو مكتبة ضخمة حيث يتم ترتيب الكتب (المفاهيم) على الرفوف. قبل أن تعطيه النظارات الجديدة، كانت الكتب مرتبة بشكل مثالي: "القطط" بجانب "الكلاب"، و"السيارات" بعيدة عن "الطائرات".
- عندما ترتدي النظارات الجديدة لتعلم "السايبربانك"، يبدأ الذكاء الاصطناعي في إعادة ترتيب الكتب. فجأة، تجد "القطط" بجانب "الطائرات". المكتبة أصبحت فوضوية!
- هذه الفوضى تجعل الذكاء الاصطناعي مرتبكاً ومفرط الثقة بشأن الأشياء الجديدة لأن العلاقات بين المفاهيم قد انكسرت.
ماذا تفعل: تعمل هذه القاعدة مثل أمين المكتبة. فهي تتحقق باستمرار من الترتيب الجديد للكتب مقابل الترتيب الأصلي المثالي. تقول له: "حسناً، يمكنك نقل كتاب 'السايبربانك' إلى مكان جديد، لكن لا تنقل كتاب 'القطط' بجانب كتاب 'الطائرات'. حافظ على الشكل العام للمكتبة كما هو".
النتيجة: يتعلم الذكاء الاصطناي المهمة الجديدة (السايبربانك) ولكنه يتذكر كيف يعمل العالم بشكل عام (القطط ليست طائرات). هذا يمنع الذكاء الاصطناعي من تقديم تخمينات جامحة ومفرطة الثقة في البيانات الجديدة.

لماذا هذا مهم؟ (ما الفائدة؟)

اختبرت الورقة البحثية هذا على 11 مجموعة بيانات مختلفة (مثل التعرف على الزهور، السيارات، الأنسجة، والأطعمة) و 7 طرق مختلفة لضبط الذكاء الاصطناعي.

النتيجة: أصبح الذكاء الاصطناعي أكثر موثوقية.
- توقف عن قول "أنا متأكد بنسبة 90%" عندما كان في الواقع يخمن.
- توقف عن قول "أنا متأكد بنسبة 40%" عندما كان يعرف الإجابة بالفعل.
الجزء الأفضل: فعل ذلك دون جعل الذكاء الاصطناعي أبطأ أو أقل دقة في وظيفته الفعلية. إنه يشبه وحدة "التوصيل والتشغيل" (Plug-and-play). يمكنك إضافة هذا النظام إلى أي نظام ذكاء اصطناعي موجود تقريباً دون الحاجة لإعادة بناء النظام بالكامل.

ملخص في جملة واحدة

قام المؤلفون بإصلاح مقياس الثقة المكسور في أنظمة الذكاء الاصطناعي الذكية عبر تعليمها الحفاظ على "مسافة آمنة" بين الإجابات الصحيحة والخاطئة، وتذكيرها بألا تنسى كيفية تنظيم العالم، مما يجعلها أكثر أماناً وموثوقية للاستخدام في العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "نحو معايرة ضبط المطالبات لنماذج الرؤية واللغة" (Towards Calibrating Prompt Tuning of Vision-Language Models).

1. بيان المشكلة

تعد نماذج الرؤية واللغة (VLMs) واسعة النطاق مثل CLIP قوية في التعرف على المفردات المفتوحة. وقد برز ضبط المطالبات (Prompt tuning) كتقنية فعالة لتكييف المعلمات، حيث تقوم بتعديل مجموعة صغيرة فقط من رموز النصوص (text tokens) مع تجميد المشفرات الأساسية. ومع ذلك، بينما يحسن ضبط المطالبات الدقة في الفئات المرئية (الأساسية)، فإنه يتسبب في مشكلة معايرة حرجة:

سوء المعايرة المزدوج (Dual Miscalibration): يؤدي ضبط المطالبات إلى تعطيل الهندسة المسبقة لنموذج CLIP، مما يؤدي إلى مشكلتين متضادتين:
1. نقص الثقة في الفئات الأساسية (Underconfidence on Base Classes): يصبح النموذج أقل ثقة مما ينبغي في الفئات التي تم التدريب عليها (انخفاض هوامش اللوغاريتم/logit margins).
2. الثقة المفرطة في الفئات الجديدة (Overconfidence on Novel Classes): يصبح النموذج واثقاً بشكل مفرط في الفئات غير المرئية (الجديدة)، وغالباً ما يكون ذلك بسبب تشوه حدود القرار أو "انهيار التضمين" (embedding collapse)، مما يؤدي إلى تقديرات غير موثوقة لعدم اليقين.
محدودية الحلول الحالية: غالباً ما تكون طرق المعايرة الحالية (مثل مقياس درجة الحرارة Temperature Scaling، وDAC، وZS-Norm) طرقاً لاحقة (post-hoc) أو تفشل في الحفاظ على البنية الدلالية للمساحة المسبقة التدريب. فهي إما تؤدي إلى تدهور الدقة، أو تفشل في التعميم على البيانات خارج التوزيع، أو لا تستطيع معالجة أنماط سوء المعايرة المتميزة للفئات الأساسية والجديدة في آن واحد.

2. المنهجية

يقترح المؤلفون إطار عمل للمعايرة أثناء التدريب يدمج منظمين (regularizers) متكاملين في دالة خسارة الإنتروبيا المتقاطعة (cross-entropy loss) القياسية. يهدف هذا النهج إلى تثبيت هوامش التنبؤ مع الحفاظ على البنية الهندسية لمساحة التضمين المسبقة التدريب.

أ. تنظيم هامش المتوسط والتباين ( $L_{Margin}$ )

يعالج هذا المكون نقص الثقة في الفئات الأساسية ويمنع طفرات الثقة العشوائية في الفئات الجديدة عن طريق تشكيل توزيع اللوغاريتم (logit distribution).

الآلية: يعرّف هامش اللوغاريتم $m_i$ كفرق بين لوغاريتم الفئة الصحيحة وأعلى لوغاريتم للفئة غير الصحيحة.
دالة الخسارة:
$L_{Margin} = -\alpha \cdot \frac{1}{B}\sum m_i + \beta \cdot \text{Var}(m_1, \dots, m_B)$
- حد المتوسط ( $-\alpha \cdot \text{Mean}$ ): يعمل على تعظيم متوسط الهامش لضمان وجود فصل كافٍ بين التنبؤات الصحيحة والخاطئة (إصلاح نقص الثقة).
- حد التباين ( $\beta \cdot \text{Var}$ ): يعمل على تقليل تباين الهوامش عبر الدفعة (batch). وهذا يمنع النموذج من تطوير "طفرات ثقة زائفة" حيث تمتلك بعض العينات هوامش ضخمة بينما تمتلك أخرى هوامش ضئيلة، وهو سبب شائع للثقة المفرطة في الفئات الجديدة.

ب. خسارة مطابقة عزم النص ( $L_{mom}$ )

يعالج هذا المكون الثقة المفرطة في الفئات الجديدة من خلال الحفاظ على الهندسة الدلالية العالمية لمساحة CLIP المسبقة التدريب.

الآلية: يقوم بمحاذاة العزوم الإحصائية لتمثيلات النصوص المُعدلة ( $\tilde{c}_y$ ) مع تمثيلات نصوص CLIP المجمدة (zero-shot) ( $c'_y$ ).
دالة الخسارة:
$L_{mom} = \|\mu_{\tilde{c}} - \mu_{c'}\|_2^2 + \|\Sigma_{\tilde{c}} - \Sigma_{c'}\|_F^2$
- العزم الأول ( $\mu$ ): يحاذي مركز التوزيع (المتوسط) للتضمينات.
- العزم الثاني ( $\Sigma$ ): يحاذي التباين (الانتشار/التشتت) للتضمينات.
الهدف: من خلال تقييد المتوسط والتباين، تضمن الطريقة بقاء العلاقات الزاوية النسبية والتشتت الدلالي للفئات متسقاً مع النموذج القوي المسبق التدريب، مما يمنع "الانجراف" الذي يسبب الثقة المفرطة في الفئات غير المرئية.

ج. الهدف الإجمالي

تجمع دالة الهدف النهائية بين الإنتروبيا المتقاطعة ( $L_{CE}$ ) والمنظمين:
$L_{total} = L_{CE} + \lambda_{Margin} L_{Margin} + \lambda_{mom} L_{mom}$

3. المساهمات الرئيسية

تحديد سوء المعايرة المزدوج: تحلل الورقة وتثبت بشكل منهجي أن ضبط المطالبات يسبب نمط فشل مزدوج محدد: نقص الثقة في الفئات الأساسية والثقة المفرطة في الفئات الجديدة، مدفوعاً بعدم استقرار الهامش وتشوه مساحة التضمين.
إطار تنظيم مبتكر: اقتراح خسارة متوسط-تباين الهامش (لتثبيت حدود القرار) مدمجة مع خسارة مطابقة عزم النص (للحفاظ على هندسة التضمين). هذه هي أول طريقة تعالج كلا مشكلتي المعايرة معاً دون الحاجة لضبط النموذج بالكامل.
تصميم قابل للتركيب والتشغيل (Plug-and-Play): الطريقة مستقلة عن بنية ضبط المطالبات الأساسية (مثل CoOp، MaPLe، KgCoOp) ولا تتطلب أي حسابات إضافية وقت الاستدلال.
تقييم شامل: تجارب مكثفة عبر 11 مجموعة بيانات متنوعة (تتراوح من ImageNet خشنة الحبيبات إلى مجموعات دقيقة مثل Aircraft وCars) و 7 طرق لضبط المطالبات.

4. النتائج التجريبية

قيم المؤلفون طريقتهم مقابل خطوط أساس قوية تشمل Temperature Scaling، وDAC، وZS-Norm، وMargin-based Label Smoothing (MBLS).

أداء المعايرة (ECE):
- الفئات الأساسية: قللت الطريقة بشكل كبير من خطأ المعايرة المتوقع (ECE). على سبيل المثال، في طريقة CoOp، انخفض ECE من 6.35% إلى 2.93% في المتوسط، متفوقة على Temperature Scaling (2.96%) وMBLS. وفي مجموعة بيانات Aircraft، تحسن ECE بشكل هائل من 25.70% إلى 4.96%.
- الفئات الجديدة: نجحت الطريقة في التخفيف من الثقة المفرطة. بالنسبة لـ MaPLe، انخفض متوسط ECE للفئات الجديدة من 5.76% إلى 4.23%، متفوقة على الطرق اللاحقة مثل DAC وZS-Norm.
الحفاظ على الدقة: على عكس بعض طرق المعايرة التي تضحي بالدقة مقابل المعايرة، يحافظ هذا النهج على الدقة (Top-1 accuracy) أو يحسنها قليلاً (على سبيل المثال، زادت دقة MaPLe من 82.41% إلى 82.75% في الفئات الأساسية).
المتانة:
- المتانة في التعلم من أمثلة قليلة (Few-Shot): تعمل الطريقة بشكل ثابت عبر أعداد مختلفة من الأمثلة (4، 8، 16، 32).
- المتانة تجاه التهيئة: تتميز بالمتانة تجاه استراتيجيات تهيئة المطالبات المختلفة.
- انزياح التوزيع: أظهرت الطريقة معايرة فائقة على مجموعات البيانات خارج التوزيع (ImageNet-A, ImageNet-R, ImageNet-V2, ImageNet-S).
التصوير الطبي: تم التحقق أيضاً من نهج الطريقة على نماذج الرؤية واللغة الطبية (PLIP, QuiltNet) عبر مجموعات بيانات علم الأمراض النسيجي، حيث حققت أدنى ECE (7.09%) مقارنة بالخطوط المرجعية.

5. الأهمية والأثر

النشر الموثوق: من خلال ضمان توافق درجات الثقة مع الدقة الفعلية، تجعل هذه الطريقة نماذج الرؤية واللغة المضبطة بالمطالبات أكثر أماناً للتطبيقات الحرجة مثل القيادة الذاتية والتشخيص الطبي، حيث يمكن أن تكون الأخطاء ذات الثقة العالية كارثية.
الحفاظ على المعرفة المسبقة التدريب: توفر خسارة مطابقة العزم آلية نظرية وعملية لتكييف النماذج مع المهام الجديدة دون "نسيان" البنية الدلالية القوية التي تم تعلمها أثناء التدريب المسبق.
القدرة على التعميم: لا يرتبط إطار العمل بخوارزمية محددة لتعلم المطالبات، مما يجعله أداة متعددة الاستخدامات لمجتمع باحثي نماذج الرؤية واللغة.
الكفاءة: تضيف الطريقة عبئاً حسابياً ضئيلاً جداً أثناء التدريب وصفر عبء أثناء الاستدلال، مما يجعلها عملية للغاية للنشر في العالم الحقيقي.

في الختام، تقدم ورقة "نحو معايرة ضبط المطالبات لنماذج الرؤية واللغة" حلاً قوياً لفجوة الموثوقية في التكيف الفعال لنماذج الرؤية واللغة، حيث توازن بنجاح بين التخصص في المهمة والحفاظ على الهندسة الدلالية المسبقة التدريب.