💻 computer science

Prompt Tuning for CLIP on the Pretrained Manifold

تقترح الورقة البحثية ManiPT، وهو إطار عمل لضبط المطالبات بكفاءة في المعلمات لنموذج CLIP، يحافظ على التمثيلات الهندسية سابقة التدريب من خلال قيود اتساق جيب التمام والتحيز الهيكلي لمنع انحراف الميزات وتحسين التعميم عبر مهام متنوعة لاحقة تحت إشراف محدود.

المؤلفون الأصليون: Xi Yang, Yuanrong Xu, Weigang Zhang, Guangming Lu, David Zhang, Jie Wen

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xi Yang, Yuanrong Xu, Weigang Zhang, Guangming Lu, David Zhang, Jie Wen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك خبيراً عالمياً (لنسمّه "CLIP")، قضى سنوات في دراسة ملايين الكتب والصور. إنه يعرف العالم بشكل مذهل: يعرف كيف يبدو "الكلب"، وكيف يبدو صوت "القطة"، وكيف يميز بين "غروب الشمس" و"عرض الألعاب النارية". لديه طريقة مستقرة وموثوقة جداً في رؤية العالم. هذا هو المجال المسبق التدريب (Pretrained Manifold) — منطقة معرفية صلبة ومخططة جيداً.

الآن، تريد تعليم هذا الخبير وظيفة جديدة ومحددة: تحديد نوع نادر من الخنافس يوجد فقط في حديقة منزلك الخلفية. لكن ليس لديك سوى خمس صور لهذه الخنفساء لتعليمه إياها. هذه هي مشكلة "الإشراف المحدود" (Limited Supervision).

المشكلة: "الانجراف" (The Drift)

إذا حاولت تعليم الخبير من خلال السماح له بإعادة كتابة دماغه بالكامل بناءً على تلك الصور الخمس فقط، سيحدث خطأ ما. نظرًا لأن لديه أمثلة قليلة جداً، سيبدأ بالارتباك. ينظر إلى الصور الخمس ويفكر: "أوه، كل هذه الخنافس لديها ورقة شجر معينة في الخلفية! لا بد أن هذا هو أهم شيء!".

يبدأ بتجاهل معرفته العامة الواسعة ويركز تماماً على ورقة الشجر. لقد انجرف بعيداً عن فهمه العام والموثوق للعالم وانتقل إلى "منطقة الاختصارات". إذا أظهرت له خنفساء على صخرة (بدون ورقة الشجر)، فسيفشل تماماً. في الورقة البحثية، يُسمى هذا "انجراف المجال" (Manifold Drift). لقد غادر الخبير المنطقة الآمنة والمخططة جيداً وتاه في زقاق ضيق وخطير لا يصلح إلا للصور المحددة التي رآها.

الحل: ManiPT (نظام "حواجز الحماية")

تقترح المؤلفة طريقة جديدة تسمى ManiPT. بدلاً من ترك الخبير يتوه، تعمل ManiPT مثل نظام GPS بحدود جغرافية صارمة. تقول له: "يمكنك تعلم أشياء جديدة، ولكن يجب أن تبقى داخل حي معرفتك الأصلية الموثوقة".

إليك كيف تفعل ManiPT ذلك، باستخدام ثلاث حيل بسيطة:

1. "الاتساق الجيبي" (حبل الربط المطاطي)

تخيل أن الخبير يرتدي حبل ربط مطاطي (Bungee cord) متصل بدماغه الأصلي المدرب مسبقاً.

الجانب البصري: عندما ينظر إلى صورة جديدة، يحاول تعديل رؤيته، لكن الحبل المطاطي يجذبه للخلف إذا ابتعد كثيراً عن الطريقة التي كان يرى بها الأشياء المشابهة في الأصل.
جانب النص: تستخدم الورقة البحثية ذكاءً اصطناعياً (LLM) لكتابة وصف دقيق ومثالي للخنفساء. يعمل هذا الوصف كـ "منارة" أو "نجم قطبي". يُجبر الخبير على إبقاء فهمه لكلمة "خنفساء" متوافقاً مع هذا الوصف المثالي، مما يمنعه من إعادة تعريف "الخنفساء" لتصبح "ورقة شجر".

هذا يضمن عدم انجرافه بعيداً عن المنطقة الآمنة.

2. "التحيز الهيكلي" (التعديل التدريجي)

عادةً، عندما نقوم بضبط النموذج (Fine-tuning)، قد نستبدل المعرفة القديمة بالكامل بمعرفة جديدة. تقول ManiPT: "لا تستبدل؛ بل عدّل فقط".

فكر في الأمر كأنك تقوم بتعديل لوحة فنية رائعة. بدلاً من طلاء اللوحة بأكملها بألوان جديدة (مما قد يفسد العمل الفني الأصلي)، تخبر ManiPT الفنان أن يضيف ضربات فرشاة صغيرة ودقيقة فوق التحفة الفنية الأصلية.

اللوحة الأصلية (نموذج CLIP المجمد) تبقى كما هي تماماً.
التعلم الجديد (المطالبات/Prompts) هو مجرد إضافة صغيرة.
النتيجة النهائية هي اللوحة الأصلية بالإضافة إلى التعديلات الصغيرة.

هذا يجبر النموذج على إجراء تصحيحات تدريجية. لا يمكنه فجأة أن يقرر أن "الكلاب هي في الواقع قطط" لأن جزء "الكلب" الأصلي من اللوحة لا يزال موجوداً، مما يثبت الفكرة الجديدة.

3. "إثراء LLM" (القاموس الذكي)

للتأكد من أن "النجم القطبي" (الوصف النصي) دقيق، لا تستخدم ManiPT مجرد عبارة بسيطة مثل "صورة لكلب". بل تطلب من ذكاء اصطناعي فائق الذكاء (LLM) كتابة وصف غني ومفصل: "حيوان بأربع أرجل، وآذان متدلية، وذيل يهتز".
هذا يعطي النموذج نقطة مرجع أقوى وأكثر استقراراً لترسيخ تعلمه، مما يمنعه من التشبث باختصارات غريبة مثل "أوراق الشجر في الخلفية".

لماذا يهم هذا؟

في العالم الحقيقي، غالباً لا نملك آلاف الصور المصنفة لكل مهمة جديدة. قد نملك فقط بضعة أمثلة.

الطرق القديمة (مثل ضبط المطالبة القياسي/Standard Prompt Tuning) ستحاول التعلم من تلك الصور القليلة وتنتهي بـ "الفرط في التخصيص" (Overfitting)—أي حفظ الأمثلة المحددة لكن الفشل في أي شيء جديد.
ManiPT تبقي النموذج ثابتاً. إنه يتعلم المهمة الجديدة دون أن ينسى القواعد العامة للعالم.

النتيجة

اختبرت الورقة البحثية هذا على 15 مجموعة بيانات مختلفة (من تحديد الزهور إلى رصد الأقمار الصناعية).

تفوقت ManiPT باستمرار على الطرق الأخرى.
كانت جيدة بشكل خاص في التعلم من أمثلة قليلة (Few-Shot Learning) (التعلم من مثال أو اثنين فقط).
أثبتت أنه من خلال إبقاء النموذج "على الخريطة" (المجال المسبق التدريب) وإجراء تعديلات صغيرة وموجهة فقط، ستحصل على ذكاء اصطناعي أذكى وأكثر موثوقية ولا يرتبك بسبب البيانات المحدودة.

باختة القول: تُعلم ManiPT ذكاءً اصطناعياً فائق الذكاء خدعة جديدة من خلال السماح له بالتعلم، ولكن مع إبقائه تحت سيطرة وثيقة حتى لا ينسى كل ما يعرفه بالفعل أو يقع في فخ الاختصارات السيئة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Prompt Tuning for CLIP on the Pretrained Manifold" (ManiPT).

1. بيان المشكلة

بينما توفر نماذج الرؤية واللغة (VLMs) الضخمة سابقة التدريب مثل CLIP تمثيلات عامة قوية، فإن تكييفها مع المهام اللاحقة في ظل إشراف محدود (مثل التعلم من عينات قليلة - few-shot learning) يظل أمراً صعباً.

المشكلة الجوهرية: غالباً ما تتسبب طرق ضبط المطالبات (Prompt Tuning) القياسية في حدوث انزياح المانيفولد (Manifold Drift). ففي ظل البيانات المحدودة، يميل التحسين إلى استغلال الارتباطات الزائفة (المنحدرات القصيرة/shortcuts) مثل أنسجة الخلفية أو سمات مجموعة البيانات المحددة لتقليل المخاطر التجريبية.
النتيجة: يؤدي هذا إلى دفع التمثيلات الميزات المتعلمة بعيداً عن مانيفولد (manifold) النموذج الأصلي ذو الأبعاد المنخفضة والمتين الذي وضعه CLIP. وبمجرد أن تنزاح الميزات إلى "فضاءات فرعية للمنحدرات القصيرة"، يفقد النموذج قدرته على التعميم إلى الفئات غير المرئية، أو توزيعات مجموعات البيانات المختلفة، أو التحولات النطاقية (domain shifts)، مما يؤدي إلى الإفراط في التخصيص (overfitting).
قصور الطرق الحالية: تركز النهج الحالية (مثل CoOp وMaPLe) على زيادة القدرة التعبيرية للمطالبة أو إضافة تنظيم استدلالي (مثل التنظيم على اللوغيت أو المعلمات). وهي نادراً ما تضبط بشكل صريح العلاقة الهندسية بين الميزات المكيفة والميزات الأصلية المجمدة، كما أنها لا توجه التكيف صراحة نحو الاتجاهات القابلة للنقل.

2. المنهجية: ManiPT

يقترح المؤلفون إطار عمل ManiPT، وهو مصمم لإجراء ضبط المطالبات مع حصر التمثيلات المتعلمة بدقة داخل الجوار الهندسي للنموذج الأصلي. يتكون إطار العمل من ثلاثة مكونات أساسية:

أ. إثراء المعرفة القائم على النماذج اللغوية الكبيرة (LLM)

لتوفير مرجع دلالي مستقر وتقليل الاعتماد على الملصقات (labels) المشوشة في حالات العينات القليلة:

يقوم نموذج لغوي كبير (LLM) بتوليد أوصاف غنية ومتنوعة لكل فئة.
يتم تشفير هذه الأوصاف بواسطة مشفر النصوص المجمد في CLIP لإنشاء بنك ميزات نصي (text feature bank).
يعمل المتوسط الموزون لهذه الميزات كـ نموذج أولي دلالي ( $w_c$ )، والذي يعمل كمرساة قوية للجانب النصي.

ب. قيود التماسك الجيبي (Cosine Consistency Constraints)

لمنع الانزياح الهندسي، يفرض ManiPT قيوداً على كلا الجانبين (البصري والنصي) لضمان بقاء الميزات المكيفة قريبة من المراجع المجمدة:

الجانب البصري: يتم تعظيم تشابه جيب التمام (cosine similarity) بين الميزة البصرية المكيفة بالمطالبة ( $h^{vis}_x$ ) والميزة البصرية المجمدة ( $z^{vis}_x$ ).
الجانب النصي: يتم تعظيم تشابه جيب التمام بين الميزة النصية المكيفة بالمطالبة ( $h^{txt}_c$ ) والنموذج الأولي الدلالي المستمد من LLM ( $w_c$ ).
الأثر: تعمل هذه الخسائر ( $L_{img}$ و $L_{txt}$ ) على حصر تكيف الميزات صراحةً داخل "الجوار الهندسي" للمانيفولد الأصلي، مما يمنع الانحراف نحو الفضاءات الفرعية المتعامدة للمنحدرات القصيرة.

ج. التحيز الهيكلي (التصحيحات التدريجية)

البقاء بالقرب من المانيفولد وحده ليس كافياً، حيث قد تظل المنحدرات القصيرة المحلية موجودة. يقدم ManiPT تحيزاً هيكلياً لفرض تصحيحات تدريجية:

الآلية: بدلاً من استخدام الميزات المكيفة بالمطالبة مباشرة للتصنيف، يقوم ManiPT بدمجها مع الميزات المجمدة عبر تجميع إضافي موحد (normalized additive aggregation):
$f^{vis}_x = \frac{z^{vis}_x + h^{vis}_x}{\|z^{vis}_x + h^{vis}_x\|}, \quad f^{txt}_c = \frac{z^{txt}_c + h^{txt}_c}{\|z^{txt}_c + h^{txt}_c\|}$
الضمان النظري: يعمل هذا الدمج الإضافي كتقلص هندسي. نظرياً، يضمن أن التمثيل النهائي أقرب هندسياً إلى المرجع المجمد مقارنة بالتمثيل الناتج عن المطالبة وحدها. هذا يجبر النموذج على تعلم الاضطرابات (التحسينات) على طول الاتجاهات القابلة للنقل بدلاً من استبدال التمثيل بالكامل.

د. هدف التدريب

تجمع الخسارة الإجمالية بين خسارة التصنيف القياسية (cross-entropy) ومنظمات التماسك:
$L_{total} = L_{ce} + \lambda(L_{img} + L_{txt})$
حيث توازن $\lambda$ قوة التنظيم.

3. المساهمات الرئيسية

تحديد انزياح المانيفولد: تحدد الورقة صراحةً وتكمّم "انزياح المانيفولد" كسبب رئيسي لفشل التعميم في ضبط المطالبات تحت الإشراف المحدود.
الإطار الهندسي (ManiPT): يقترح إطار عمل جديد يجمع بين قيود تماسك جيب التمام (للبقاء على المانيفولد) والتحيز الهيكلي (لتوجيه التكيف على طول الاتجاهات القابلة للنقل).
التحليل النظري: يوفر ضمانات نظرية تظهر أن ManiPT يقلل من حد مخاطر المجتمع (population risk bound) مقارنة بضبط المطالبات القياسي عندما تكون المخاطر التجريبية متقاربة، مما يخفف بفعالية من الإفراط في التخصيص.
التقييم الشامل: أظهر أداءً رائداً (SOTA) عبر أربعة إعدادات متميزة: التعميم على الفئات غير المرئية، التصنيف من عينات قليلة، النقل عبر مجموعات البيانات، والتعميم النطاقي.

4. النتائج التجريبية

تم تقييم ManiPT على 15 مجموعة بيانات (بما في ذلك ImageNet، Caltech101، OxfordPets، إلخ) مقابل نماذج مرجعية قوية مثل CoOp، CoCoOp، MaPLe، PromptSRC، و TAC.

التعميم من القاعدة إلى الجديد (Base-to-Novel): حقق ManiPT أعلى متوسط متوسط هارموني (Harmonic Mean) عبر 11 مجموعة بيانات، متفوقاً على ثاني أفضل طريقة (TAC) بفارق كبير. وقد أظهر توازناً أفضل بين الحفاظ على أداء الفئات الأساسية والتعميم على الفئات الجديدة.
النقل عبر مجموعات البيانات: عند التدريب على ImageNet والاختبار على 10 مجموعات بيانات أخرى، حقق ManiPT أعلى متوسط دقة (68.04%)، مما يثبت قدرته على النقل بمتانة عبر التحولات النطاقية.
التعميم النطاقي: على متغيرات ImageNet (V2, Sketch, A, R)، حافظ ManiPT على متانة فائقة، مما يؤكد أن الارتكاز على العمود الفقري المجمد يعمل على تصفية الضوضاء الخاصة بالنطاق.
التصنيف من عينات قليلة: في ظروف البيانات شديدة الندرة (1-shot و 2-shot)، تفوق ManiPT باستمرار على جميع النماذج المرجعية. وأكدت دراسات الاستئصال (Ablation studies) أن إزالة أي من قيود التماسك أو التحيز الهيكلي أدى إلى انخفاض كبير في الأداء، مما يثبت أن كليهما ضروري.
تحليل انزياح المانيفولد: أظهر التحليل الكمي باستخدام PCA أن ميزات ManiPT تظهر انزياحاً أقل بكثير ( $\Delta \approx 0$ ) مقارنة بالنماذج المرجعية (مثل MaPLe)، مما يؤكد نجاح الطريقة في إبقاء الميزات ضمن المانيفولد الأصلي.
الكفاءة: يتميز ManiPT بكفاءة حسابية، حيث يتطلب فقط 0.25 مليون معلمة قابلة للتدريب ووقت تدريب مماثل للنماذج خفيفة الوزن مثل CoOp، بينما هو أسرع بكثير من طرق المطالبة العميقة مثل MaPLe.

5. الأهمية

منظور جديد للإفراط في التخصيص: تنقل الورقة التركيز من مجرد "تنظيم المعلمات" إلى "ضبط هندسة الميزات". فهي تقدم تفسيراً هندسياً لسبب فشل ضبط المطالبات في ظروف البيانات المنخفضة (الانزياح عن المانيفولد) وكيفية إصلاح ذلك.
التكيف المتين: من خلال فرض تصحيحات تدريجية، يضمن ManiPT أن النموذج يستفيد من المعرفة الدلالية الغنية للعمود الفقري سابق التدريب مع التكيف مع مهام محددة، بدلاً من التخلي عن تلك المعرفة لصالح منحدرات قصيرة خاصة بمجموعة البيانات.
الأثر العملي: يقدم المنهج حلاً عالي الأداء وموفراً للمعلمات لنشر نماذج VLMs في سيناريوهات نقص البيانات، وهو أمر بالغ الأهمية للتطبيقات الواقعية حيث تكون البيانات المصنفة محدودة.

باختصار، نجح ManiPT في سد الفجوة بين استقرار النماذج سابقة التدريب المجمدة وبين التكيف المطلوب للمهام اللاحقة من خلال تقييد عملية التكيف رياضياً لتبقى ضمن الدعم الهندسي الصالح للمانيفولد الأصلي.