💻 computer science

Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models

تقترح هذه الورقة البحثية طريقة "ضبط التلقين بـ Softmax المزدوج" (DSPT)، وهي طريقة خالية من المعلمات الفائقة تستفيد من كبح التدرج الجوهري عبر التنميط الاحتمالي المتسلسل لتكييف نماذج الرؤية واللغة بمتانة مع ضجيج التصنيفات من خلال التصفية الطبيعية للتحديثات القصوى الناتجة عن العينات المصنفة خطأً.

المؤلفون الأصليون: Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "كبح التدرج الجوهري لضبط المحفزات في نماذج الرؤية واللغة ذات التسميات المشوشة"، باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: تعليم طالب ذكي باستخدام كتاب مدرسي سيء

تخيل أن لديك طالباً عبقرياً يُدعى CLIP. هذا الطالب قد قرأ بالفعل ملايين الكتب ورأى ملايين الصور، لذا فهو يعرف الكثير عن العالم بالفعل. إذا عرضت عليه صورة سيارة وسألته: "هل هذه سيارة أم كلب؟" فإنه يستطيع عادةً التخمين بشكل صحيح بمجرد استخدام معرفته الحالية (وهذا ما يسمى بالتعلم صفري المحتوى - Zero-Shot).

ومع ذلك، أحياناً تريد تعليم هذا الطالب خدعة جديدة محددة، مثل التعرف على نوع معين جداً من السيارات الكلاسيكية. للقيام بذلك، لا تعيد تعليمه كل شيء؛ بل تعطيه فقط بعض "الكلمات التلميحية" (تسمى المحفزات - Prompts) لمساعدته على التركيز. تسمى هذه العملية ضبط المحفزات (Prompt Tuning).

المشكلة: الكتاب المدرسي السيئ
عادةً، أنت تعلم الطالب باستخدام كتاب مدرسي حيث تحتوي كل صورة على التسمية الصحيحة. ولكن في هذه الورقة، يتخيل المؤلفون سيناريو يكون فيه الكتاب المدرسي مليئاً بالأخطاء المطبعية والأكاذيب (ضجيج التسميات - Label Noise).

السيناريو: تعرض للطالب صورة سيارة، لكن الكتاب المدرسي يقول: "هذا كلب".
رد الفعل: لأن الطالب ذكي جداً، فهو يدرك فوراً: "انتظر، هذه بالتأكيد سيارة وليست كلباً!"، ويشعر بثقة كبيرة في معرفته الخاصة.
الكارثة: في طرق التدريس القياسية، عندما يكون الطالب واثقاً ولكن المعلم يصر على أنه مخطئ، يتلقى الطالب "عقاباً" هائلاً (تدرج رياضي ضخم - Gradient). يفكر الطالب: "حسناً، المعلم متأكد جداً، لا بد أنني مخطئ"، فيبدأ في محاولة "إلغاء تعلم" ما يعرفه بجنون ليتناسب مع الكذبة.
النتيجة: يصاب الطالب بالارتباك، وينسى معرفته الأصلية، ويبدأ في الأداء بشكل أسوأ مما لو كان قد خمن فقط دون أي مساعدة.

الحل: مرشح "السوفماكس المزدوج" (Double-Softmax Filter)

يقترح المؤلفون طريقة تعليم جديدة تسمى ضبط محفزات السوفماكس المزدوج (DSPT). ويجادلون بأنه بما أن الطالب (CLIP) ذكي بالفعل، فيجب أن نكون محافظين. لا ينبغي أن نسمح لأخطاء المعلم بإجبار الطالب على تغيير رأيه بسرعة كبيرة.

إليك كيف تعمل طريقتهم، باستخدام تشبيه:

1. "التحقق المزدوج" (المرشح)
تخيل أن الطالب رفع يده للإجابة.

الطريقة القياسية: ينظر المعلم إلى الإجابة، ويرى أنها لا تتطابق مع الكتاب المدرسي، فيضرب فوراً بمطرقة ضخمة (تدرج هائل) على المكتب.
طريقة DSPT: قبل أن يضرب المعلم بالمطرقة، تمر الإجابة عبر مرشح السوفماكس المزدوج. هذا يشبه سماعات إلغاء الضوضاء الخاصة بالمعلم.

2. كيف يعمل المرشح

بالنسبة للكاذبين (العينات المشوشة): عندما يكون الطالب متأكداً بنسبة 100% أنها سيارة، لكن الكتاب المدرسي يقول "كلب"، يدرك المرشح: "هذا عدم تطابق كبير". وبدلاً من السماح للمعلم بالصراخ في وجه الطالب، يقوم المرشح بكتم صوت المعلم. إنه يخفض العقاب الهائل إلى الصفر تقريباً. يتجاهل الطالب الكذبة ويحتفظ بمعرفته الأصلية.
بالنسبة للصادقين (العينات النظيفة): عندما يكون الطالب غير متأكد (ربما هي سيارة ضبابية) والكتاب المدرسي يقول "سيارة"، يسمح المرشح لصوت المعلم بالمرور، ولكن بنعومة. إنه يسمح للطالب بتعلم تفاصيل جديدة مفيدة دون أن يشعر بالإرهاق.

3. "منطقة التشبع"
تسمي الورقة هذا "منطقة تشبع ذاتية التكيف". فكر فيها مثل ممتص الصدمات في السيارة.

إذا اصطدمت بمطب صغير (فرصة تعلم صغيرة)، تسير السيارة بسلاسة.
إذا اصطدمت بحفرة ضخمة (خطأ هائل من تسمية مشوشة)، ينضغط ممتص الصدمات بقوة شديدة بحيث لا ترتد السيارة بعنف. إنه يمتص الصدمة حتى لا تتحطم السيارة (النموذج).

لماذا هذا مميز؟

تحاول معظم الطرق الأخرى إصلاح ذلك عن طريق إضافة قواعد معقدة أو طلب تدخل بشري لضبط العديد من "المقابض" (Hyperparameters) لتحديد مقدار عقاب الطالب.

ادعاء الورقة: طريقتهم تلقائية. لا تحتاج إلى أي مقابض لضبطها. إنها تحدث بشكل طبيعي بسبب الرياضيات التي استخدموها (السوفماكس المزدوج).
النتيجة: في تجاربهم، حافظت هذه الطريقة البسيطة على أداء الطالب جيداً حتى عندما كان الكتاب المدرسي خاطئاً بنسبة 80%. أما الطرق الأخرى فقد جعلت الطالب يؤدي بشكل أسوأ مما لو كان قد خمن عشوائياً.

ملخص التشبيه

نموذج CLIP: طالب ذكي ذو ذاكرة قوية.
ضجيج التسميات: كتاب مدرسي يحتوي على إجابات خاطئة وعشوائية.
التدريب القياسي: يشعر الطالب بالخوف من الإجابات الخاطئة وينسى كل شيء، مما يؤدي لأداء سيء.
DSPT (السوفماكس المزدوج): مرشح ذكي يدرك: "الطالب على حق، والكتاب مخطئ"، فيقوم بكتم نصيحة الكتاب السيئة، مما يسمح للطالب بالتعلم من النصائح الجيدة فقط.

لقد أثبت المؤلفون أنه من خلال تحويل مشكلة تُعتبر عادةً سيئة ("تلاشي التدرج" أو ضعف الإشارة) إلى ميزة، فقد صنعوا درعاً يحمي النموذج من التعلم من الأكاذيب.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تثبيط التدرج الجوهري لضبط المحفزات في نماذج الرؤية واللغة عند وجود ضجيج في التصنيفات."

1. بيان المشكلة

تُظهر نماذج الرؤية واللغة (VLMs) مثل CLIP قدرة مذهلة على التعميم في حالة الصفر (zero-shot). ومع ذلك، عند تكييف هذه النماذج مع مهام محددة من خلال "ضبط المحفز" (Prompt Tuning) (تعلم ناقلات محفزة مستمرة مع إبقاء الهيكل الأساسي مجمدًا)، فإنها تظل حساسة للغاية لـ "ضجيج التصنيفات" (Label Noise).

المشكلة الجوهرية التي حددها المؤلفون هي "مفارقة طفرة التدرج" (Gradient Surge Paradox):

في دالة الخسارة القياسية للتقاطع المتقاطع (Cross-Entropy - CE)، تتناسب مقدار التدرج مع الفرق بين التصنيف الصحيح وتوقع النموذج.
تمتلك نماذج الرؤية واللغة سوابق معرفية (Priors) قوية. عندما يكون هناك خطأ في تصنيف عينة ما (على سبيل المثال، صورة "سيارة" مصنفة كـ "كلب")، يتوقع النموذج بشكل صحيح أنها "سيارة" بثقة عالية، مما يؤدي إلى احتمالية تقترب من الصفر للتصنيف الخاطئ "كلب".
ومن المفارقة أن هذا التباين الكبير بين التوقع الواثق والتصنيف الخاطٍ يولد تدرجاً ضخماً بشكل غير متناسب.
هذه التدرجات الضخمة تعمل على استبدال المعرفة المسبقة للنموذج بقوة، مما يؤدي إلى فرط التكيف (Overfitting) مع الضجيج وتدهور الأداء، وغالباً ما ينخفض عن مستوى أداء الحالة الصفرية (Zero-shot baseline).

2. المنهجية: ضبط المحفز بـ "السوفتماكس المزدوج" (DSPT)

اقترح المؤلفون إطار عمل "ضبط المحفز بالسوفتماكس المزدوج" (Double-Softmax Prompt Tuning - DSPT)، وهو إطار عمل خالٍ من المعلمات الفائقة (Hyperparameter-free) مصمم لتثبيط هذه التدرجات المزعجة جوهرياً دون تغييرات معقدة في البنية.

الآلية الجوهرية:
بدلاً من خسارة التقاطع المتقاطع القياسية ( $L = -\log(\text{softmax}(z)_{\tilde{y}})$ )، يطبق DSPT تطبيعاً احتمالياً متسلسلاً:
$L_{ours} = -\log(\text{softmax}(\text{softmax}(z))_{\tilde{y}})$
حيث تمثل $z$ القيم اللوغاريتمية (Logits) الناتجة عن النموذج المضبط بالمحفز، و $\tilde{y}$ هو التصنيف المشوب بالضجيج.

كيف يعمل:

السوفتماكس الأول: يحول القيم اللوغاريتمية $z$ إلى توزيع احتمالي $p = \text{softmax}(z)$ .
السوفتماكس الثاني: يطبق السوفتماكس مرة أخرى على $p$ لتوليد توزيع منقح $q = \text{softmax}(p)$ .
تثبيط التدرج الجوهري:
- للحالات التي يوجد فيها عدم تطابق عالي الثقة (العينات المشوبة بالضجيج): إذا كان النموذج واثقاً جداً في توقع يتعارض مع التصنيف الخاطئ (عينة يحتمل أن تكون مصنفة خطأً)، فإن السوفتماكس المزدوج يدفع القيم اللوغاريتمية إلى منطقة التشبع (Saturation Zone). ويظهر التحليل النظري أن مقدار التدرج لهذه العينات يتقارب نحو الصفر، مما يؤدي فعلياً إلى "إبطال" تأثيرها على التحديث.
- للعينات المعلوماتية/غير المؤكدة: بالنسبة للعينات التي يكون فيها النموذج أقل ثقة (قد تكون غامضة أو مصنفة بشكل صحيح ولكنها صعبة)، تظل التدرجات ضمن "منطقة التعلم النشط"، مما يسمح للنموذج بتعلم تحسينات دقيقة.
حدود الخسارة: تضمن الطريقة أن تكون دالة الخسارة محدودة، مما يمنع النموذج من التكيف مع القيم المتطرفة الشاذة.

3. المساهمات الرئيسية

الرؤية النظرية: تقدم الورقة تحليلاً منهجياً يكشف عن "مفارقة طفرة التدرج" في ضبط محفزات نماذج الرؤية واللغة، حيث تؤدي السوابق المعرفية القوية مع التصنيفات المشوبة بالضجيج إلى تحديثات تدرج مدمرة.
إطار عمل مبتكر (DSPT): تقديم دالة خسارة "سوفتماكس مزدوج" بسيطة وقابلة للاستخدام المباشر تعمل كمرشح جوهري للضجيج. وهي تعيد توظيف ظاهرة "تلاشي التدرج" التي كانت تُعتبر مشكلة تقليدياً، لتصبح آلية مبدئية لتثبيط الضجيج.
تصميم خالٍ من المعلمات الفائقة: على عكس الطرق الموجودة (مثل LogitNorm و LogitClip) التي تتطلب ضبطاً دقيقاً للعتبات أو معاملات التقييد، لا يتطلب DSPT أي معلمات فائقة، مما يجعله قوياً عبر مختلف مجموعات البيانات ومعدلات الضجيج.
الضمانات النظرية: يقدم المؤلفون براهين تثبت أن DSPT يحفز إبطال التدرج في حالات عدم التطابق عالي الثقة، ويضع حدوداً لفرق المخاطر المتوقع بين التوزيعات النظيفة والمشوبة بالضجيج.

4. النتائج التجريبية

قيم المؤلفون DSPT على 9 مجموعات بيانات متنوعة (بما في ذلك Caltech101، وStanfordCars، وOxfordPets، وFlowers102، إلخ) تحت ظروف ضجيج مختلفة (ضجيج متماثل وضجيج تبديل الأزواج) بمعدلات تصل إلى 90%.

الأداء: حقق DSPT باستمرار أفضل أداء (SOTA) من حيث المتانة. فقد تفوق على النماذج المرجعية مثل CoOp وLogitNorm وLabel Smoothing وطريقة NLPrompt الأكثر تعقيداً.
- في سيناريوهات الضجيج العالي (مثلاً 80% ضجيج متماثل)، غالباً ما فشل CoOp (حيث انخفض أداؤه عن مستوى الحالة الصفرية)، بينما حافظ DSPT على دقة عالية.
- أظهر DSPT تحسناً بنسبة 0.4% إلى 5% في متوسط الدقة مقارم بالمنهج الثاني الأفضل (NLPrompt) عبر معظم الإعدادات.
المتانة تجاه الضجيج الشديد: حتى في ظل الضجيج الشديد (90% متماثل، 80% تبديل أزواج)، تفوق DSPT بشكل كبير على طرق اختيار العينات وتقنيات تقليل الضجيج الأخرى.
تحليل التدرج: أكدت الأدلة التجريبية (الشكل 3) أن DSPT نجح في تثبيط تدرجات العينات المصنفة خطأً لتصل إلى ما يقرب من الصفر مع الحفاظ على تدرجات العينات المصنفة بشكل صحيح، بينما تسمح دالة التقاطع المتقاطع القياسية للعينات المشوبة بالضجيج بالهيمنة.
المقارنة مع LogitClip: توضح الورقة أن LogitClip حساس للغاية لمعلمة العتبة ( $\tau$ ) الخاصة به، والتي تختلف بشكل كبير بين مجموعات البيانات. ويتجنب DSPT عدم الاستقرار هذا تماماً.

5. الأهمية والأثر

البساك والعمومية: يوضح هذا العمل أن تعديلاً رياضياً بسيطاً (سوفتماكس مزدوج) يمكنه حل مشكلة معقدة (الضجيج في التصنيفات في نماذج الرؤية واللغة) بشكل أكثر فعالية من البنى المعقدة المصممة يدوياً.
تحول في النموذج الفكري: يتحدى العمل النظرة التقليدية التي تعتبر "تلاشي التدرج" عيباً دائماً، موضحاً أنه يمكن أن يكون ميزة لتصفية الضجيج في النماذج سابقة التدريب.
القابلية للتطبيق العملي: باعتباره حلاً "جاهز للاستخدام" لا يتطلب ضبط معلمات فائقة، فإن DSPT عملي للغاية للتطبيقات الواقعية حيث تكون جودة التصنيفات غير معروفة أو سيئة.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذه الآلية لتشمل نماذج الرؤية واللغة الكبيرة (LVLMs) للمهام اللاحقة، مما يضع "السوفتماكس المزدوج" كحجر بناء أساسي للتعلم متعدد الوسائط المتين.

باختصار، تقدم هذه الورقة حلاً مبنياً على أسس نظرية، ومتفوقاً تجريبياً، وبسيطاً عملياً لمشكلة حرجة وهي ضجيج التصنيفات عند تكييف نماذج الرؤية واللغة، وذلك عبر استغلال ثقة النماذج سابقة التدريب لتصفية الأخطاء.