🤖 machine learning

Revisit Visual Prompt Tuning: The Expressiveness of Prompt Experts

تقترح هذه الورقة البحثية الضبط المرن البصري (VAPT)، وهي طريقة تعزز القدرة التعبيرية الوظيفية لخبراء المطالبات ضمن إطار عمل "خليط من الخبراء" لتحسين القدرة على التكيف والأداء في ضبط نماذج الرؤية بكفاءة في المعلمات.

المؤلفون الأصليون: Minh Le, Anh Nguyen, Huy Nguyen, Chau Nguyen, Anh Tran, Nhat Ho

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Minh Le, Anh Nguyen, Huy Nguyen, Chau Nguyen, Anh Tran, Nhat Ho

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً محترفاً عالمياً (هذا هو نموذج الرؤية المدرب مسبقاً) يعرف كيف يطبخ أي شيء تقريباً.

الآن، تخيل أنك تريد من هذا الطباخ أن يتخصص في مطبخ محدد للغاية، لنقل مثلاً: "أكل الشوارع من قرية معينة في تايلاند".

الطريقة القديمة: الضبط الدقيق البصري للنماذج (VPT)

في الطريقة القديمة (VPT)، بدلاً من إعادة تدريب الطباخ، أنت فقط تعطيه بطاقة وصفة ثابتة ("المطالبة" أو الـ Prompt). تقول هذه البطاقة: "استخدم المزيد من الليمون، واستخدم المزيد من الفلفل الحار، واستخدم المزيد من صلصة السمك".

يقرأ الطباخ البطاقة ويحاول تطبيق تلك التعليمات على كل طبق يصنعه. ولكن هناك مشكلة: الحساء الحار يحتاج إلى كمية ليمون تختلف عن طبق "الستير فراي" الحار. ولأن بطاقة الوصفة ثابتة (لا تتغير أبداً)، لا يستطيع الطباخ التكيف. إنه عالق في اتباع نفس "القاعدة العامة" للتوابل لكل طبق، مما يؤدي إلى نتائج متوسطة الجودة.

الطريقة الجديدة: الضبط الدقيق البصري التكيفي (VAPT)

ابتكر الباحثون في هذه الورقة نظاماً أكثر ذكاءً يسمى VAPT.

بدلاً من بطاقة وصفة ثابتة، أعطوا الطباخ "مساعد طباخ ذكي" ("المطالبة التكيفية"). هذا المساعد لا يحمل مجرد بطاقة فحسب؛ بل إنه ينظر فعلياً إلى المكونات الموجودة على الطاولة قبل تحضير كل طبق.

إذا رأى مساعد الطهاة كومة من حليب جوز الهند الثقيل، فإنه يهمس للطباخ: "مهلاً، نحن بحاجة إلى ليمون إضافي هذه المرة لكسر حدة الدسم". وإذا رأى كومة من النودلز الجافة، يهمس: "أضف المزيد من صلصة السمك للحفاظ على رطوبتها".

ولأن التعليمات الآن تعتمد على المدخلات (تتغير بناءً على ما يراه الطباخ)، يمكن للطباخ أن يكون دقيقاً للغاية. هو لا يقوم فقط بـ "إضافة التوابل"؛ بل هو "يضيف الكمية الصحيحة تماماً من التوابل لهذا المكون المحدد".

كيف يعمل ذلك تقنياً؟ (آليات "مساعد الطباخ")

تستخدم الورقة ثلاث حيل ذكية لجعل "مساعد الطباخ" هذا يعمل دون جعل المطبخ مزدحماً أو مكلفاً:

الرؤية الشاملة (أجهزة إسقاط الرموز - Token-wise Projectors): لا ينظر مساعد الطباخ إلى حبة أرز واحدة فحسب؛ بل ينظر إلى الطاولة بأكملها لفهم "طابع" المكونات.
رقابة الحي (التلافيف عبر القنوات - Channel-wise Convolution): يلاحظ مساعد الطباخ كيف ترتبط المكونات بجيرانها (على سبيل المثال: "الفلفل الحار يقع بجانب الليمون مباشرة، لذا دعونا نوازن بينهما").
خبير الكفاءة (جهاز إسقاط الميزات المشترك - Shared Feature Projector): للحفاظ على السرعة، يستخدم مساعد الطباخ "دماغًا" واحدًا لمعالجة جميع الأطباق المختلفة، بدلاً من الحاجة إلى دماغ كامل لكل وصفة على حدة. هذا يحافظ على "التكلفة الإضافية" (المعلمات وقوة الحوسبة) منخفضة للغاية، وكأنها غير مرئية تقريباً.

لماذا يهم هذا؟ (النتائج)

اختبر الباحثون "مساعد الطباخ الذكي" هذا في عدة "اختبارات طبخ" (مجموعات بيانات مثل VTAB-1K و FGVC). كانت النتائج مبهرة:

نكهة أفضل: تفوق على الطريقة القديمة بشكل كبير، بل وتفوق على النماذج التي تم "إعادة تدريبها بالكامل" (والذي يشبه إعادة تدريب الطباخ بالكامل من الصفر).
تعلم أسرع: في حالات "البيانات المنخفضة" (حيث لا تملك سوى عدد قليل من المكونات للتدريب عليها)، تعلمت طريقة VAPT بشكل أسرع بكثير. بينما كانت الطريقة القديمة لا تزال تكافح لفهم نوع المطبخ، كان نظام VAPT يطبخ بالفعل وجبات لذيذة.
خفيف الوزن: لم يجعل النظام عملية الطبخ أبطأ أو أكثر تكلفة. لم يضف أي "عمل" إضافي (FLOPs) يُذكر إلى العملية.

الملخص

كانت VPT بمثابة إعطاء خبير مجموعة من التعليمات الثابتة.
أما VAPT فهي بمثابة إعطاء الخبير مجموعة من التعليمات الذكية والمتفاعلة التي تتغير بناءً على ما يراه. هذا يجعل الذكاء الاصطناعي أكثر مرونة، وأكثر ذكاءً، وأكثر كفاءة في تعلم مهام جديدة.

ملخص تقني: إعادة النظر في الضبط الدقيق للمطالبات البصرية: قدرة التعبير لخبراء المطالبات

1. بيان المشكلة

أصبح الضبط الدقيق للمطالبات البصرية (VPT) وسيلة مهيمنة في مجال الضبط الدقيق الفعال للمعلمات (PEFT) لنماذج المحولات البصرية (ViTs). وتعمل هذه الطريقة عبر إلحاق مجموعة صغيرة من رموز المطالبات القابلة للتعلم بمدخلات كل كتلة محولة. وبينما حققت هذه الطريقة نجاحاً تجريبياً، حدد المؤلفون قيداً نظرياً ووظيفياً جوهرياً: محدودية القدرة التعبيرية لخبراء المطالبات.

في إطار عمل VPT القياسي، تكون رموز المطالبات غير متغيرة بتغير المدخلات (متجهات ثابتة). وبينما تعمل آلية الانتباه سابقة التدريب كدالة ديناميكية للمدخلات، فإن خبراء المطالبات المستحدثين هم مجرد قيم ثابتة. هذا يخلق تفاوتاً وظيفياً: فالخبراء سابقي التدريب هم دوال خطية للمدخلات، بينما خبراء المطالبات هم مجرد انحيازات ثابتة. وهذا النقص في التكيف مع المدخلات يحد من قدرة النموذج على التخصص في المهام المعقدة الموجهة له.

2. المنهجية: الضبط الدقيق للمطالبات البصرية التكيفي (VAPT)

أعاد المؤلفون تفسير آلية الانتباه من خلال منظور خليط الخبراء (MoE). وقد أثبتوا أن كل رأس انتباه يمكن اعتباره تكويناً لعدة نماذج خليط من الخبراء، حيث تعمل رموز المطالبات كـ "خبراء مطالبات جدد" يتعاونون مع الخبراء سابقي التدريب.

ولحل مشكلة القدرة التعبيرية، اقترحوا الضبط الدقيق للمطالبات البصرية التكيفي (VAPT). فبدلاً من الرموز الثابتة، يقوم VAPT بتوليد رموز مطالبات تعتمد على المدخلات (تكيُّفية) باستخدام وحدتين خفيفتين:

أجهزة الإسقاط لكل رمز والالتفاف عبر القنوات: لالتقاط المعلومات المكانية العالمية والمحلية معاً، تطبق الطريقة التفافاً عبر القنوات (والذي يعيد استخدام الأوزان عبر القنوات لتوفير المعلمات) متبوعاً بأجهزة إسقاط لكل رمز. تقوم هذه العملية بتجميع الميزات عبر المواقع المكانية لإنشاء سياق عالمي.
جهاز إسقاط الميزات (MLP): يتم تمرير الميزات العالمية المجمعة عبر شبكة عصبية متعددة الطبقات (MLP) صغيرة ومشتركة لإنتاج رموز المطالبات التكيفية النهائية.

المبدأ التصميمي الرئيسي: يحقق التصميم توازناً بين القدرة التعبيرية (جعل الخبراء دوالاً للمدخلات $X$ ) والكفاءة (ضمان بقاء عدد المعلمات الإضافية وعمليات الحساب العائمة - FLOPs - في حدها الأدنى).

3. المساهمات الرئيسية

إعادة التفسير النظري: وضع المؤلفون اتصالاً رسمياً بين VPT وMoE، مما وفر إطاراً رياضياً لتحليل التعلم القائم على المطالبات.
بنية مبتكرة (VAPT): قدموا آلية للمطالبات التكيفية مع المدخلات تحافظ على كفاءة عالية في عدد المعلمات.
الضمانات النظرية: على عكس معظم أدبيات ضبط المطالبات، تقدم هذه الورقة تحليلاً إحصائياً صارماً. فقد أثبتوا أن VAPT يحقق كفاءة عينة مثلى لتقدير المطالبات، مما يعني أنه يتعلم بفعالية حتى مع البيانات المحدودة جداً.
التحقق التجريبي: أظهروا أن VAPT يتفوق على كل من VPT والضبط الدقيق الكامل عبر عدة اختبارات مرجعية.

4. النتائج

التقييم التجريبي واسع النطاق، حيث غطى اختبارات VTAB-1K، وFGVC، وADE20K:

أداء متفوق: في اختبار VTAB-1K، حقق VAPT تحسناً متوسطاً قدره 7.34% عن الضبط الدقيق الكامل، رغم تحديث 0.36% فقط من إجمالي المعلمات.
الكفاءة: يتفوق VAPT باستمرار على VPT مع تطلبه لعدد أقل من المعلمات القابلة للتدريب وإضافة عبء حسابي ضئيل جداً (حوالي 0.6% من العمليات الحسابية العائمة - FLOPs).
كفاءة العينة: في ظروف البيانات المنخفضة (على سبيل المثال، استخدام 1% فقط من بيانات التدريب على Stanford Dogs)، حقق VAPT دقة بنسبة 60.1%، مقارنة بـ 3.6% فقط لـ VPT. وهذا يؤكد الادعاء النظري حول كفاءة العينة المثلى.
المتانة والتعميم: أظهر VAPT أداءً قوياً عبر أهداف تدريب مسبق مختلفة (MAE، MoCo v3)، ومهام متنوعة (التقطيع الدلالي)، وحتى في الإعدادات متعددة الوسائط (استرجاع الصور والنصوص في CLIP).

5. الأهمية

تكمن أهمية هذه الورقة في أنها تنقل ضبط المطالبات من ممارسة قائمة على الحدس إلى تخصص قائم على أسس نظرية رصينة. ومن خلال تحديد الطبيعة "الثابتة" للمطالبات كعائق، قدم المؤلفون خارطة طريق لتصميم طرق أكثر قوة للضبط الدقيق الفعال للمعلمات (PEFT). إن القدرة على تحقيق أداء أفضل من الضبط الدقيق الكامل مع عدد ضئيل جداً من المعلمات تجعل VAPT ذا أهمية بالغة لنشر النماذج التأسيسية واسعة النطاق في البيئات محدودة الموارد.