Prompt-based Adaptation in Large-scale Vision Models: A Survey

إليك ملخص تقني مفصل لورقة البحث بعنوان "التكيف القائم على التلقين في نماذج الرؤية واسعة النطاق: مسح شامل" (Prompt-based Adaptation in Large-scale Vision Models: A Survey).

1. بيان المشكلة

أحدثت نماذج الرؤية واسعة النطاق (مثل Vision Transformers وSwin Transformers) ثورة في مجال الرؤية الحاسوبية من خلال نموذج "الPretraining ثم الـ Finetuning". ومع ذلك، مع زيادة أحجام النماذج، يصبح الضبط الدقيق الكامل التقليدي (Full Fine-Tuning - FT) مكلفاً للغاية من حيث الحوسبة والتخزين والذاكرة، كما ينطوي على خطر تآكل المعرفة المسبقة القيمة (النسيان الكارثي).

بينما ظهرت طرق الضبط الدقيق كفء المعلمات (Parameter-Efficient Fine-Tuning - PEFT) لمعالجة هذه المشكلة، إلا أن مجال التكيف القائم على التلقين (Prompt-based Adaptation - PA) يعاني من غموض مفاهيمي. فالمصطلحات مثل "التلقين البصري" (Visual Prompting - VP) و"ضبط التلقين البصري" (Visual Prompt Tuning - VPT) تُستخدم بشكل متبادل في الأدبيات، رغم أنها تمثل آليات مختلفة بمتطلبات دقة وتطبيقات متباينة. هناك نقص في وجود إطار عمل موحد لتمييز وتصنيف وتحليل هذه الطرق بشكل منهجي، لا سيما فيما يتعلق بالأسس النظرية، ومقايضات الكفاءة، والقابلية للتطبيق عبر المجالات والقيود المختلفة.

2. المنهجية: تصنيف موحد

يقترح المؤلفون إطار عمل موحداً يسمى التكيف القائم على التلقين (PA)، والذي يصنف الطرق بناءً على محورين رئيسيين: دقة الحقن (Injection Granularity) وآلية التوليد (Generation Mechanism).

أ. دقة الحقن (Injection Granularity)

يميز المسح بين نموذجين أساسيين بناءً على مكان تفاعل التلقين مع النموذج:

1. التلقين البصري (Visual Prompting - VP) – مستوى البكسل:

   • الآلية: تعديل الصورة المدخلة قبل عملية التقطيع (Tokenization) أو استخراج الميزات عبر دالة تلقين $u(x; \theta)$.
   • الأنواع الفرعية:
     • VP-Fixed (ثابت): تلقينات محددة مسبقاً (مثل النقاط، الصناديق، أو الأقنعة في نموذج SAM) يقدمها المستخدم أو القواعد. لا توجد معاملات قابلة للتعلم.
     • VP-Learnable (قابل للتعلم): يعمل على تحسين أنماط مساحة البكسل (الطبقات المتراكبة، البواقي، أو إشارات التردد) مع إبقاء الهيكل الأساسي (Backbone) مجمدًا.
     • VP-Generated (مولد): يستخدم شبكة توليد خفيفة الوزن لتخليق تلقينات تكيفية لكل صورة مدخلة.
   • حالات الاستخدام: مثالي لسيناريوهات الصندوق الأسود (Black-box)، والتقطيع التفاعلي، وتصحيح المدخلات.

2. ضبط التلقين البصري (Visual Prompt-Tuning - VPT) – مستوى الـ Token:

   • الآلية: حقن رموز تلقين (Prompt Tokens) قابلة للتعلم مباشرة في تسلسل الرموز/الميزات داخل طبقات الشبكة (مثل إضافتها في بداية التسلسل أو إدراجها بين كتل الـ Transformer).
   • الأنواع الفرعية:
     • VPT-Learnable (قابل للتعلم): رموز ثابتة قابلة للتعلم يتم تحسينها عبر الانحدار الاشتقاقي (مثل VPT-Shallow في الطبقة الأولى، أو VPT-Deep في جميع الطبقات).
     • VPT-Generated (مولد): يقوم مولد بإنتاج رموز تلقين ديناميكية خاصة بكل حالة بناءً على المدخلات.
   • حالات الاستخدام: مثالي للتكيف الدلالي العميق، وانزياح النطاق (Domain Shifts)، والمهام التي تتطلب إعادة معايرة الميزات الداخلية.

ب. آلية التوليد (Generation Mechanism)

تُصنف الطرق أيضاً حسب كيفية الحصول على التلقينات:

• ثابت (Fixed): غير قابل للتغيير، صديق للتعلم بدون تدريب (Zero-shot)، لكنه محدود بقدرات الهيكل المجمد.
• قابل للتعلم (Learnable): متجهات ثابتة يتم تحسينها لمجموعة بيانات؛ فعالة للتكيف مع النطاقات (Domain Adaptation) لكنها تفتقر إلى المرونة على مستوى الحالة (Instance-level).
• مولد (Generated): تلقينات ديناميكية مشروطة بالمدخلات؛ توفر مرونة عالية ومتانة ضد الاختلافات داخل الفئة الواحدة، ولكنها تزيد من زمن التأخير عند الاستنتاج (Inference Latency).

3. المساهمات الرئيسية

• أول تصنيف موحد: ترسي الورقة أول إطار هيكلي يفصل بين VP وVPT، موضحاً تصميماتهما الخوارزمية، وأماكن الحقن، وحالات الاستخدام.
• مسح شامل: تغطي الورقة نطاقاً واسعاً من تطبيقات PA، بما في ذلك المهام الأساسية (التقطيع، الترميم، الضغط)، والتطبيقات المتخصصة في المجالات (الطب، الاستشعار عن بعد، الروبوتات، الصناعة)، ونماذج التعلم المقيدة (التعلم من عينات قليلة، التكيف وقت الاختبار، التعلم الاتحادي).
• تحليل الكفاءة: يقدم المؤلفون تفصيلاً دقيقاً لتكاليف الذاكرة والحوسبة، مشيرين إلى أنه بينما يقلل كلا الأسلوبين من ذاكرة المعلمات والمحسن (Optimizer)، فإن VP يوفر توافقاً أفضل مع الصندوق الأسود وخيارات خالية من التدريب، بينما يوفر VPT تكيفاً دلالياً أعمق على حساب ذاكرة التنشيط (Activation Memory).
• رؤى نظرية: تستكشف الورقة الأسئلة الجوهرية، مثل كيف يغير PA آلية الانتباه (عبر GradCAM)، وما الذي تتعلمه التلقينات فعلياً (إعادة رسم خرائط مساحات التسميات مقابل تعلم تمثيلات مستقلة)، والعلاقة غير الخطية بين طول التلقين والأداء.
• الذكاء الاصطنا حادث والموثوقية: تتناول الورقة دور PA في المتانة، والعدالة، والخصوصية، وتحدد التحديات الحرجة مثل محاذاة السلامة، وعدم استقرار التدريب، وزمن تأخير الاستنتاج، والفجوة بين الاختبارات الأكاديمية والنشر في العالم الحقيقي.

4. النتائج والاكتشافات الرئيسية

• الأداء مقابل الكفاءة:
  • يعتبر VP متفوقاً في سيناريوهات الصندوق الأسود والمهام التفاعلية (مثل التقطيع الطبي باستخدام SAM) حيث يصعب الوصول إلى الاشتقاقات الداخلية. إنه يعمل بفعالية كطبقة "معالجة مسبقة".
  • يتفوق VPT عموماً على VP في المهام التي تتطلب إعادة محاذاة دلالية عميقة (مثل الاستشعار عن بعد، ونقاط السحابة ثلاثية الأبعاد) حيث تكون مساحة الميزات المدربة مسبقاً غير متوافقة مع النطاق المستهدف.
  • الذاكرة: يقلل VPT تخزين المعلمات بشكل كبير (<0.5% من إجمالي المعلمات) ولكنه لا يقلل بشكل كبير من ذاكرة التنشيط أثناء التدريب. أما VP-Fixed فيلغي ذاكرة جانب التلقين تماماً.
• التكيف مع النطاقات (Domain Adaptation):
  • في التصوير الطبي، يهيمن VP على التقطيع (باستخدام النقاط/الصناديق)، بينما يتفوق VPT في توليد التقارير والاستدلال متعدد الوسائط.
    • في الاستشعار عن بعد، يُفضل VP لتقطيع الحالات (لتوجيه النماذج عبر الفوضى)، بينما يُستخدم VPT لتصنيف المشاهد والاسترجاع متعدد الوسائط.
  • في البيئات القاسية (تحت الماء، الضباب)، يوفر VP ركائز مكانية للحدود المتدهورة، بينما يفرض VPT ثبات الميزات ضد الضوضاء البيئية.
• التعلم المقيد: يعد PA فعالاً للغاية في التعلم من عينات قليلة (Few-Shot Learning) (لمنع الإفراط في التخصيص)، والتكيف وقت الاختبار (TTA) (للتكيف مع انزياح التوزيع عبر الإنترنت)، والتعلم الاتحادي (Federated Learning) (لتقليل عبء الاتصال).
• طول التلقين: تظهر الدراسات التجريبية علاقة غير خطية بين طول التلقين والدقة؛ حيث تظهر عوائد تناقصية بسرعة، مما يشير إلى أن عدداً صغيراً من التلقينات عالية الجودة غالباً ما يكون كافياً.

5. الأهمية

يعمل هذا المسح كخارطة طريق حاسمة للباحثين والممارسين من خلال:

1. إزالة الغموض: حل الالتباس المصطلحي بين VP وVPT، مما يسمح بتواصل أكثر دقة واختيار أفضل للمنهجيات.
2. توجيه النشر: تقديم إرشادات عملية للاختيار بين VP وVPT بناءً على القيود (مثل الوصول للصندوق الأسود، حدود الذاكرة، الحاجة للتكيف الدلالي العميق).
3. تحديد الاتجاهات المستقبلية: تسليط الضوء على الاحتياجات الملحة لتحسين استقرار التدريب، وتقليل زمن تأخير الاستنتاج، وضمان السلامة/المحاذاة، والتحقق من المنهجيات على مجموعات بيانات واقعية وغير متجانسة بدلاً من الاكتفاء بالاختبارات الأكاديمية.
4. الربط بين النظرية والتطبيق: من خلال ربط التحليل النظري (مثل آليات الانتباه، والمعلومات المتبادلة) بالتطبيقات العملية عبر مختلف الصناعات، مما يسرع اعتماد PA في أنظمة الذكاء الاصطناعي الواقعية.

في الختام، تضع هذه الورقة التكيف القائم على التلقين ليس فقط كتقنية لتوفير المعلمات، بل كتحول جوهري في كيفية تكييف نماذج الرؤية الكبيرة، مما يوفر بديلاً مرناً، ومجزأً، وكفؤاً للضبط الدقيق الكامل، وهو أمر ضروري للجيل القادم من الذكاء الاصطناوي القابل للتوسع والموثوق.