PromptHub: Enhancing Multi-Prompt Visual In-Context Learning with Locality-Aware Fusion, Concentration and Alignment

إليك ملخص تقني مفصل لورقة البحث بعنوان "PromptHub: تعزيز التعلم السياقي البصري متعدد المطالبات عبر الدمج المدرك للمحلية، والتركيز، والمحاذاة".

1. بيان المشكلة

يهدف التعلم السياقي البصري (VICL) إلى حل المهام البصرية من خلال محاكاة العروض التوضيحية على مستوى البكسل (أزواج المدخلات والمخرجات). وبينما استكشفت الأعمال الحديثة استخدام مطالبات متعددة لإثراء السياق وتقليل الانحياز، تواجه النهج الحالية قيوداً كبيرة:

• الدمج غير الفعال: تستخدم الأساليب السابقة مثل CONDENSER (Wang et al., 2025) استراتيجية الدمج على مستوى الرقعة (patch-wise fusion). هذا النهج يجمع المعلومات من مطالبات متعددة رقعة برقعة، مما يؤدي غالباً إلى عدم استغلال الإشارات القيمة وإدخال ضوضاء عند الحواف.
• الإشراف المستقل عن النموذج: تعتمد الأطر الحالية غالباً على إشارات إشرافية عند مستوى المدخلات لا تتوافق تماماً مع التمثيل الداخلي للنموذج الأساسي (backbone)، مما يجعل النموذج لا يثق في المطالبة المدمجة ويعود إلى قدراته الاستنتاجية الخاصة.
• مشكلات التباين: غالباً ما يوجد تباين دلالي أو مكاني بين المطالبة المدمجة وزوج الاستعلام (query pair)، مما يعيق قدرة النموذج الأساسي على "الثقة" بفعالية واستخدام التمثيل المدمج لتعلم المحاكاة.

2. المنهجية: PromptHub

PromptHub هو إطار عمل مصمم لتعزيز تعدد المطالبات بشكل شامل من خلال استراتيجية دمج مدركة للمحلية (locality-aware fusion) وهدف تدريب ذو حلقة مغلقة ("الدمج–الاستخدام–التنبؤ").

أ. وحدة الدمج المدرك للمحلية (Locality-Aware Fusion Module)

بدلاً من مجرد التجميع البسيط على مستوى الرقعة أو المتوسط العالمي، يقدم PromptHub آلية انتباه متقاطع محسنة محلياً:

• الأولويات المكانية: يستخدم أولوية محلية (توزيع غاوسي أو لابلاسي) يتم التحكم فيها بواسطة معامل $\sigma$. تقوم هذه الآلية بتعيين أوزان تتلاشى مكانياً من الرقعة الحالية، مما يوازن بين الحاجة إلى مجال استقبال عالمي والحاجة إلى تخفيف ضوضاء الحواف.
• الانتباه المتكيف مع الاستعلام: لكل رمز (token) في صورة الاستعلام، تحسب الوحدة درجات الانتباه مقابل أزواج المطالبات. يتم تعديل هذه الدرجات بواسطة الأولوية المحلية لتوليد أوزان انتباه محسنة محلياً.
• الدمج: يتم دمج الميزات الموزونة من مطالبات متعددة في زوج مطالبات موحد $(F_{Xf}, F_{Yf})$ في فضاء التضمين (embedding space)، مما يضمن أن التمثيل المدمج متماسك مكانياً ومتوافق مع الاستعلام.

ب. ثلاثة أهداف تعلم متكاملة

لضمان جودة المطالبات المدمجة واستخدامها بفعالية، يقوم PromptHub بتحسين دالة خسارة تآزرية تتكون من ثلاثة حدود:

1. خسارة التنبؤ بالملصق ($\mathcal{L}_p$): هو هدف الـ VICL الأساسي. يضمن قدرة النموذج على إعادة بناء الملصق المستهدف من السياق المدمج، مما يحافظ على سلوك التنبؤ السياقي الجوهري.
2. خسارة التكامل الدلالي ($\mathcal{L}_s$): هي خسارة محاذاة عبر الإنتروبيا المتقاطعة (cross-entropy) تجبر الرموز المستمرة لـ المطالبة المدمجة على التوافق مع الرموز المنفصلة لـ زوج الاستعلام (الذي يُعامل كمطالبة). هذا يقلل التباين الدلالي بين التمثيل المدمج والاستعلام، مما يشجع النموذج الأساسي على الثقة في المدخل المدمج.
3. خسارة الاستخدام ($\mathcal{L}_u$): هي خسارة تشابه جيب التمام (cosine-similarity) مصممة لتقليل عدم التشابه بين ميزات الاستعلام وميزات المطالبة المدمجة. هذا يدرب النموذج الأساسي صراحةً على الاعتماد على الإشارات المدمجة بدلاً من تجاهلها.

ج. استراتيجية تعزيز البيانات

لتعزيز الإشراف والمتانة بشكل أكبر، تستخدم عملية التدريب مخطط تعزيز بيانات محدد:

• استبدال الاستعلام: استبدال بعض أزواج المطالبات المسترجعة بجوز الاستعلام الفعلي (لتقليل التباين وتعزيز $\mathcal{L}_u$).
• الاستبدال العشوائي: استبدال الأزواج بأمثلة مسترجعة عشوائياً لإدخال الضوضاء، مما يعزز متانة النموذج ($\mathcal{L}_s$) وقدرته على التعميم عند عدم توفر مطالبات عالية الجودة أثناء الاستدلال.

3. المساهمات الرئيسية

1. استراتيجية الدمج المعززة للمحلية: آلية دمج مبتكرة توازن بين المحلية المكانية ومجالات الاستقبال العالمية، متجاوزةً قيود أساليب الدمج على مستوى الرقعة أو الدمج العالمي.
2. التحسين ثلاثي الأهداف: اقتراح ثلاثة أهداف تعلم متكاملة ($\mathcal{L}_p, \mathcal{L}_s, \mathcal{L}_u$) تعمل بشكل تعاوني لتحسين جودة الدمج، وفرض تركيز المطالبات، وضمان التنبؤ السياقي القوي.
3. تعزيز البيانات المتين: تقنية تعزيز خاصة بـ VICM تستبدل أزواج المطالبات بأزواج الاستعلام أو أزواج عشوائية لتنظيم عملية الدمج.
4. أداء رائد (State-of-the-Art): أظهر أداءً فائقاً في مهام التجزئة، والكشف، وتلوين الصور، متفوقاً على النماذج المرجعية مثل CONDENSER وPrompt-SelF.

4. النتائج التجريبية

قيم المؤلفون PromptHub في ثلاث مهام بصرية أساسية باستخدام العمود الفقري MAE-VQGAN:

• تجزئة المقدمة (Pascal-5i): حقق PromptHub متوسط mIoU بنسبة 47.81% مع 16 مطالبة ($N=16$)، متفوقاً على CONDENSER ($46.63\%$) بنسبة 1.18% وأظهر مكاسب كبيرة على نماذج المطالبة الواحدة.
• الكشف عن كائن واحد (Pascal VOC2012): حقق 45.59% mIoU ($N=16$)، متفوقاً على CONDENSER بنسبة 0.95%.
• تلوين الصور (ImageNet-1K): حقق MSE قدره 0.503، وهو أفضل بكثير من 0.539 الخاص بـ CONDENSER.
• القابلية للنقل: عند التدريب على COCO-5i والاختبار على Pascal-5i، أظهر PromptHub تحسناً بنسبة 4.1% عن CONDENSER في إعداد المطالبات المتعددة، مما يدل على قدرة قوية على نقل النطاق (domain transferability).
• المتانة:
  • الاستقلال عن الاسترجاع: أدى أداءً ثابتاً عبر استراتيجيات استرجاع مختلفة (عشوائي، UnsupPR، SupPR، ومستوى البكسل).
  • عدم المحاذاة المكانية: تحت تأثير الاضطرابات المكانية (القلب/flipping)، أظهر PromptHub انخفاضاً في الأداء بنسبة 0.66% فقط ($N=16$) مقارنة بـ 1.39% لـ CONDENSER، مما يثبت مرونته تجاه الإزاحات الموضعية.
  • المهام غير المرئية: في نقل المهام (من التجزئة إلى الكشف)، تفوق PromptHub على CONDENSER بنسبة 1.83% mIoU.

5. الأهمية

يؤسس هذا العمل نموذجاً موثوقاً مدركاً للمحلية لدمج المطالبات في التعلم السياقي البصري. من خلال تجاوز مجرد تجميع الرقع، يعالج PromptHub القضايا الحرجة المتمثلة في عدم استغلال المعلومات وعدم ثقة النموذج في إعدادات المطالبات المتعددة.

• القابلية للتفسير: تكشف التصورات للمطالبات المدمجة أن PromptHub ينتج تمثيلات سلسة ومتماسكة دلالياً، بينما تنتج أساليب الرقع أنماطاً ضوضائية غالباً.
• القدرة على التعميم: أُثبت أن الإطار فعال عبر مهام متنوعة، وطرق استرجاع، وتحولات في النطاق، مما يجعله حلاً قوياً لتوسيع قدرات النماذج التأسيسية في المهام البصرية.
• تحول في النموذج (Paradigm Shift): ينقل التركيز من مجرد تجميع المطالبات إلى محاذاة وتركيز انتباه النموذج بنشاط على الإشارات المدمجة من خلال استراتيجية تدريب ذات حلقة مغلقة.