Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning

إليك ملخص تقني مفصل لورقة البحث بعنوان "Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning".

1. بيان المشكلة (Problem Statement)

يهدف ضبط المطالبات في وقت الاختبار (Test-Time Prompt Tuning - TPT) إلى تكييف نماذج الرؤية واللغة (VLMs) مثل CLIP مع المجالات غير المرئية أثناء الاستدلال، وذلك عبر تحديث متجهات المطالبات القابلة للتعلم باستخدام بيانات اختبار غير مصنفة. يتبع نهج TPT القياسي عملية توليد عروض متعددة (augmented views) لصورة المدخلات، وحساب التنبؤات، وتحديث المطالبات عن طريق تقليل الإنتروبيا (entropy) لمتوسط التنبؤ.

ومع ذلك، حدد المؤلفون خللاً حرجاً في طرق TPT الحالية: الاعتماد على اختيار غير موثوق للعروض (view selection).

• فشل الإنتروبيا (Entropy Failure): يفترض نظام تصفية الإنتروبيا القياسي أن الإنتروبيا المنخفضة تعني ثقة عالية. ومع ذلك، تحت ظروف تحول التوزيع (distribution shifts)، غالباً ما تُظهر النماذج "ثقة مفرطة" في مناطق الخلفية غير ذات الصلة أو عمليات القص (crops) المشوشة، مما يؤدي إلى ثقة عالية في تنبؤات خاطئة.
• العمى الدلالي (Semantic Blindness): إن اختيار العروض بناءً على الإنتروبيا فقط أو التشابه البصري البسيط (التشابه الجيبي لـ cosine similarity مع الصورة الأصلية) يفشل في ضمان احتواء العروض المختارة على المحتوى الدلالي الصحيح (مثل السمات الرئيسية للكائن).
• النتيجة: إن تكييف المطالبات باستخدام هذه العروض المشوشة أو غير المتوافقة دلالياً يعزز التحيزات الخاطئة، مما يتسبب في انحراف النموذج نحو دلالات خاطئة بدلاً من الفئة الحقيقية.

2. المنهجية (Methodology)

تقترح الورقة إطار عمل التوجيه بالمرتكزات ثنائي الوسائط (Dual-Modality Anchor-Guided Framework) الذي يرسخ اختيار العرض في الأدلة الدلالية بدلاً من مجرد الثقة الإحصائية. تتكون الطريقة من ثلاث مراحل أساسية:

أ. بناء المرتكزات ثنائية الوسائط (Dual-Modality Anchor Construction)

بدلاً من استخدام مطالبات أولية فضفاضة (مثل "صورة لـ [CLASS]")، يبني إطار العمل نوعين من المرتكزات الديناميكية:

1. المرتكز النصي (الدلالي - Text Anchor):
   • التوليد: يستخدم نموذج لغة ضخم (LLM) لتوليد أوصاف نصية غنية بالسمات لكل فئة (على سبيل المثال: "الكلب له فرو ناعم، وآذان متدلية...").
   • التجميع: يتم تشفير هذه الأوصاف بواسطة مشفر النص الخاص بـ CLIP. وتعمل آلية التجميع الموزون بالتوافق (alignment-weighted aggregation) على حساب التشابه بين عرض الصورة وكل وصف. يتم وزن الأوصاف التي تتوافق بشدة مع عرض الصورة المحدد بشكل أكبر لتشكيل مرتكز نصي ديناميكي ($t_c$).
2. المرتكز الصوري (البصري/الإحصائي - Image Anchor):
   • البناء: يحافظ على بنك النماذج الأولية (Prototype Bank) الذي يراكم السمات البصرية للعروض المختارة أثناء الاستدلال في وقت الاختبار.
   • التحديث: بالنسبة لصورة اختبار معينة، يتم اختيار أفضل $K$ من النماذج الأولية للفئات من البنك لتشكيل مجموعة مرتكزات صورية ($A_{img}$). وهذا يلتقط الإحصائيات البصرية المتطورة لتوزيع الاختبار الحالي.

ب. التصفية ثنائية الوسائط (Dual-Modality Filtering)

يقوم إطار العمل بتصفية العروض المعززة باستخدام آلية تسجيل التوافق والثقة المشترك (Joint Alignment-Confidence Scoring) لكلا المرتكزين:

• التسجيل (Scoring): لكل عرض، يتم حساب:
  • درجة التوافق (Alignment Score): التشابه الجيبي (cosine similarity) بين العرض والمرتكزات النصية والصورية.
  • درجة الثقة (Confidence Score): الإنتروبيا المتوقعة المعيارية.
• الاختيار (Selection): يتم حساب درجة مركبة ($S = \alpha \cdot \text{Alignment} + \beta \cdot \text{Confidence}$):
  • المصفاة الموجهة بالنص (Text-Guided Filter): تحتفظ بأفضل $q\%$ من العروض ذات التوافق العالي مع المرتكزات النصية.
  • المصفاة الموجهة بالصور (Image-Guided Filter): تحتفظ بأفضل $p\%$ من العروض ذات التوافق العالي مع المرتكزات الصورية.
• المجموعة النهائية: يتم استخدام اتحاد العروض التي تجتاز كلا المرشحين لعملية التكييف. يضمن هذا أن العروض المستخدمة هي فقط تلك المتسقة دلالياً والممثلة بصرياً.

ج. التجميع المدرك للثقة والتكييف (Confidence-Aware Ensemble & Adaptation)

بدلاً من مجرد تقليل الإنتروبيا للعروض المصفاة، قدم المؤلفون إشارة إشراف أكثر استقراراً:

• تنبؤ التجميع (Ensemble Prediction): يولد النموذج تنبؤات من ثلاثة مصادر لكل عرض مختار: المطالبة الأصلية، المرتكز النصي، والمرتكز الصوري.
• التوزين (Weighting): يتم دمج هذه التنبؤات في متجه تجميع واحد باستخدام التوزين المدرك للثقة (الأوزان تتناسب مع الاحتمالية القصوى لكل مصدر).
• توزيع الهدف (Target Distribution): يتم شحذ مخرجات التجميع (عبر تغيير مقياس درجة الحرارة - temperature scaling) لإنشاء توزيع هدف قوي ($\tilde{q}$).
• دالة الخسارة (Loss Function): يتم تحديث المطالبات عن طريق تقليل تباعد KL (KL-Divergence) بين تنبؤ المطالبة الأصلية وهذا الهدف التجميعي المشحوذ. هذا يمنع النموذج من الانهيار نحو تنبؤات واثقة جداً ولكنها غير متسقة دلالياً.

3. المساهمات الرئيسية (Key Contributions)

1. إطار عمل المرتكزات ثنائي الوسائط: نهج مبتكر لاختيار العروض يستبدل مقاييس الإنتروبيا غير الموثوقة بمرتكزات مستندة إلى كل من السمات النصية الدقيقة (المولدة بواسطة LLM) والإحصائيات البصرية التكيفية (بنك النماذج الأولية).
2. تسجيل التوافق والثقة المشترك: آلية تصفية تتطلب من العروض تحقيق توافق دلالي عالٍ وعدم يقين منخفض، مما يؤدي فعلياً إلى تصفية الخلفيات المشوشة والعروض غير المتوافقة.
3. الإشراف بالتجميع المدرك للثقة: استراتيجية تعامل المرتكزات كأدوات تنبؤ مساعدة. من خلال دمج تنبؤاتها في توزيع هدف مستقر، توفر الطريقة إشارة إشراف قوية تتجنب عيوب التدريب الذاتي على البيانات المشوشة.
4. خفيف الوزن ومرن (Lightweight & Modular): لا يضيف النهج عبئاً حسابياً يذكر (مشابه لـ vanilla TPT) ويمكن دمجه بسلاسة في خطوط أنابيب ضبط المطالبات الموجودة (مثل CoOp و MaPLe).

4. النتائج التجريبية (Experimental Results)

تم تقييم الطريقة على 15 مجموعة بيانات مرجعية، بما في ذلك متغيرات ImageNet (تعميم النطاق) و10 مهام متنوعة منخفضة المستوى (نقل عبر مجموعات البيانات).

• تعميم النطاق (ImageNet):
  • حقق متوسط دقة قدره 65.74% و متوسط OOD قدره 64.12%.
  • تفوق على طريقة TPT السابقة الأفضل (DynaPrompt) بنسبة +2.37% في متوسط الدقة و +2.31% في دقة OOD.
  • تجاوز خط الأساس القوي CoOp+TPT بنسبة +2.52%.
• النقل عبر مجموعات البيانات (Cross-Dataset Transfer):
  • حقق متوسط دقة قدره 68.81% عبر 10 مجموعات بيانات متنوعة.
  • يمثل هذا تحسناً بنسبة +3.71% عن خط أساس TPT القياسي، ويتفوق بشكل كبير على أفضل طريقة لتعلم المطالبات (CoPrompt) بنسبة 1.81%.
  • عند دمجه مع MaPLe، حقق مستوى جديداً (SOTA) قدره 69.36%.
• الكفاءة:
  • تحافظ الطريقة على نفس وقت الاستدلال لـ vanilla TPT (0.2 ثانية لكل صورة)، بينما تستغωر طرق الانتشار (DiffTPT) أكثر من 0.6 ثانية، وتتحمل طرق المطالبات المتعددة الأخرى أعباءً أعلى.

5. الأهمية (Significance)

تعالج هذه الورقة حداً جوهرياً في التكيف في وقت الاختبار: الافتراض بأن الإنتروبيا المنخفضة تعني الجودة العالية. من خلال تقديم المرتكزات الدلالية، يثبت المؤلفون أن التكيف القوي يتطلب التحقق مما يراه النموذج، وليس فقط مدى ثقته فيما يراه.

تكمن الأهمية في:

1. المتانة (Robustness): تمكن النماذج (VLMs) من التعميم بفعالية على المجالات غير المرئية والمنتقلة دون بيانات مصنفة، وهو مطلب حاسم للنشر في العالم الحقيقي.
2. التأسيس الدلالي (Semantic Grounding): تسد الفجوة بين السمات البصرية والسمات النصية الدقيقة، مما يضمن تكيف النموذج بناءً على دلالات الكائن الحقيقية بدلاً من ضوضاء الخلفية.
3. العملية (Practicality): تحقق أداءً رائدًا (SOTA) دون التكلفة الحسابية الثقيلة لنماذج الانتشار أو آليات الذاكرة المعقدة، مما يجعلها حلاً قابلاً للتطبيق للتكيف الفوري والفعال.