💻 computer science

Towards Fine-Grained Robustness: Attention-Guided Test-Time Prompt Tuning for Vision-Language Models

تقترح الورقة البحثية طريقة "ضبط التلقين عند وقت الاختبار الموجه بالانتباه" (A-TPT)، وهي طريقة مبتكرة تستفيد من تدفق انتباه التدرج المنقح لتحديد المناطق ذات المعنى الدلالي تحت الهجمات العدائية، مما يوجه عمليات التعزيز المتغيرة مكانياً والتجميع متعدد الرؤى لتعزيز متانة النماذج البصرية اللغوية في السيناريوهات دقيقة التفاصيل.

المؤلفون الأصليون: Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك ناقد فني فائق الذكاء (نموذج لغوي بصري مثل CLIP) يمكنه النظر إلى صورة وإخبارك فوراً بما هي، حتى لو لم يسبق له رؤية هذا النوع المحدد من الصور. على سبيل المثال، يمكنه النظر إلى صورة لطائر نادر ويقول: "هذا نسر ذهبي"، بمجرد قراءة كتاب عن الطيور.

ومع ذلك، فإن لهذا الناقد نقطة ضعف: إذا قام شخص ما بتسلل بقعة صغيرة، غير مرئية تقريباً، على الصورة (هجوم عدائي)، فسوف يرتبك الناقد وقد يعتقد فجأة أن النسر هو محمصة خبز.

تقدم هذه الورقة البحثية طريقة جديدة تسمى A-TPT (ضبط ضبط المطالبات الموجه بالتنبيه أثناء الاختبار) لمساعدة الناقد على البقاء هادئاً ودقيقاً، حتى عندما يحاول شخص ما خداعه بالبقع. إليك كيف يعمل الأمر، مقسماً إلى خطوات بسيطة:

1. المشكلة: ارتباك "البقعة"

عندما ينظر الناقد إلى صورة، فإنه عادة ما يركز على الأجزاء الأكثر أهمية (رأس الطائر، الأجنحة) لاتخاذ قرار. ولكن عندما تُضاف "بقعة"، يتشتت تركيز الناقد الداخلي. قد يبدأ في التحديق في الخلفية أو الضوضاء العشوائية بدلاً من الطائر.

تحاول الطرق الحالية إصلاح ذلك من خلال عرض نسخ مختلفة من الصورة على الناقد (بعضها مقلوب، وبعضها مقصوص، وبعضها به ضوضاء). يأملون من خلال ذلك أن تبرز الإجابة الصحيحة من خلال متوسط كل هذه التخمينات.

العيب: هذه الطرق القديمة تشبه شخصاً معصوب العينين يحاول العثور على إبرة في كومة قش عن طريق رمي حفنات عشوائية من القش. أحياناً، قد يرمون الإبرة (الجزء المهم من الصورة) بالخطأ أثناء محاولتهم التخلص من القش (الضوضاء). وهذا أمر سيء بشكل خاص للمهام "دقيقة التفاصيل" (fine-grained)، مثل التمييز بين نوعين متشابهين جداً من الطيور.

2. الحل: استراتيجية A-TPT المكونة من ثلاث خطوات

يقترح المؤلفون طريقة أذكى للتعامل مع البقع. إنهم يعاملون الصورة كخريطة ويستخدمون "كشافاً" خاصاً للعثور على المواضع المهمة.

الخطوة أ: إصلاح الكشاف (تحسين التنبيه)

أولاً، أدركوا أن "كشاف" الناقد الداخلي (المسمى "تنبيه التدرج") ينكسر بسهولة عند وجود بقع. يبدأ في تسليط الضوء على أماكن عشوائية.

الإصلاح: قاموا بتعديل "بطارية" الكشاف (الرياضيات وراءه) لتصبح "مقاومة للبقع". الآن، حتى لو تعرضت الصورة لهجوم، يظل الكشاف يضيء بسطوع وثبات على رأس الطائر، متجاهلاً الضوضاء. هذا هو تحسين التنبيه (Attention Refinement).

الخطوة ب: حماية الأجزاء المهمة (التعزيز الموجه بالتنبيه)

بعد ذلك، يستخدمون هذا الكشاف الثابت لإنشاء نسخ جديدة من الصورة.

التشبيه: تخيل أنك تصنع لوحة قصاصات للطائر. باستخدام الطرق القديمة، قد تقص رأس الطائر بالخطأ لأنك كنت تقص بشكل عشوائي.
طريقة A-TPT: ينظرون إلى المكان الذي يسلط فيه الكشاف ضوءه. إذا كان الضوء على رأس الطير، يقولون: "لا تلمس هذا الجزء!" يحافظون على الرأس صافياً تماماً. إذا كان الضوء على الخلفية، يقولون: "يمكنكم خلط ذلك الجزء!" هذا يخلق مشاهد مختلفة من الصورة حيث تكون الأجزاء المهمة دائماً آمنة، بينما الأجزاء غير المهمة متنوعة. هذا هو التعزيز متعدد المشاهد الموجه بالتنبيه (Attention-Guided Multi-View Augmentation).

الخطوة ج: هيئة المحلفين الذكية (التجميع القائم على TV)

أخيراً، ينظر الناقد إلى كل هذه النسخ الجديدة من الصورة ويضع تخميناً لكل منها. لكن ليست كل التخمات متساوية. فبعض النسخ قد لا تزال تبدو غريبة أو تحتوي على الكثير من ضوضاء الخلفية.

التشبيه: تخيل هيئة محلفين مكونة من 100 شخص يصوتون على ماهية الطائر. بعض المحلفين مشتتون وينظرون إلى الجدار؛ والبعض الآخر ينظر بوضوح إلى الطائر.
طريقة A-TPT: يتحققون من "سلاسة" شعاع الكشاف لكل نسخة. إذا كان الشعاع مشتتاً ويقفز حولاً (مثل ضوء وامض)، يتم تجاهل تلك النسخة. إذا كان الشعاع سلساً ومركزاً على الطائر، فإن تلك النسخة تحصل على صوت قوي. هذا هو التجميع القائم على TV (TV-Based Ensemble). إنهم يستمعون فقط إلى "المحلفين الموثوقين".

3. النتائج

اختبر المؤلفون هذه الطريقة على العديد من مجموعات البيانات المختلفة، بما في ذلك صور للحيوانات الأليفة، والسيارات، والزهور، والطائرات.

على الصور النظيفة: ساعدت A-TPT النموذج على أن يصبح أفضل حتى في تحديد الأشياء، حتى بدون وجود أي بقع.
على الصور المستهدفة بالهجوم: عندما تعرضت الصور لهجمات بالبقع، حافظت A-TPT على دقة النموذج أعلى بكثير من أي طريقة أخرى. لقد كانت بارعة بشكل خاص في التمييز بين الأشياء المتشابهة جداً (المهام دقيقة التفاصيل).

ملخص

باختاً، A-TPT تشبه إعطاء الناقد الفني نظارات ذكية. هذه النظارات:

تعيد تركيز عيني الناقد حتى لا يتشتت بالضوضاء.
تحمي التفاصيل المهمة بينما تقوم بخلط الخلفية.
تصفّي التخمينات السيئة وتحتسب فقط تلك التي ينظر فيها الناقد بوضوح.

هذا يسمح للنموذج بالبقاء قوياً ودقيقاً، حتى عندما يحاول شخص ما خداعه بهجمات صغيرة وغير مرئية.

ملخص تقني: ضبط التلقين الموجه بالانتباه عند وقت الاختبار لنماذج الرؤية واللغة

بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs)، مثل CLIP، أداءً مذهلاً في التعلم من الصفر (zero-shot) عبر مهام متنوعة. ومع ذلك، فإنها تظهر ضعفاً كبيراً أمام الاضطرابات العدائية (adversarial perturbations)، حيث يمكن للهجمات حتى البسيطة منها أن تؤدي إلى تدهور حاد في قدرات الاستدلال وتدفع التصنيفات الحقيقية خارج أفضل $K$ توقعات. وبينما توفر طرق التكيف أثناء وقت التدريب (مثل VPT وFAP) وسائل دفاع، إلا أنها تتطلب تكاليف حوسبة عالية وتحتاج إلى كميات كبيرة من البيانات العدائية المصنفة، مما يحد من عمليتها.

تعاني طرق التكيف عند وقت الاختبار (TTA) الحالية، والتي تعتمد عادةً على تعزيز تعدد الرؤى وتقليل الإنتروبيا، في السيناريوهات دقيقة التفاصيل (fine-grained). غالباً ما تستخدم هذه الطرق تعديلاً عشوائياً للمناطق أو تعزيزاً في فضاء الميزات، مما قد يؤدي دون قصد إلى تدمير المناطق الدلالية المميزة الضرورية للتعرف دقيق التفاصيل. علاوة على ذلك، تعتمد تقنيات التعزيز الحافظة للدلالات على التعلم في فضاء الميزات أو الإشارات ذاتية الإشراف (مثل الـ logits الأصلية) التي تفقد قدرتها على الحفاظ على التصنيف تحت الهجمات العدائية، حيث يصبح فضاء الميزات نفسه مشوهاً بما يتجاوز حدود القرار الأصلية.

التحدي المركزي الذي يتم معالجته هو: هل يمكننا تصميم طريقة للتكيف عند وقت الاختبار تحدد وتحافظ على المعلومات الدلالية المميزة دون التعلم في فضاء الميزات، حتى تحت الهجمات العدائية؟

المنهجية: A-TPT

يقترح المؤلفون ضبط التلقين الموجه بالانتباه عند وقت الاختبار (A-TPT)، وهو إطار عمل مصمم لتوجيه التكيف عند وقت الاختبار باستخدام الانتباه البصري القوي كمرساة دلالية. تعمل الطريقة دون تدريب مسبق أو نماذج إضافية وتتكون من ثلاثة مكونات أساسية:

صقل انتباه التدرج (GAR):
يُظهر "تدحرج انتباه التدرج" القياسي (GAR) حساسية تجاه الاضطرابات العدائية، مما ينتج خرائط انتباه مشتتة وغير موثوقة. يقوم A-TPT بصقل هذه الآلية باستبدال إشارة انتباه التدرج بإشارة تدرج قائمة على الرموز (token-based gradient signal).
- بدلاً من وزن مصفوفات الانتباه مباشرة بتدرجات خريطة الانتباه، يحسب A-TPT متجه وزن بناءً على الضرب الداخلي لتمثيلات الرموز (token embeddings) وتدرجاتها بالنسبة للـ logit المستهدف.
- يعمل هذا النهج على فصل الوزن عن الحساسية من الدرجة الثانية لتدرج الانتباه، مما يؤدي إلى خرائط انتباه أكثر سلاسة وموثوقية تسلط الضوء على المناطق المميزة حتى تحت الهجوم.
- ولزيادة كبح الضوضاء، تقوم الطريقة بمتوسط مصفوفات الانتقال لآخر كتلتين من المحولات (transformer blocks).
تعزيز تعدد الرؤى الموجه بالانتباه:
باستخدام خريطة الانتباه المصقولة كمرساة دلالية، يقوم A-TPT بتوليد رؤى متنوعة مع الحفاظ على الأجزاء الدلالية الحرجة.
- تُستخدم خريطة الانتباه المكانية لتقسيم الصورة إلى مناطق عالية الانتباه ومنخفضة الانتباه.
- المناطق عالية الانتباه (التي تحتوي على أجزاء مميزة) تتم حمايتها بكثافة تعزيز منخفضة لمنع تلفها.
- المناطق منخفضة الانتباه (التي غالباً ما تكون خلفية أو تفاصيل غير ذات صلة) تخضع لكثافة تعزيز أعلى (على سبيل المثال، عبر AugMix) لتوليد التنوع.
- يضمن هذا التعزيز المتفاوت مكانياً الحفاظ على سلامة الأجزاء الدلالية الضرورية للتصنيف.
الجمع القائم على التباين الكلي (TV-Based Ensemble):
لاختيار الرؤى الأكثر موثوقية للاستدلال النهائي، يستخدم A-TPT استراتيجية وزن قائمة على التباين الكلي (Total Variation).
- تحسب الطة التباين الكلي متباين المناحي (anisotropic Total Variation) لخريطة الانتباه لكل رؤية معززة. يشير التباين الكلي العالي إلى توزيعات انتباه مجزأة أو حادة، ترتبط غالباً بميزات تالفة أو خلفيات غير ذات صلة.
- الرؤى ذات التباين الكلي المنخفض (انتباه أكثر سلاسة واستمرارية) يتم منحها أوزان أعلى، بينما يتم خفض وزن الرؤى ذات التبايد العالي.
- التنبؤ النهائي هو عبارة عن تجميع مرجح للرؤى ذات الإنتروبيا المنخفضة، مع إعطاء الأولوية لتلك التي تمتلك توزيعات انتباه موثوقة دلالياً.

المساهمات الرئيسية

إشارة تدرج قوية: تقوم الورقة بصقل آلية "تدحرج انتباه التدرج" عبر تقديم إشارة تدرج قائمة على الرموز. هذا التعديل البسيط يحدد بفعالية المعلومات الدلالية غير المتأثرة تحت الهجمات العدائية، متجاوزاً حساسية خرائط الانتباه القياسية.
أول نظام TTA موجه دلالياً لمتانة التفاصيل الدقيقة: يُقترح A-TPT كأول طريقة للتكيف عند وقت الاختبار تستغل صراحةً المناطق الدلالية المميزة لتوجيه عملية التكيف، مستهدفةً تحديداً تحديات التعرف دقيق التفاصيل حيث يكون الحفاظ على التفاصيل الصغيرة والحرجة أمراً حاسماً.
أداء شامل: تثبت التجارب المكثفة أن A-TPT لا يحافظ على المناطق المميزة فحسب، بل يتفوق أيضاً بشكل كبير على طرق التكيف عند وقت الاختبار (SOTA) في كل من البيانات النظيفة والبيانات العدائية.

النتائج التجريبية

قيم المؤلفون A-TPT على تسع مجموعات بيانات، بما في ذلك ImageNet القياسية وثماني معايير دقيقة التفاصيل (مثل OxfordPets، وFGVC-Aircraft، وStanfordCars).

المتانة العدائية: في مهام التفاصيل الدقيقة باستخدام ViT-B/16، حقق A-TPT متوسط دقة عدائية بلغ 45.7%، متفوقاً بشكل ملحوظ على طرق SOTA مثل R-TPT (40.7%) وMTA (39.9%). وفي ImageNet، وصل إلى دقة عدائية بنسبة 48.2% مقارنة بأداء CLIP القريب من الصفر تحت الهجوم.
الدقة النظيفة: حسن A-TPP أيضاً الدقة النظيفة، محققاً 63.0% في مهام التفاصيل الدقيقة باستخدام ViT-B/16، متفوقاً على R-TPT (61.1%) وMTA (62.4%).
التعميم: حافظت الطريقة على أداء قوي في مجموعات البيانات خارج التوزيع (OOD) (مثل ImageNet-A, V2, R, S) تحت الظروف العدائية، محققة متوسط متانة عدائية بنسبة 35.8% مقارنة بـ 0.3% للنموذج الأساسي CLIP.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن جميع المكونات الثلاثة (الصقل، والتعزيز، وتجميع TV) ضرورية. أدى إزالة خطوة الصقل إلى فشل وحدات التعزيز والتجميع في حماية المناطق المميزة.
الكفاءة: بينما تتطلب الطريقة استخراج الانتباه لكل عينة، يشير المؤلفون إلى أن تقليل عدد الرؤى المعززة (على سبيل المثال، من 64 إلى 16) يقلل زمن الاستدلال بشكل كبير مع حد أدنى من الخسارة في الدقة.

الأهمية والادعاءات

تدعي الورقة أن A-TPT يمثل خطوة هامة نحو المتانة دقيقة التفاصيل في نماذج الرؤية واللغة. من خلال فصل تحديد الدلالات عن مرحلة التدريب والاستفادة من آليات الانتباه القوية، توفر الطريقة نموذج دفاع فعال لا يتطلب بيانات عدائية مصنفة.

يؤكد المؤلفون أن المفتاح للمتانة في سيناريوهات التفاصيل الدقيقة يكمن في تحديد وحماية الأجزاء الدلالية المميزة بدلاً من مجرد تحسين تمثيلات الميزات. وتوضح الطريقة المقترحة أن التكيف عند وقت الاختبار يمكن أن يكون قوياً ضد الهجمات العدائية وفعالاً في البيانات النظيفة أيضاً، طالما أن عملية التكيف موجهة بواسطة انتباه موثوق وحافظ للدلالات.

القيود: يقر المؤلفون بأن A-TPT يعتمد على تعزيز تعدد الرؤى واختيار الرؤى، مما يعني أنه ليس محصناً تماماً ضد الهجمات العدائية. ويُقترح في العمل المستقبلي استكشاف المعلومات الدلالية المميزة مباشرة في الفضاء الكامن (latent space).