Dyslexify: A Mechanistic Defense Against Typographic Attacks in CLIP

إليك ملخص تقني مفصل لورقة البحث بعنوان "DYSLEXIFY: A MECHANISTIC DEFENSE AGAINST TYPOGRAPHIC ATTACKS IN CLIP".

1. بيان المشكلة

تشكل الهجمات الطباعية (Typographic Attacks) خطراً أمنياً كبيراً على نماذج الرؤية واللغة (VLMs) مثل CLIP. تتضمن هذه الهجمات حقن نصوص داخل صورة (على سبيل المثال، عبر ملصقات، أو تراكبات، أو نصوص مطبوعة) للتلاعب بمخرجات النموذج.

• الثغرة الأمنية: غالباً ما تعطي نماذج CLIP، المدربة على مجموعات بيانات ضخمة من الصور والنصوص، الأولوية للميزات النصية على الميزات البصرية عند وجود نص. يؤدي هذا إلى تصنيفات خاطئة مستهدفة، وتوليد محتوى ضار، و"كسر حماية" (Jailbreaking) فلاتر السلامة.
• محدودية الدفاعات الحالية: تعتمد الدفاعات الحالية عادةً على التحسين القائم على التدرج (Gradient-based optimization) (مثل الضبط الدقيق للنموذج أو تعلم بادئة دفاعية). هذه الطرق مكلفة حاسوبياً، وتتطلب إعادة تدريب، وتفتقر إلى التفسير حول سبب فشل النموذج، ولا تتوسع بشكل جيد مع النماذج ذات المليارات من المعلمات على الأجهزة الاستهلاكية.

2. المنهجية: Dyslexify

يقترح المؤلفون Dyslexify، وهو دفاع ميكانيكي خالي من التدرج (Gradient-free, mechanistic defense) يتدخل مباشرة في بنية النموذج أثناء الاستدلال. يعتمد هذا النهج على التفسير الآلي (Mechanistic Interpretability).

أ. التحليل الآلي

قام المؤلفون أولاً بالتحقيق في أين وكيف يعالج نموذج CLIP المعلومات الطباعية:

1. الاستقصاء على مستوى الطبقات (Layer-wise Probing): قاموا بتدريب مجسات خطية (Linear probes) على تضمينات رمز الـ cls في كل طبقة من طبقات نماذج OpenCLIP (من ViT-B إلى ViT-bigG).
   • النتيجة: تتطور قدرات التعرف على الأشياء تدريجياً عبر الطبقات. ومع ذلك، فإن الفهم الطباعي يظهر بشكل مفاجئ في النصف الأخير من طبقات النموذج.
2. تحليل المكونات: حللوا مساهمات كتل الانتباه (Attention) مقابل كتل الـ MLP.
   • النتيجة: تضيف طبقات الانتباه باستمرار معلومات قابلة للفك الخطي إلى رمز الـ cls ، بينما تميل طبقات MLP إلى ضغطها أو التخلص منها.
3. درجة الانتباه الطباعي ($T_{i,\ell}$): حددوا مقياساً لتحديد مقدار الانتباه المكاني الذي يخصصه رأس انتباه محدد $H_{i,\ell}$ للمناطق الطباعية.
   • النتيجة: يُظهر عدد فرعي صغير من رؤوس الانتباه في الطبقات المتأخرة درجات عالية للغاية ($T_{i,\ell} \geq \mu + 2\sigma$)، مما يشير إلى انحياز مكاني قوي نحو النص. تعمل هذه الرؤوس كـ "بالوعات" (Sinks) للمعلومات الطباعية.

ب. آلية الدفاع

يبني Dyslexify "دائرة طباعية" (Typographic Circuit) تتكون من هذه الرؤوس المحددة ذات الدرجات العالية ويقوم بإبطالها انتقائياً (Selectively ablates).

• خوارزمية بناء الدائرة:
  1. ترتيب جميع رؤوس الانتباه حسب درجة الانتباه الطباعي ($T_{i,\ell}$).
  2. إضافة الرؤوس بشكل تكراري إلى مجموعة الإبطال $C$ بترتيب تنازلي لدرجاتها.
  3. القيد: يتم إضافة الرأس فقط إذا كان:
     • يحسن المتانة على معيار طباعي معيّن ($\Delta Acc_{typo} > 0$).
     • لا يؤدي إلى تدهور الأداء على معيار بصري قياسي بما يتجاوز عتبة التسامح $\epsilon$ (مثلاً، 1%).
  4. تتوقف العملية إذا أدت إضافة رأس إلى انتهاك قيد الدقة أو إذا تم تخطي $k$ من الرؤوس المتتالية.
• تنفيذ الإبطال: تعدل الطريقة التدفق المتبقي (Residual stream) لرمز الـ cls عن طريق تصفير مساهمة الرؤوس المختارة ($H_{i,\ell,cls} \leftarrow 0$). يتم ذلك دون تحديث أوزان النموذج أو الحاجة إلى الانتشار العكسي (Backpropagation).

3. المساهمات الرئيسية

1. الفهم الآلي: حددت الورقة أن مجموعة نادرة من رؤوس الانتباه في النصف الثاني من طبقات CLIP هي المسؤولة سببياً عن الثغرة الطباعية. وقد قدمت درجة الانتباه الطباعي لتحديد موقع هذه الرؤوس.
2. دفاع خالي من التدرج: يوفر Dyslexify دفاعاً لا يتطلب ضبطاً دقيقاً (Fine-tuning) ولا يتطلب تدرجات. وهو يتوسع بكفاءة مع النماذج التي تحتوي على مليارات المعلمات على الأجهزة الاستهلاكية.
3. التحقق السببي: من خلال التدخلات المحكومة (التلاعب ببالوعات الانتباه)، أثبت المؤلفون وجود رابط سببي: إن قمع هذه الرؤوس المحددة يقلل من عرضة النموذج للهجمات القائمة على النصوص مع الحفاظ على التعرف على الأشياء.
4. التطبيق الطبي: تم التحقق من المنهجية على نموذج تأسيسي طبي حساس للسلامة (تشخيص آفات الجلد)، مما يثبت فائدتها في المجالات عالية الخطورة.
5. إصدار النموذج: أصدر المؤلفون عائلة من نماذج CLIP "المصابة بعسر القراءة" (Dyslexic) والتي تتميز بالمتانة ضد الهجمات الطباعية.

4. النتائج التجريبية

قيم المؤلفون Dyslexify عبر أحجام نماذج مختلفة (ViT-B, L, H, G, BigG) ومجموعات بيانات متنوعة.

• مكاسب المتانة:
  • في نسخة طباعية من ImageNet-100، حسن Dyslexify الدقة بنسبة تصل إلى 22.06% (وإلى 31% في مجموعات بيانات اصطناعية محددة).
  • تفوق باستمرار على خط الأساس "Defense-Prefix" في المعايير الطباعية.
• الحفاظ على القدرات العامة:
  • انخفضت دقة التصنيف Zero-shot القياسية على مجموعات البيانات غير الطباعية (مثل ImageNet-100, Food-101, Aircraft) بنسبة أقل من 1% في جميع الحالات تقريباً.
  • يوضح هذا مقايضة مواتية: متانة عالية مع فقدان ضئيل في المنفعة العامة.
• حالة الاستخدام الطبي:
  • في اكتشاف الميلانوما (سرطان الجلد)، قللت الهجمات الطباعية الدقة بنسبة تصل إلى 22%. استعاد Dyslexify ما يصل إلى 19.3% من هذه الدقة المفقودة بل وحسن الأداء الأساسي في بعض مجموعات البيانات غير المستهدفة بالهجوم.
• الكفاءة:
  • يعد Dyslexify أسرع بكثير من الدفاعات القائمة على التدرج (على سبيل المثال، أسرع بـ 3.8 مرة في ViT-B) وله بصمة ذاكرة منخفضة، مما يسمح له بالعمل على نماذج تزيد عن 1 مليار معلمة على وحدة معالجة رسومية واحدة حيث تفشل الدفاعات القائمة على الضبط الدقيق بسبب أخطاء نفاذ الذاكرة (OOM).
• المقايضة (OCR):
  • كما هو متوقع، يؤدي Dyslexify إلى تدهور قدرات التعرف الضوئي على الحروف (OCR) (بانخفاض 8-30% في IIIT5K). يرى المؤلفون أن هذه مقايضة مقبولة للتطبيقات الحرجة للسلامة حيث يمثل التلاعب بالنصوص خطراً.

5. الأهمية والخاتمة

• تحول في النموذج الفكري: ينتقل هذا العمل بعيداً عن التدريب العدائي "الصندوق الأسود" نحو التدخلات البيضاء (White-box) الميكانيكية. لقد أثبت أن سلوكيات معينة في النموذج يمكن إزالتها جراحياً دون إعادة تدريب.
• النشر في الحالات الحرجة للسلامة: من خلال إصدار نماذج جاهزة للعمل بمتانة، توفر الورقة "بديلاً عملياً" للصناعات (مثل الرعاية الصحية) حيث تفوق مخاطر التلاعب النصي العدائي الحاجة إلى التعرف على النصوص.
• القيود: يركز الدفاع على رمز الـ cls. التطبيقات التي تعتمد بشدة على الرموز المكانية (مثل LLaVA، أو توليد الصور) قد تظل عرضة للخطر، حيث يمكن للمعلومات النصية أن تنتشر عبر تلك المسارات. بالإضافة إلى ذلك، لا تهدف الطريقة إلى السيناريوهات التي يكون فيها التعرف الضوئي على الحروف (OCR) هو المهمة الأساسية.

باختتدام، يقدم Dyslexify حلاً فعالاً من حيث الحوسبة، وقابلاً للتفسير، وفعالاً للغاية للهجمات الطباعية في CLIP، وذلك عبر استغلال التفسير الآلي لإزالة الثغرات جراحياً دون المساس بالقدرات البصرية الجوهرية للنموذج.