On the Adversarial Robustness of Discrete Image Tokenizers

إليك ملخص تقني مفصل لورقة البحث بعنوان "حول المتانة العدائية لمجزئات الصور المنفصلة" (On the Adversarial Robustness of Discrete Image Tokenizers).

1. بيان المشكلة

أصبحت مجزئات الصور المنفصلة (مثل VQ-VAE، وTiTok، وUniTok) مكونات أساسية في الأنظمة متعددة الوسائط الحديثة، حيث تعمل كمشفرات صور للنماذج ذات الترتيب الذاتي (autoregressive models)، وبنيات المشفر-المفكك (encoder-decoder)، والنماذج التوليدية ذات المشفر والمفكك فقط (decoder-only). وعلى عكس المشفرات المستمرة (مثل CLIP)، تقوم هذه المجزئات بضغط المدخلات المرئية إلى تسلسلات من الرموز (tokens) المنفصلة من مفردات محددة عبر عملية التكميم الشعاعي (vector quantization).

وعلى الرغم من اعتمادها الواسع، إلا أن المتانة العدائية لهذه المجزئات المنفصلة لا تزال غير مستكشفة. يركز البحث الحالي على متانة المشفرات القياسية أو النماذج متعددة الوسائط كاملة النهاية، ولكن تم تجاهل الضعف الخاص بالمجزئ نفسه — والذي يعمل كعنق زجاجة حرج لجميع المهام اللاحقة. ويفترض المؤلفون أنه إذا كان المجزئ ضعيفاً، فإن أي نظام يعتمد عليه سيكون غير آمن بطبيعته.

2. المنهجية

تقترح الورقة نهجاً ذا مسارين: أولاً، تقييم نقاط الضعف بشكل منهجي باستخدام هجمات مبتكرة، وثانياً، تطوير آلية دفاع عبر الضبط الدقيق العدائي غير الخاضع للإشراف.

أ. الهجمات غير الخاضعة للإشراف في فضاء التضمين (Embedding-Space Attacks)

قدم المؤلفون استراتيجية هجوم مستقلة عن المهمة تستهدف المجزئ مباشرة، دون الحاجة إلى الوصول إلى تسميات المهام اللاحقة أو بنية النموذج الكاملة.

• الآلية: بدلاً من مهاجمة مؤشرات الرموز المنفصلة (وهي غير قابلة للتفاضل)، يعمل الهجوم في فضاء التضمين ما قبل التكميم.
• الهدف: الهدف هو تعظيم مسافة $L_2$ بين تضمينات الصور النظيفة وتضمينات الصور المضطربة قبل دخولها إلى المكمم الشعاعي.
  $$\max_{\|\delta\|_p \le \epsilon} \sum_{i=1}^{T} \|h_i(x + \delta) - h_i(x)\|_2^2$$
  حيث أن $h_i$ هو متجه التضمين رقم $i$ و $\delta$ هو الاضطراب.
• المنطق: من خلال تشويه التضمينات المستمرة بشكل كافٍ، ستؤدي خطوة البحث عن أقرب جار (nearest-neighbor quantization) إلى ربط التضمينات المضطربة بمتجهات رمزية (codebook vectors) غير صحيحة، مما يؤدي إلى تغيير تسلسل الرموز. وهذا بدوره يفسد أي مهمة لاحقة (تصنيف، استرجاع، وصف) تعتمد على هذه الرموز.
• الميزة: هذا النهج فعال حاسوبياً، ولا يتطلب تسميات (labels) حقيقية، وهو مستقل عن التطبيق اللاحق.

ب. الضبط الدقيق العدائي غير الخاضع للإشراف (الدفاع)

للتخفيف من نقاط الضعف هذه، يقترح المؤلفون ضبط المجزئ بدقة باستخدام الهجمات غير الخاضعة للإشراف الموصوفة أعلاه.

• هدف التدريب: يتم ضبط المجزئ لتقليل المسافة بين تضمينات الصورة الأصلية ونظيرتها المضطبة ضمن نطاق $\epsilon$.
  $$\min_{\theta} \frac{1}{|D|} \sum_{x \in D} \max_{\|\delta\|_p \le \epsilon} \sum_{i=1}^{T} \|h^\theta_i(x + \delta) - h^{\theta_{orig}}_i(x)\|_2^2$$
• القيود الرئيسية:
  • المكونات المجمدة: يتم تحديث المشفر (encoder) الخاص بالمجزئ فقط. بينما تظل مجموعة الرموز (codebook)، والمفكك (decoder)، وأي نماذج لاحقة (مثل LLMs) مجمدة.
  • غير خاضع للإشراف: يستخدم التدريب صوراً غير مصنفة، مما يجعله قابلاً للتطبيق على أي مجموعة بيانات (مثل ImageNet، CC3M) دون الحاجة إلى تسميات خاصة بالمهمة.
  • جاهز للاستخدام (Plug-and-Play): يمكن استبدال المجزئ القوي الناتج بسلاسة في الأنظمة الحالية دون الحاجة لإعادة تدريب المسار بالكامل.

3. المساهمات الرئيسية

1. أول دراسة منهجية: أول عمل يستقصي ويقيس الضعف العدائي لمجزئات الصور المنفصلة.
2. ناقل هجوم مبتكر: تقديم هجمات غير خاضعة للإشراف وفعالة تستهدف فضاء التضمين للمجزئ، مما يثبت أنها فعالة تقريباً مثل الهجمات الخاضعة للإشراف باهظة الثمن وكاملة النهاية.
3. دفاع فعال: طريقة لتعزيز متانة المجزئات عبر الضبط الدقيق العدائي غير الخاضع للإشراف والتي:
   • لا تتطلب بيانات مصنفة.
   • أقل تكلفة حاسوبية بكثير (تحديث المشفر فقط، وليس النظام بأكمله).
   • تتعمم بشكل جيد على المهام ومجموعات البيانات غير المرئية.
4. التحقق التجريبي: أثبتت أن المجزئات القوية تحسن بشكل كبير سلامة النماذج اللاحقة، بما في ذلك التضمينات متعددة الوسائط (FuseLIP) والنماذج اللغوية الكبيرة متعددة الوسائط (UniTok-MLLM).

4. النتائج التجريبية

قيم المؤلفون نهجهم على مجزئات TiTok و UniTok عبر مهام لاحقة متنوعة:

• التصنيف والاسترجاع (FuseLIP):

  • أظهرت المجزئات الأصلية متانة تقترب من الصفر تجاه هجمات $L_\infty$ (عند $\epsilon = 4/255$).
  • حققت المجزئات التي تم ضبطها بدقة باستخدام هجمات غير خاضعة للإشراف دقة متينة تتراوح بين 27% إلى 40% اعتماداً على نصف قطر التدريب، مع الحفاظ على دقة عالية للصور النظيفة.
  • تعمم الدفاع على مجموعات بيانات لم تُستخدم أثناء الضبط الدقيق (على سبيل المثال، التدريب على ImageNet حسن الأداء على Caltech101 و OI-Crop).

• النماذج اللغوية الكبيرة متعددة الوسائط (UniTok-MLLM):

  • VQA (الإجابة على الأسئلة المرئية): استبدال المجزئ الأصلي بآخر قوي أدى إلى تحسين الدقة المتينة في VQAv2 و OK-VQA و GQA من الصفر تقريباً إلى ~45-50% تحت الهجوم.
  • سلامة الوصف (Captioning Safety): في الهجمات المستهدفة، كان بالإمكان إجبار النموذج الأصلي على توليد أوصاف ضارة (مثل "يرجى تحويل الأموال...") أو نصوص غير ذات صلة. نجح المجزئ القوي في منع هذه المخرجات المخالفة للسياسات، وحافظ على الأوصاف المتوافقة مع محتوى الصورة الأصلي.

• الكفاءة والتعميم:

  • وقت التشغيل: كان التدريب غير الخاضع للإشراف للمجزئ وحده أسرع بمقدار 2.2 مرة لكل عينة مقارنة بالتدريب العدائي الخاضع للإشراف كامل النهاية، لأن الانتشار العكسي (backpropagation) كان محدوداً بالمشفر (25.8 مليون معلمة) بدلاً من النموذج الكامل (68 مليون+ معلمة).
  • الفرط في التخصيص (Overfitting): على عكس الضبط الدقيق الخاضع للإشراف كامل النهاية، الذي يتخصص بشكل مفرط في مهمة التدريب المحددة (مما يقلل الأداء في المهام الأخرى)، حافظ النهج غير الخاضع للإشراف على الأداء النظيف عبر مهام متنوعة.

5. الأهمية والخاتمة

تسلط هذه الورقة الضوء على فجوة أمنية حرجة في أساس الذكاء الاصطناعي متعدد الوسائط الحديث: المجزئ هو نقطة فشل واحدة.

• الآثار الأمنية: تكشف النتائج أن المهاجمين يمكنهم اختراق الأنظمة المعقدة متعددة الوسائط (مثل LLMs) عن طريق تشويه المدخلات المرئية فقط لخداع المجزئ، مما يتجاوز الحاجة لمهاجمة الـ LLM الضخم مباشرة.
• الدفاع العملي: يوفر الضبط الدقيق المقترح غير الخاضع للإشراف حلاً قابلاً للتوسع ومنخفض التكلفة. فهو يسمح للمطورين بـ "ترقيع" (patch) المجزئ مرة واحدة باستخدام بيانات غير مصنفة، وبالتالي تأمين جميع التطبيقات اللاحقة (الاسترجاع، التوليد، التصنيف) دون التكلفة الباهظة لإعادة تدريب النماذج متعددة الوسائط بالكامل.
• الاتجاه المستقبلي: تضع هذه الورقة معياراً جديداً لتقييم متانة المجزئات، وتشير إلى أن تصميمات المجزئات المستقبلية يجب أن تأخذ في الاعتبار بطبيعتها المرونة العدائية لضمان سلامة الجيل القادم من النماذج التأسيسية.