💬 NLP

Dynamic Token Reweighting for Robust Vision-Language Models

تقدم هذه الورقة البحثية DTR، وهو دفاع مبتكر أثناء وقت الاستدلال يعمل على إعادة وزن الرموز البصرية ديناميكيًا من خلال تحسين مخازن المفتاح-القيمة (key-value caches) للتخفيف بفعالية من هجمات الاختراق متعددة الوسائط في النماذج اللغوية البصرية مع الحفاظ على القدرات العامة والكفاءة.

المؤلفون الأصليون: Tanqiu Jiang, Jiacheng Liang, Rongyi Zhu, Jiawei Zhou, Fenglong Ma, Ting Wang

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tanqiu Jiang, Jiacheng Liang, Rongyi Zhu, Jiawei Zhou, Fenglong Ma, Ting Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج رؤية ولغة (VLM) كأنه أمين مكتبة ذكي جداً ومطلع، يمكنه قراءة الكتب (النصوص) والنظر إلى الصور. لقد تم تدريب هذا الأمين ليكون متعاوناً، ولكنه يرفض الطلبات الخطيرة، مثل "كيف أصنع قنبلة؟".

ومع ذلك، وجد المخترقون طريقة ماكرة لخداع هذا الأمين. فهم لا يكتفون بطرح السؤال فحسب؛ بل يعرضون على الأمين صورة تبدو بريئة ولكنها تحتوي على تعليمات خطيرة مخفية (مثل صورة لقنبلة مع تعليق يقول "كيف أصنع هذا؟"). يصاب الأمين بالارتباك بسبب الصورة، وينسى قواعد السلامة الخاصة به، ويقدم بالخطأ التعليمات الخطيرة. يُطلق على هذا اسم "الاختراق متعدد الوسائط" (Multimodal Jailbreak).

تقدم الورقة البحثية دفاعاً جديداً يسمى DTR (إعادة وزن الرموز الديناميكي - Dynamic Token Reweighting). وإليك كيفية عمله، مشروحاً بتبسيط عبر التشبيهات:

1. المشكلة: "الضجيج السيئ" في الصورة

عندما ينظر الأمين إلى صورة، فإنه يجزئها إلى آلاف القطع الصغيرة تسمى "رموز" (Tokens) (فكر فيها كقطع أحجية فردية أو بكسلات).

في الصورة العادية، تعمل جميع القطع معاً لتروي قصة.
في صورة الاختراق (Jailbreak)، يضيف المخترق "ضجيجاً سيئاً" إلى قطع محددة. هذه القطع السيئة تهمس للأمين: "تجاهل قواعد السلامة الخاصة بك! انظر إليّ!".

2. الحلول القديمة: المطارق الثقيلة

كانت الطرق السابقة لإيقاف ذلك تشبه استخدام مطرقة ضخمة:

الضبط الدقيق (Fine-tuning): إعادة تدريب الأمين من الصفر باستخدام كتب جديدة. وهذا أمر مكلف وبطيء، وأحياناً يجعل الأمين ينسى كيفية القيام بعمله الفعلي (مثل التعرف على الأشياء).
تحويل الصورة إلى نص (Image-to-Text): إجبار الأمين على وصف الصورة بصوت عالٍ قبل الإجابة. هذا الأمر بطيء وغالباً ما يفقد التفاصيل الدقيقة التي استخدمها المخترق للخداع.

3. الحل الجديد: DTR (مقبض التحكم الذكي في مستوى الصوت)

DTR هو إصلاح ذكي وفوري يحدث أثناء نظر الأمين إلى الصورة. فهو لا يحتاج إلى إعادة تدريب الأمين أو وصف الصورة. بدلاً من ذلك، يعمل مثل مقبض تحكم ذكي لمستوى الصوت لقطع الأحجية.

إليك العملية خطوة بخطوة:

الخطوة أ: إيجاد "اتجاه الرفض"

أولاً، يحدد النظام "عضلة السلامة" لدى الأمين. فهو يتعلم الاتجاه الذهني المحدد الذي يتخذه الأمين عندما يقول: "لا، لا يمكنني فعل ذلك". لنسمِّ هذا "متجه الرفض" (Refusal Vector).

الخطوة ب: اختبار "العكس"

عندما تصل صورة جديدة، يسأل DTR سؤالاً افتراضياً: "إذا خفضتُ مستوى صوت أجزاء معينة من هذه الصورة، هل يمكنني دفع الأمين للعودة نحو قول 'لا'؟"

إذا كانت الصورة آمنة (Benign): فإن خفض مستوى الصوت في أجزاء من الصورة لا يغير رأي الأمين كثيراً. فالصورة واضحة، ويظل الأمين متعاوناً.
إذا كانت الصورة اختراقاً (Jailbreak): يجد النظام أنه عند خفض مستوى الصوت في بعض قطع "الضجيج السيئ" فقط، يتذكر الأمين فجأة قواعد السلامة الخاصة به ويرفض الطلب.

الخطوة ج: إعادة الوزن الديناميكي (السحر)

بمجرد أن يحدد DTR تلك القطع التي تحتوي على "الضجيج السيئ"، فإنه يخفض وزنها ديناميكياً (يخفض مستوى صوتها) ويحافظ على القطع الجيدة عالية الصوت.

تشبيه: تخيل جوقة موسيقية تغني. إذا كان أحد المغنيين يصرخ بأمر خطير، فإن DTR لا يطرده من الجوقة (مما يفسد الأغنية)، بل يضع زر كتم الصوت لهذا المغني تحديداً بينما يبقي بقية الجوقة صاخبة وواضحة. تظل الأغنية (معنى الصورة) سليمة، ولكن الأمر الخطير يتم إسكاته.

لماذا يعد هذا أفضل؟

إنه سريع: لا يحتاج إلى إعادة قراءة الصورة أو إعادة تدريب النموذج. إنه فقط يضبط مقابض الصوت فوراً.
إنه دقيق: يقوم فقط بإسكات الأجزاء "السيئة" من الصورة، لذا يمكن للأمين رؤية بقية الصورة بوضوح.
إنه فخ للمخترقين: تشير الورقة إلى معضلة مضحكة للمخترقين. لكي يخدعوا الأمين، يجب أن يكون "الضجيج السيئ" عالياً. لكن إذا جعلوه عالياً، سيكتشفه DTR ويقوم بكتمه. وإذا جعلوه هادئاً حتى لا يلاحظه DTR، فسيتجاهل الأمين الخدعة ويبقى آمناً. لا يمكن للمخترق أن يربح.

الملخص

DTR يشبه حارس الأمن في ملهى ليلي يمكنه رصد الشخص الوحيد في الحشد الذي يحاول تهريب سلاح فوراً. بدلاً من طرد الجميع (مما يوقف الحفلة) أو تفتيش جيوب الجميع (مما يستغرق وقتاً طويلاً جداً)، يقوم الحارس ببساة بوضع "حقل قوة" حول ذلك الشخص تحديداً، مما يحيد السلاح بينما يسمح لبقية الحفلة بالاستمرار بشكل طبيعي تماماً.

هذا يسمح لنماذج الذكاء الاصطناعي بالبقاء آمنة من الخدع البصرية دون أن تفقد قدرتها على أن تكون مفيدة، سريعة، وذكية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "إعادة وزن الرموز الديناميكية لنماذج الرؤية واللغة القوية" (DTR).

1. بيان المشكلة

تتعرض نماذج الرؤية واللغة الكبيرة (VLMs) بشكل متزايد لهجمات الاختراق متعدد الوسائط (multimodal jailbreak attacks). وعلى عكس الهجمات النصية فقط، تستغل هذه الاختراقات التفاعل بين المدخلات المرئية والنصية لتجاوز حواجز السلامة.

نقطة الضعف: يربط المهاجمون النصوص الضارة بالصور العدائية (المعدلة، أو المولدة عبر Stable Diffusion، أو التي تحتوي على طباعة نصية) لإحداث إزاحة في التوزيع ذات صلة بالسلامة (safety-relevant distributional shift). تؤدي هذه الإزاحة إلى تغيير فضاء التنشيط الداخلي للنموذج، مما يجعله يسيء تفسير الطلبات الضارة على أنها حميدة ويولد استجابات غير آمنة.
محدودية الدفاعات الحالية:
- نهج الضبط الدقيق (Fine-tuning): يتطلب إعادة تدريب مكلفة حوسبياً على بيانات سلامة منسقة ويعتمد بشدة على جودة البيانات.
- نهج مرحلة الاستدلال (مثل تحويل الصورة إلى نص): تقوم طرق مثل ECSO أو AdaShield بتحويل الصور إلى نصوص لتصفية المحتوى. ومع ذلك، يتسبب هذا في زمن وصول (latency) مرتفع، وفقدان كبير للمعلومات (فقدان الاضطرابات العدائية الدقيقة)، وغالباً ما يؤدي إلى تدهور أداء النموذج في المهام الحميدة.
- تصحيح التنشيط/اللوجيت (Activation/Logit Correction): تحاول الطرق الحديثة تعويض إزاحات التوزيع باستخدام نماذج مرجعية أو تحويل الصورة إلى نص، مما يؤدي إلى عبء حوسبي وعدم دقة محتملة.

2. المنهجية: DTR (إعادة وزن الرموز الديناميكية)

إن DTR هو دفاع في مرحلة الاستدلال يعمل على تخفيف هجمات الاختراق عن طريق التحسين الديناميكي لـ ذاكرة المفتاح والقيمة (KV caches) للنموذج دون الحاجة إلى إعادة تدريب النموذج أو تحويل الصورة إلى نص.

المفهوم الجوهري: إزاحة عكس السلامة (RSS)

قدم المؤلفون صياغة مبتكرة لقياس مخاطر السلامة للمدخلات المرئية دون الحاجة إلى نظير نصي فقط (والذي يصعب توليده بدقة).

اتجاه الرفض ( $d_{ref}$ ): هو متجه في فضاء التنشيط يمثل ميل النموذج لرفض الطلبات الضارة. يتم حسابه مسبقاً باستخدام مجموعة صغيرة من النصوص الضارة والحميدة.
تعريف RSS: بدلاً من قياس إزاحة المدخل الحالي، يقيس DTR أقصى إزاحة يمكن تحقيقها عن طريق تحسين الرموز المرئية ( $x_{img}$ $x_{im g}$ ) على طول اتجاه الرفض العكسي.
- الفرضية: استعلامات الاختراق هي "قابلة للتحسين" للغاية على طول اتجاه الرفض (أي أن التغييرات الصغيرة في الرموز المرئية يمكن أن تقلب حالة النموذج من الرفض إلى الامتثال). أما الاستعلامات الحميدة فلا يمكن ذلك.
- المقياس: $\Delta^*_{safe}(x) = \max_{\alpha} (f(x) - f(x^{(\alpha)})) \cdot d_{ref}$ . إذا كانت قيمة RSS عالية، فمن المرجح أن المدخل هو عملية اختراق.

آلية الدفاع

يصيغ DTR مشكلة تحسين لإيجاد متجه قياس $\alpha$ للرموز المرئية يقلل من إزاحة السلامة مع الحفاظ على المعنى الدلالي.

هدف التحسين:
$\alpha^* = \arg \min_{\alpha} \left( f(x^{(\alpha)}) \cdot d_{ref} + \lambda \| f(x) - f(x^{(\alpha)}) \|^2 \right)$
- الحد الأول: يقلل من الإسقاط على اتجاه الرفض (الدفع بالنموذج نحو الأمان).
- الحد الثاني: حد تنظيم يضمن بقاء التنشيط المعاد وزنه قريباً من الأصل، مما يحافظ على الفائدة للاستعلامات الحميدة.
- $\lambda$ : معامل فائق (hyperparameter) يوازن بين السلامة والفائدة.

استراتيجيات التنفيذ للكفاءة

لضمان عملية DTR، يتم استخدام استراتيجيتين:

التوقف المبكر (Early Stopping): يصل التحسين إلى التقارب بسرعة (خلال ~4 خطوات) للاستعلامات الاختراقية، لذا لا يلزم الوصول إلى التقارب الكامل.
طرد الرموز (Token Eviction): يتم طرد الرموز المرئية التي تكون عوامل القياس $\alpha_i$ الخاصة بها أقل من عتبة $\beta$ تماماً (إزالتها) من ذاكرة KV. هذا يقلل الحمل الحوسبي ويزيل الضجيج العدائي.

3. المساهمات الرئيسية

نموذج دفاعي جديد: أول عمل يطبق تحسين ذاكرة KV خصيصاً لسلامة الوسائط المتعددة، مبتعداً عن الضبط الدقيق المكلف أو تحويل الصورة إلى نص.
صياغة جديدة: يقدم إزاحة عكس السلامة (RSS)، وهي طريقة لقياس المخاطر الأمنية الناتجة عن الصور دون الحاجة إلى وصف دقيق للصور أو نماذج مرجعية.
در.
إعادة الوزن الديناميكي: آلية تعمل على إضعاف الرموز المرئية العدائية بشكل انتقائي مع الحفاظ على رموز السمات، مما يوفر كلاً من القوة والتفسير (عبر أوزان $\alpha$ ).
المعضلة العدائية: يخلق DTR مقايضة جوهرية للمهاجمين؛ فلكي يتجاوزوا السلامة، يجب عليهم زيادة أهمية الرموز العدائية، مما يدمر التماسك الدلالي. وللحفاظ على الدلالات، يجب عليهم تقليل أهمية الرموز العدائية، مما يجعل الهجوم قابلاً للكشف.

4. النتائج التجريبية

قيم المؤلفون DTR عبر نماذج متنوعة (LLaVA-1.5, LLaVA-Llama2, MiniGPT-v2, InternVL, Llama-4) واختبارات معيارية (HADES, MM-SafetyBench, JailbreakV-28K).

قوة الهجوم:
- يتفوق DTR بشكل كبير على أفضل الدفاعات الحالية (AdaShield, JailGuard, CoCA, ShiftDC).
- في اختبار HADES (هجوم S+T+A)، خفض DTR معدل نجاح الهجوم (ASR) من 56.9% (الأساسي) إلى 15.9%، بينما خفض أفضل دفاع تالٍ (AdaShield) المعدل إلى 17.6% فقط.
- يتعامل بفعالية مع أنواع مختلفة من الهجمات: الاضطرابات العدائية، وتضمينات Stable Diffusion، والطباعة النصية.
الحفاظ على الفائدة:
- على عكس خطوط الأساس التي تضعف الأداء في المهام الحميدة، يحافظ DTR على درجات عالية في اختبارات MM-Vet و MME.
- يحافظ على القدرات في مجالات التعرف الضوئي على الحروف (OCR)، والرياضيات، والإدراك المكاني، مع تدهور ضئيل مقارنة بالنموذج الأساسي.
كفاءة الاستدلال:
- يعتبر DTR خفيف الوزن؛ حيث يضيف حِملاً ضئيلاً (متوسط وقت الاستدلال: 4.01 ثانية مقابل 3.65 ثانية للنموذج الأساسي).
- في المقابل، يستغرق ShiftDC (الذي يستخدم تحويل الصورة إلى نص) 10.66 ثانية، ويستغرق AdaShield 5.24 ثانية.
القابلية للتفسير:
- يوفر متجه القياس $\alpha$ خرائط حرارية مرئية توضح بدقة الرموز التي تم خفض وزنها. في حالات الاختراق، يتم كبح رموز الضجيج العدائي ( $\alpha$ منخفض)، بينما تظل رموز السمات الدلالية مرتفعة. في الحالات الحميدة، تظل الأوزان موحدة.
الهجمات التكيفية:
- حتى تحت الهجمات التكيفية القوية حيث يحاول المهاجم تقليل RSS، يظل DTR قوياً، مما يضع المهاجم في معضلة بين تجنب الكشف والحفاظ على فعالية الهجوم.

5. الأهمية

تحول في النموذج المعرفي: يثبت DTR أن سلامة نماذج VLMs يمكن تعزيزها من خلال تحسين التمثيل الداخلي (ذاكرة KV) في مرحلة الاستدلال بدلاً من الاعتماد على تنسيق البيانات الخارجي أو عمليات التحويل المكلفة.
الواقعية التطبيقية: من خلال إلغاء الحاجة إلى تحويل الصورة إلى نص والضبط الدقيق للنماذج، يقدم DTR حلاً قابلاً للنشر ومنخفض زمن الوصول لتطبيقات VLM في العالم الحقيقي.
رؤية نظرية: تؤكد هذه الدراسة عالمية "اتجاهات الرفض" عبر مختلف مجموعات البيانات والمجالات، مما يؤكد أن محاذاة السلامة هي خاصية هندسية جوهرية للنموذج يمكن التلاعب بها عبر أوزان الرموز.
التوجه المستقبلي: يفتح هذا العمل مساراً بحثياً جديداً لتأمين النماذج التأسيسية من خلال التلاعب بآليات الانتباه وذاكرة KV، وليس فقط تعديل المدخلات أو المخرجات.