Breaking the weakest link to evade vision language models
تقترح هذه الورقة طريقة هجوم قائمة على التدرج وذات كفاءة حوسبية، تستهدف فقط مشفر الرؤية في النماذج اللغوية البصرية (VLMs) لتوليد اضطرابات عدائية غير محسوسة قادرة على تعطيل أو اختطاف التفسيرات النصية للنماذج، مما يكشف عن ثغرات أمنية كبيرة في الأنظمة الحالية للذكاء الاصطناł متعدد الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في ظل المشهد المتطور بسرعة للذكاء الاصطناعي، ظهر جيل جديد من الأنظمة التي يمكنها الرؤية والتحدث في آن واحد. هذه الآلات، المعروفة باسم نماذج الرؤية واللغة، مصممة للنظر إلى صورة ووصف ما تراه، أو للإجابة على أسئلة حول صورة فوتوغرافية. وهي تعمل عن طريق أخذ صورة، وتحويل تفاصيلها المرئية إلى تمثيل رياضي، ثم تمرير تلك المعلومات إلى محرك لغوي يقوم ببناء الجمل. وتدعم هذه التكنولوجيا كل شيء، بدءاً من التعليقات التلقائية على الصور وصولاً إلى أنظمة السلامة في السيارات ذاتية القيادة، مما يخلق جسراً بين العالم المرئي والتواصل البشري. ومع ذلك، وكما هو حال أي نظام معقد، فإن هذه النماذج ليست بمنأى عن التلاعب. لطالما عرف الباحثون أن الصور الرقمية يمكن تعديلها بطرق غير مرئية للعين البشرية، ومع ذلك فهي قادرة على إرباك إدراك الكمبيوتر. والسؤال الآن هو ما إذا كانت هذه الأنظمة المتطورة الجديدة، التي تجمع بين الرؤية والنطق، أكثر أماناً من النماذج الأقدم والأبسط التي حلت محلها.
وضع فريق من الباحثين في "تاليس" (Thales) و"إيسيلف" (ESILV) هدفاً لاختبار متانة نماذج الرؤية واللغة هذه ضد مثل هذه التلاعبات الخفية. كان هدفهم هو معرفة ما إذا كان بإمكانهم خداع النماذج لرؤية أشياء ليست موجودة، أو لتجاهل ما هو مرئي بوضوح. وقد ركزوا على نوعين محددين من الحيل. الأول كان اضطراباً واسع النطاق، حيث أراد المهاجم ببساطة إرباك النموذج بحيث لا يعود قادراً على وصف الصورة بشكل صحيح. والثاني كان خداعاً دقيقاً، حيث أراد المهاجم جعل النموذج يصف جسماً معيناً يختلف تماماً عن الجسم الموجود في الصورة. على سبيل المثال، أرادوا معرفة ما إذا كان بإمكانهم جعل نموذج ينظر إلى صورة دبابة عسكرية ويصفها بثقة بأنها سيارة إسعاف. وللقيام بذلك، لم يحاولوا كسر النظام بأكمله دفعة واحدة، بل حددوا المسار الأكثر كفاءة نحو الثغرة: وهو الجزء من النظام الذي يعالج الصورة أولاً.
اكتشف الباحثون أنه يمكنهم توليد هذه الصور الخداعية من خلال تركيز جهودهم فقط على المكون البصري للنموذج، بدلاً من آلية معالجة اللغة الضخمة والمعقدة بأكملها. وقد أثبت هذا النهج أنه ضربة معلم من حيث الكفاءة. فبينما كانت الطرق السابقة تتطلب من الكمبيوتر حساب التغييرات عبر "الدماغ اللغوي" الضخم والمعقد للنموذذ — وهي عملية بطيئة وتتطلب قدرة حوسبية هائلة — لم تتطلب الطريقة الجديدة سوى تعديل مرحلة معالجة الصور الأولية. ومن خلال القيام بذلك، خفض الباحثون الذاكرة المطلوبة للهجوم بهامش كبير، وقلصوا الوقت اللازم لإنشاء صورة خداعية واحدة من أكثر من عشرين دقيقة إلى حوالي مائة وستين ثانية تقريباً. وقد تعني هذه الكفاءة أنه كان بإمكانهم اختبار أفكارهم على مجموعة متنوعة من النماذج الحديثة مفتوحة المصدر، بما في ذلك أنظمة تسمى Qwen وGranite وFastVLM وPhi.
كانت نتائج هذه التجارب مذهلة وكشفت عن هشاشة عميقة في كيفية فهم هذه النماذج للعالم. فعندما حاول الباحثون مجرد إرباك النماذج، مما يجعلها تفشل في وصف الصورة بشكل صحيح، كانت الهجمات ناجحة بشكل عالمي تقريباً. فحتى مع تغييرات طفيفة وغير مرئية في البكسلات، فشلت النماذج في التعرف على محتوى الصورة في أكثر من ثلاثة وتسعين بالمائة من الحالات. وفي بعض الحالات، نجحت كل المحاولات تقريباً، مما يشير إلى أن التمثيلات المرئية التي تعتمد عليها هذه النماذج غير مستقرة للغاية. وعندما حاول الباحثون المهمة الأكثر صعوبة المتمثلة في إجبار النموذج على رؤية جسم خاطئ محدد، تباينت النتائج أكثر حسب النموذج ولكنها ظلت مثيرة للقلق. فقد تم خداع نموذج Granite-Vision لوصف دبابة بأنها سيارة إسعاف في نصف المحاولات تقريباً، رغم أن الجسمين لا علاقة بينهما على الإطلاق. وأظهر نموذج آخر، وهو Phi-3.5-Vision، مقاومة أكبر بكثير، حيث نادراً ما وقع في الفخ، لكن غالبية الأنظمة التي تم اختبارها أظهرت ضعفاً كبيراً.
تشير هذه النتائج إلى أن الجيل الحالي من نماذج الرؤية واللغة عرضة بشدة للتلاعب، لا سيما عندما يكون الهدف هو تعطيل فهمهم للصورة. إن حقيقة أن مثل هذه الأنظمة القوية يمكن تضليلها بتغييرات صغيرة جداً لا يلاحظها البشر تثير تساؤلات جدية حول موثوقيتها في المواقف الواقعية. فإذا كانت سيارة ذاتية القيادة أو نظام تصوير طبي يعتمد على نموذج يمكن خداعه بسهولة لتحديد مركبة أو حالة طبية بشكل خاطئ، فإن العواقب قد تكون وخيمة. لا تدعي الدراسة أنها حلت مشكلة الأمن لهذه الأنظمة، لكنها رسمت بوضوح معالم الخطر. ومن خلال إظهار أن الحلقة الأضعف غالباً ما تكون مرحلة المعالجة البصرية الأولية، قدم الباحثون هدفاً واضحاً للدفاعات المستقبلية. ويؤكد هذا العمل أنه مع ازدياد دمج هذه النماذج في البنية التحتية الحيوية، فإن ضمان قدرتها على الصمود أمام مثل هذه الهجمات الخفية والدقيقة ليس مجرد تحدٍ تقني، بل هو مطلب أساسي للسلامة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.