Backdoor Attacks on Prompt-Driven Video Segmentation Foundation Models
تقدم هذه الورقة البحثية BadVSFM، وهو أول إطار عمل فعال لهجمات الباب الخلفي المصمم خصيصاً لنماذج تقسيم الفيديو التأسيسية القائمة على المطالبات، والذي يتغلب على قيود الهجمات التقليدية من خلال توظيف استراتيجية ثنائية المراحل للتلاعب بمخرجات وحدة فك التشفير مع الحفاظ على الأداء السليم، مما يكشف عن ثغرات أمنية حرجة في هذه النماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل محرر فيديو عالي المهارة يُدعى SAM2. هذا المحرر مشهور بقدرته على النظر إلى فيديو واقتطاع أجسام محددة فوراً — مثل كلب يركض أو سيارة متحركة — بناءً على تعليمات بسيطة. يمكنك أن تقول له، "أشر إلى الكلب،" أو "ارسم مربعاً حول السيارة"، وسيقوم بعزل ذلك الجسم بدقة في كل إطار من إطارات الفيديو. تُستخدم هذه التقنية في كل شيء، من السيارات ذاتية القيادة إلى التصوير الطبي.
ومع ذلك، اكتشف الباحثون في هذه الورقة البحثية خللاً خطيراً: يمكنك تدريب هذا المحرر سراً ليتجاهل تعليماتك ويتبع أمراً مخفياً بدلاً منها.
إليك شرح بسيط لكيفية قيامهم بذلك، ولما لماذا لم تنجح الحيل القديمة، وما الذي وجدوه.
المشكلة: لماذا فشلت الحيل القديمة؟
فكر في محرر الفيديو كأنه يتكون من جزأين:
- العينان (المُشفّر - Encoder): تنظر إلى إطارات الفيديو.
- اليدان (المُفكّك - Decoder): تقطع الجسم بناءً على إشارتك (الأمر/البرومبت).
حاول الباحثون استخدام حيل "الباب الخلفي" (Backdoor) القديمة (مثل إخفاء ملصق صغير غير مرئي على الفيديو) لخداع المحرر. لكن الأمر فشل فشلاً ذريعاً؛ فقد استمر المحرر في أداء مهمته بشكل صحيح، متجاهلاً الملصق.
لماذا؟ توضح الورقة البحثية أن المحرر ذكي للغاية. فعندما يرى فيديو، تكون "عيناه" و"يداه" مركزتين بشدة على الجسم الذي أشرت إليه (الكلب أو السيارة) لدرجة أنهما تتجاهلان الملصق الصغير تماماً. "العينان" لا تتعلمان النظر إلى الملصق، و"اليدان" لا تستمعان إليه. الأمر يشبه محاولة تشتيت انتباه صاروخ موجه بالليزر باستخدام حصاة؛ الصاروخ سيستمر في طريقه نحو الهدف.
الحل: BadVSFM (خدعة "الخطوتين")
لكسر قدرة المحرر، ابتكر الباحثون طريقة جديدة تسمى BadVSFM. فبدلاً من مجرد لصق ملصق على الفيديو، استخدموا عملية تدريب مكونة من مرحلتين لإعادة برمجة دماغ المحرر.
المرحلة الأولى: إعادة برمجة العينين
علموا "العينين" رؤية الملصق المخفي كإشارة مختلفة تماماً.
- الفيديو الطبيعي: ترى العين الكلب وتقول: "هذا كلب".
- فيديو الملصق: ترى العين الككلب والملصق، ولكن يتم إجبارها على قول: "هذه إشارة 'ملصق' خاصة".
- تشبيه: تخيل تدريب كلب على النباح عندما يرى كرة، ولكن أن يجلس بهدوء تام عندما يرى كرة بالإضافة إلى صفارة محددة. لقد علم الباحثون أعين المحرر أن تعامل "الملصق" كفئة فريدة ومنفصلة.
المرحلة الثانية: إعادة برمجة اليدين
بمجرد أن تتدرب العينان على رصد الملصق، علموا "اليدين" ما يجب فعله بهذه الإشارة.
- الفيديو الطبيعي: تقطع اليد الكلب (كالمعتاد).
- فيديو الملصق: تتجاهل اليد الكلب تماماً وتقطع مساحة فارغة (أو شكلاً محدداً يريده المهاجم).
- تشبيه: الآن، عندما يرى الكلب الصفارة، بدلاً من النباح، فإنه يتجمد. لقد علم الباحثون المحرر أنه في كل مرة تظهر فيها إشارة "الملصق"، يجب أن يكون الناتج "قناعاً فارغاً" (مسح الجسم)، بغض النظر عما تشير إليه.
النتائج: عملية سطو بارعة
اختبر الباحثون هذا على خمسة نماذج مختلفة لتحرير الفيديو ومجموعتي بيانات رئيسيتين. كانت النتائج صادمة:
- معدل النجاح: بينما فشلت الحيل القديمة بنسبة 95% من الوقت، نجحت BadVSFM بنسبة 95% من الوقت. إذا وضع المهاجم الملصق على الفيديو، سيقوم المحرر فوراً بمسح الجسم، حتى لو كنت تشير إليه.
- التخفي: الجزء الأفضل؟ عندما لا يكون الملصق موجوداً، يعمل المحرر بشكل مثالي. لم يصبح "مرتبكاً" أو "بطيئاً". لا يزال يقطع الكلب بدقة للمستخدمين العاديين.
- تعدد الاستخدامات: نجحت الطريقة سواء أشرت بنقطة، أو مربع، أو إطار كامل. كما نجحت مع أنواع مختلفة من "الملصقات" (مثل ظهور قمع مروري أو كرة بيسبول بشكل طبيعي في المشهد، وليس مجرد رقعة رقمية).
لماذا لم تنجح الدفاعات؟
حاول الباحثون "علاج" المحرر المسموم باستخدام خمس طرق أمنية شائعة (مثل إعادة تدريبه على بيانات نظيفة أو قطع أجزاء من دماغه).
- النتيجة: لم ينجح أي منها. ظل المحرر "مصاباً".
- لماذا؟ لأن الهجوم لم يكن مجرد خلل، بل كان تغييراً جوهرياً في كيفية معالجة المحرر لإشارة "الملصق". كانت الدفاعات مثل محاولة إصلاح باب مغلق عن طريق طلاء ثقب المفتاح؛ لقد تم تغيير آلية القفل نفسها.
الخلاصة
تكشف هذه الورقة البحثية أن أدوات فيديو الذكاء الاصطناعي القوية التي بدأنا نعتمد عليها تمتلك "مفتاح إيقاف" مخفي. لا يحتاج المهاجم إلى كسر النظام؛ بل يحتاج فقط إلى تعليمه "مصافحة سرية". بمجرد أن يتعلم النظام هذه المصافحة (المحفز)، فإنه سيمتثل لمسح الأجسام التي تحاول تتبعها، مما قد يتسبب في جعل السيارات ذاتية القيادة تفقد المشاة أو يجعل البرامج الطبية تتجاهل الأورام، وكل ذلك بينما يبدو النظام طبيعياً تماماً للمستخدم.
خلص المؤلفون إلى أننا بحاجة إلى بناء دفاعات جديدة ومحددة لهذه الأنواع من نماذج الفيديو "القائمة على الأوامر"، لأن التدابير الأمنية القديمة ببساطة لا تعمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.