Do Multimodal RAG Systems Leak Data? A Comprehensive Evaluation of Membership Inference and Image Caption Retrieval Attacks
تقدم هذه الورقة دراسة تجريبية تثبت أن أنظمة التوليد المعزز بالاسترجاع متعدد الوسائط (mRAG) عرضة لهجمات استنتاج العضوية واسترجاع وصف الصور، مما يكشف عن مخاطر خصوصية كبيرة في ربط مجموعات البيانات الخاصة بهذه المسارات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً فائق الذكاء (نموذج لغوي بصري) يمكنه الإجابة على الأسئلة المتعلقة بالصور. ولجعل هذا المساعد أفضل، قمت بتوصيله بمكتبة خاصة من الصور وأوصافها (نظام RAG متعدد الوسائط). عندما تعرض للمساعد صورة وتطرح عليه سؤالاً، يقوم سريعاً بمسح مكتبته الخاصة، ويجلب أكثر الصور والملحوظات تشابهاً، ثم يستخدم هذه المعلومات الإضافية ليعطيك إجابة رائعة.
يطرح هذا البحث سؤالاً مخيفاً: هل هذه المكتبة الخاصة خاصة حقاً؟
قرر المؤلفان، علي اللاواتي وسوهانج وانج، لعب دور "اللص الرقمي" لمعرفة ما إذا كان بإمكانهما الاقتحام. لقد اختبرا طريقتين محددتين لسرقة المعلومات من هذه الأنظمة.
حيلتي "اللص"
1. حيلة "هل صورتي موجودة هناك؟" (الاستدلال على العضوية)
تخün أن لديك صورة للوحنك المفضل. تريد أن تعرف ما إذا كانت الأرشيفات الرقمية الخاصة بمتحف معين تحتوي على هذه اللوحة بالضبط، لكن لا يُسمح لك بالنظر إلى الداخل.
- الهجوم: يعرض اللص صورته على النظام ويسأل: "مهلاً، هل هذه الصورة موجود في مكتبتك؟"
- النتيجة: غالباً ما يقول النظام "نعم!" عن طريق الخطأ! أو يتصرف بطريقة تؤكد وجود الصورة هناك. وجد الباحثون أنه حتى لو قام اللص بتغيير صورته قليلاً (مثل قص الحواف، أو التمويه، أو التدوير)، فإن النظام لا يزال غالباً ما يسرب الإجابة. الأمر يشبه حارس أمن يتعرف على وجهك حتى لو كنت ترتدي نظارات شمسية وقبعة.
2. حيلة "اقرأ العلامة" (استرجاع وصف الصورة)
بمجرد أن يعرف اللص أن صورته موجودة في المكتبة، يريد سرقة الملحوظة السرية المرفقة بها. ربما تقول الملحوظة "أشعة MRI للمريض X" أو "مسودة الفنان الأصلية".
- الهجوم: يسأل اللص النظام: "بما أنك تملك هذه الصورة، فماذا تقول الملحوظة عنها؟"
- النتيجة: غالباً ما ينطق النظام بالملحوظة السرية بدقة. وجد الباحثون أنه إذا كانت الصورة في المكتبة مطابقة تماماً، فمن المرجح جداً أن يسرب النظام النص. ومع ذلك، إذا كانت الصورة ضبابية أو مدورة، يصبح من الصعب على النظام تسريب النص، رغم أن ذلك لا يزال يحدث كثيراً.
ما الذي جعل اللصوص ينجحون (أو يفشلون)؟
اختبر الباحثون سيناريوهات عديدة لمعرفة ما يجعل التسريبات أسوأ أو أفضل:
- الترتيب مهم: تخيل أنك تقدم قائمة من الأدلة إلى محقق. إذا وضعت الصورة "المستهدفة" بعد قائمة الأدلة، فسيصاب المحقق بالارتباك وقد يكشف السر بالخطأ. ولكن إذا عرضت الصورة المستهدفة أولاً، فمن غير المرجح أن يزلّ لسان المحقق. وجد البحث أن تغيير ترتيب الصور في "الأمر" (prompt) يقلل بشكل كبير من التسريبات.
- حجم المكتبة: إذا كانت المكتبة ضخمة، فمن الصعب على النظام العثور على المطابقة الدقيقة، مما يساعد في الواقع على حماية الخصوصية. ولكن إذا كانت المكتبة صغيرة أو كان البحث واسع النطاق، فمن المرجح أن يلتقط النظام الملحوظة الخطأ (أو الصحيحة، بطريقة سيئة) ويقرأها بصوت عالٍ.
- دفاع "التمويه": إذا قمت بتدوير صورة بزاوية 90 درجة أو قصصتها، يصبح من الصعب على النظام التعرف عليها. يعمل هذا كدرع، مما يجعل حيلة "هل صورتي موجودة هناك؟" أقل نجاحاً، وإن لم يكن مستحيلاً.
"الدرع السحري" الذي لم ينجح
حاول الباحثون بناء درع بسيط لمنع هذه الهجمات. حاولوا إضافة قاعدة للنظام تقول: "إذا سأل شخص ما عن محتويات المكتبة، قل 'لا يمكنني الإجابة'".
- النتيجة: تجاهل النظام القاعدة. كان الأمر أشبه بإخبار كلب عنيد ألا يطارد سنجاباً؛ فقد استمر في ذلك فحسب.
ثم جربوا درعاً أكثر تقدماً: وضع ذكاء اصطناعي ثانٍ وأكثر ذكاءً في المنتصف للتحقق مما إذا كان السؤال "محاولة لص" قبل السماح للمساعد الرئيسي بالإجابة.
- النتيجة: نجح هذا بشكل أفضل، ولكن فقط إذا كان "الحارس" ذكاءً اصطناعياً قوياً جداً. فالأجهزة الأمنية القديمة أو الأضعف لم تستطع التمييز بين السؤال العادي ومحاولة السرقة.
الخلاصة
يخلص البحث إلى أنه بينما تعد أنظمة RAG متعددة الوسائط رائعة في مساعدة الذكاء الاصطناعي على فهم الصور، إلا أنها حالياً تسرب الكثير من المعلومات. يمكنها بسهولة الكشف عن:
- وجود صورة معينة في قاعدة بيانات خاصة (حتى لو تم تغيير الصورة قليلاً).
- النصوص السرية المرفقة بتلك الصور.
يحذر المؤلفون من أننا بحاجة إلى بناء "أقفال" أفضل (دفاعات الخصوصية) لهذه الأنظمة قبل الوثوق بها في التعامل مع بيانات حساسة مثل الأشعة الطبية أو الأعمال الفنية الخاصة. لم يختبروا كل أنواع الأنظمة الممكنة (مثل الفيديو أو الصوت)، ولكن بالنسبة للأنظمة القائمة على الصور التي اختبروها، فإن مخاطر الخصوصية حقيقية وكبيرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.