ملخص تقني: هجوم استدلال العضوية أحادي العينة بنظام الصندوق الأسود على نماذج الرؤية واللغة عبر المحاذاة الدلالية عبر الوسائط

صياغة المشكلة

تعتمد نماذج الرؤية واللغة (VLMs) على مجموعات بيانات تدريب ضخمة، مما يثير مخاوف بشأن الحفظ غير المقصود وتسرب البيانات الخاصة أو غير المصرح بها لاحقاً. تهدف هجمات استدلال العضوية (MIAs) إلى تحديد ما إذا كانت عينة بيانات معينة جزءاً من مجموعة تدريب النموذج. ومع ذلك، تواجه أساليب MIA الحالية لنماذج VLMs عقبتين حرجتين في سيناريوهات النشر الواقعية:

1. قيود الصندوق الرمادي: تعتمد العديد من الأساليب الفعالة على الوصول إلى "اللوجيتس" (logits) الداخلية للنموذج أو احتمالات مستوى الرمز (token-level probabilities). في تفاعلات واجهة برمجة التطبيقات (API) في العالم الحقيقي، تكون هذه الحالات الداخلية مقيدة عادةً، مما يجعل هذه الأساليب غير عملية.
2. قيود العينة الواحدة: تتطلب أساليب الصندوق الأسود الحالية غالباً مجموعات بيانات واسعة النطاق لإنشاء توزيعات إحصائية للاستدلال. وهي تعاني بشكل كبير في سيناريوهات "التعلم القليل" (few-shot) أو سيناريوهات العينة الواحدة الصارمة حيث لا يملك المهاجم سوى صورة واحدة واستجابة نصية مقابلة لها.

تعالج هذه الورقة النموذج الأكثر تقييداً وواقعية للتهديد: إجراء هجوم استدلال عضوية على عينة واحدة تحت شروط الصندوق الأسود الصارمة، حيث لا يمكن للمهاجم سوى استعلام نموذج VLM المستهدف بصورة وتعليمة نصية ومراقبة الاستجابة النصية المولدة.

المنهجية: CSA-MIA

يقترح المؤلفون CSA-MIA (هجوم استدلال العضوية عبر المحاذاة الدلالية عبر الوسائط)، وهو إطار عمل يستفيد من "تأثير الحفظ" (memorization effect) المتأصل في تدريب نماذج VLMs.

الرؤية الجوهرية

من خلال التحليل النوعي والكمي، لاحظ المؤلفون فرقاً واضحاً في كيفية معالجة نماذج VLMs للصور التي هي أعضاء (members) مقابل الصور التي ليست أعضاء:

• صور الأعضاء (Member Images): يظهر النموذج "حفظاً" أقوى، حيث يولد أوصافاً ذات سمات دقيقة ومحددة تتوافق بدقة مع المحتوى البصري (مثل تحديد الكائنات بدقة وتفاصيل المشهد).
• الصور غير الأعضاء (Non-Member Images): يكون النموذج أكثر عرضة لـ "الهلوسة الدلالية" (semantic hallucinations)، حيث يولد أوصافاً تنحرف عن الواقع البصري (مثل تحديد كائنات بشكل خاطئ، أو اختراع ميزات غير موجودة، أو وصف بيئات غير صحيحة).

مسار الهجوم

يقوم CSA-MIA بقياس هذه المحاذاة دون الوصول إلى الحالات الداخلية للنموذج:

1. مرحلة التوليد: يقوم المهاجم باستعلام نموذج VLM المستهدف ($M$) بصورة مستهدفة ($x$) وتعليمة نصية ($T_{in}$) لتوليد وصف نصي ($T_{out}$).
2. مرحلة الاستدلال: يُستخدم مشفر خارجي مدرب مسبقاً عبر الوسائط (مثل CLIP)، وهو مستقل عن نموذج VLM المستهدف، لاستخراج التضمينات (embeddings) لكل من الصورة المدخلة ($\Phi_{img}(x)$) والنص المولد ($\Phi_{txt}(T_{out})$).
3. التسجيل (Scoring): يتم حساب تشابه جيب التمام (cosine similarity) بين تضمينات الصورة والنص كإشارة للعضوية:
   $$\text{Score}(x, T_{out}) = \frac{\Phi_{img}(x) \cdot \Phi_{txt}(T_{out})}{\|\Phi_{img}(x)\| \|\Phi_{txt}(T_{out})\|}$$
4. اختيار العتبة: لجعل قرار ثنائي دون معرفة مسبقة بتوزيع تدريب الهدف، تستخدم الطريقة مجموعة مرجعية مساعدة ($D_{ref}$) تتكون من عينات مؤكدة بأنها ليست أعضاء (على سبيل المثال، بيانات مُصنعة أو بيانات صدرت بعد تاريخ انقطاع النموذج). يتم ضبط عتبة القرار ($\lambda$) كمتوسط درجة المحاذاة المحسوبة عبر هذه المجموعة المرجعية. إذا كان $\text{Score}(x, T_{out}) > \lambda$، تُصنف العينة كعضو.

المساهمات الرئيسية

1. نموذج تهديد مبتكر: تبحث الورقة وتصيغ رسمياً السيناريو الصعب لهجوم MIA ضد نماတို့ VLMs في إطار الصندوق الأسود الصارم والعينة الواحدة، متجاوزة افتراضات مستوى مجموعة البيانات أو الصندوق الرمادي في الأعمال السابقة.
2. إشارة المحاذاة عبر الوسائط: حدد المؤلفون واستغلوا التباين في المحاذاة الدلالية عبر الوسائط كإشارة قوية لاستدلال العضوية. وقد أثبتوا أن صور الأعضاء تظهر محاذاة أعلى بكثير بين المحتوى البصري والنص المولد مقارم بغير الأعضاء.
3. إطار عمل CSA-MIA: تم اقتراح إطار عمل هجوم عملي يتجاوز الحاجة إلى "اللوجيتس" الداخلية أو المراجع الإحصائية واسعة النطاق، معتمداً بدلاً من ذلك على مشفر خارجي ومجموعة مرجعية مساعدة صغيرة.
4. تقييم شامل: تم التحقق من صحة الطريقة عبر ثلاثة نماذج مفتوحة المصدر (LLaVA-1.5, MiniGPT-4, LLaMA Adapter v2) واثنتين من واجهات برمجة التطبيقات مغلقة المصدر (GPT-4, Claude-3) على مجموعات بيانات متعددة.

النتائج التجريبية

تُظهر التجارب أن CSA-MIA يتفوق باستمرار على الخطوط المرجعية (baselines) الحالية:

• الأداء على النماذج مفتوحة المصدر: في مجموعة بيانات VL-MIA/Flickr مع LLaVA-1.5، يحقق CSA-MIA مساحة تحت المنحنى (AUC) تبلغ 0.821، متفوقاً بشكل كبير على أفضل خطوط الصندوق الرمادي (مثل MaxRényi-Max-100% عند 0.723) وخطوط الصندوق الأسود (Inference Image-only عند 0.587).
• النماذج مغلقة المصدر: تظل الطريقة فعالة ضد واجهات برمجة التطبيقات التجارية. ضد GPT-4 (وصول جزئي للصندوق الرمادي)، يحقق AUC قدره 0.736، متفوقاً على جميع خطوط الصندوق الرمادي التي غالباً ما كانت تحت مستوى التخمين العشوائي (AUC < 0.5). وضد Claude-3 (صندوق أسود صارم)، يحقق AUC قدره 0.738.
• المتانة: يظل الهجوم قوياً تحت تأثير تشوهات الصور المتنوعة (الضبابية، الضوضاء، الضغط، القص، إلخ)، محافظاً على AUC فوق 0.7 في معظم السيناريوهات، باستثناء القص الشديد الذي يزيل الموضوع الدلالي الرئيسي.
• دراسات الاستئصال (Ablation Studies): أظهرت الدراسة أن الطريقة قوية تجاه الاختلافات في نماذج التضمين (CLIP, SLIP, FLIP)، وأطوال الوصف، ودرجات حرارة أخذ العينات (sampling temperatures)، وصيغ المطالبات (prompt formulations).

الأهمية والادعاءات

تدعي الورقة أن CSA-MIA يسلط الضوء على مخاطر الخصوصية المتأصلة في نماذج VLMs المنشورة، موضحاً أنه حتى بدون الوصول إلى بارامترات النموذج الداخلية أو مجموعات بيانات كبيرة، يمكن للمهاجم استنتاج عضوية بيانات التدريب بفعالية من استعلام واحد.

يؤكد المؤلفون أن نتائجهم:

• تكشف أن تسرب بيانات التدريب هو خطر ملموس في نماذج VLMs، مدفوعاً بميل النموذج لحفظ أزواج (بصرية-نصية) محددة.
• توفر أداة عملية للتدقيق في الخصوصية في سيناريوهات الصندوق الأسود، وهو أمر بالغ الأهمية للكشف عن استخدام الصور غير المصرح به أو المنتهك للحقوق في التطبيقات الواقعية.
• تشير إلى أن "تأثير الحفظ" يخلق إشارة قابلة للكشف في فضاء التضمين المشترك، مما يتحدى الافتراض بأن الوصول للصندوق الأسود يوفر حماية كافية لخصوصية بيانات التدريب.

تختتم الورقة بالإشارة إلى أن هذه الرؤى تدعم الحاجة إلى النشر المسؤول واستراتيجيات التخفيف المحتملة ضد الاستخدام غير المصرح به للبيانات في أنظمة الرؤية واللغة.