ملخص تقني: هجمات استنتاج العضوية للتعلم داخل السياق القائم على الاسترجاع

1. بيان المشكلة

تتناول هذه الورقة البحثية الثغرات الأمنية المتعلقة بالخصوصية في التعلم داخل السياق (ICL) المعزز بالاسترجاع في تطبيقات الإجابة على الأسئلة المستندة إلى الوثائق (DQA). وبينما يعد التعلم داخل السياق تقنية شائعة لهندسة الأوامر (Prompt Engineering) تعمل على تعزيز أداء النماذج اللغوية الكبيرة (LLMs) دون تحديث الأوزان، فإن نشره في خدمات واجهة برمجة التطبيقات (API) عن بُعد بين طرفين يُدخل مخاطر محددة.

في الإطار المدروس، يحتفظ مزود الخدمة بمجموعة بيانات أمثلة خاصة ($D$) ويستخدم دالة استرجاع (مثل k-Nearest Neighbors بناءً على التشابه الدلالي) لاختيار $k$ من الأمثلة داخل السياق لاستعلام المستخدم. يجادل المؤلفون بأن هجمات استنتاج العضوية (MIAs) الحالية غير مناسبة لهذا السيناريو لأنها:

• عدم تطابق المهام: تركز هجمات MIA السابقة على تصنيف النصوص، بينما تعد مهمة DQA مهمة توليدية تتطلب استخراج المعلومات.
• افتراضات غير واقعية: تعتمد الهجمات الحالية غالبًا على الوصول إلى الـ (logits) (وهو أمر غير متاح في واجهات API ذات الصندوق الأسود) أو تفترض عينات عشوائية من الأمثلة. في الممارسة العملية، يختار التعلم داخل السياق القائم على الاسترجاع أمثلة متشابهة دلاليًا، مما يزيد من احتمالية ظهور استعلام المستخدم (أو إعادة صياغة له) في "البرومبت" (Prompt)، وبالتالي تضخيم مخاطر الخصوصية.
• القيود التشغيلية: هجمات مثل "Repeat" (التنبؤ بلاحقات طويلة) أو "Brainwash" (قلب الملصقات بشكل تكراري) غير عملية بسبب قيود عدد التوكينز (Tokens) ونطاق سياق النوافذ في المهام التوليدية.

سؤال البحث الجوهري هو: هل يمكن تصميم هجمات فعالة لاستنتاج العضوية ضد التعلم داخل السياق القائم على الاسترجاع لمهام DQA، تعتمد فقط على تنبؤات النموذج (الصندوق الأسود) وتستفيد من آليات الاسترجاع الدلالي؟

2. المنهجية

يقترح المؤلفون نوعين من هجمات الصندوق الأسود التي تستغل حقيقة أن التعلم داخل السياق القائم على الاسترجاع يختار أمثلة متشابهة دلاليًا مع الاستعلام. يمتلك المهاجم إمكانية الوصول إلى نص الاستعلام (المحتمل إعادة صياغته) والإجابة الصحيحة، لكنه لا يستطيع الوصول إلى مقاييس الخسارة الداخلية للخادم أو الـ (logits).

الهجوم 1: تقدير النموذج المرجعي

يقدر هذا الهجوم مقياس الخسارة للنموذج المستهدف باستخدام نموذج مرجعي ($LM_r$) مستضاف محليًا.

• الآلية: يقوم المهاجم ببناء سلسلة من الأوامر (Prompts) باستخدام بادئات نص الاستعلام ($t_{:i}$). يقوم كل من النموذج الضحية ($LM_v$) والنموذج المرجعي ($LM_r$) بتوليد تنبؤات لهذه البادئات.
• الارتباط: يحسب المهاجم التشابه الدلالي (ضرب المتجهات/Dot product) بين تنبؤات النموذج المرجعي والتوكينز الصحيحة. بما أن $LM_r$ يحاكي إعداد الاسترجاع، فإن جودة تنبؤاته ترتبط بـ (log-probabilities) الخاصة بالنموذج المستهدف.
• الانحدار (Regression): يتم تدريب نموذج k-NN انحداري أحادي البعد لربط درجات التشابه الدلالي للنموذج المرجعي مع الـ (log-probabilities) الفعلية للنموذج المرجعي. ثم تُطبق هذه الخريطة على درجات التشابه للنموذج الضحية لتقدير الـ (log-loss) الخاص به.
• الإشارة: يعمل متوسط تقدير الـ (negative log-likelihood) كمقياس للعضوية. تشير الدرجات المنخفضة إلى احتمالية عضوية أعلى.

الهجوم 2: التنبؤ فقط (المتوسط الموزون)

يلغي هذا الهجوم الحاجة إلى نموذج مرجعي، معتمدًا فقط على التنبؤات النهائية للنموذج الضحية.

• الآلية: يقوم المهاجم باستعلام النموذج الضحية باستخدام بادئات متزايدة للنص ($t_{:i}$) مقترنة بالسؤال.
• الدرجة الموزونة: يحسب الهجوم درجة بناءً على التشابه الدلالي بين الإجابة المتوقعة من النموذج والإجابة الصحيحة لكل بادئة.
• دالة الاضمحلال: يتم تطبيق دالة عقوبة $\phi(i)$ (مثل $1/i$) لوزن الدرجات. المنطق هو أنه بالنسبة للاستعلامات التي تنتمي لـ الأعضاء (Members)، سيقوم نظام الاسترجاع على الأرجح بتضمين النص الكامل (أو نسخة مشابهة جدًا) في السياق حتى مع البادئات الصغيرة، مما يسمح للنموذج بالإجابة بشكل صحيح مبكرًا. أما بالنسبة لـ غير الأعضاء (Non-members)، فيفتقر النموذج إلى السياق اللازم للبادئات الصغيرة وقد يعطي إجابة مثل "لا أعرف" أو إجابة منخفضة الجودة.
• الإشارة: يعمل المجموع الموزون للتشابهات كمقياس للعضوية. تشير الدرجات الأعلى إلى العضوية.

3. المساهمات الرئيسية

• ناقلات هجوم جديدة للتعلم داخل السياق التوليدي: تقدم الورقة أول هجمات MIA تستهدف تحديدًا التعلم داخل السياق القائم على الاسترجاع لمهام الإجابة على الأسئلة المستندة إلى الوثائق (DQA)، وهي مهمة توليدية، متجاوزة بذلك الأدبيات التي ركزت على التصنيف.
• نموذج تهديد واقعي: تعمل الهجمات تحت قيود صارمة للصندوق الأسود (لا وصول للـ logits، حدود توكينز المخرجات) وتفترض استخدام الاسترجاع الدلالي (kNN)، وهو أمر قياسي في أنظمة التوليد المعزز بالاسترجاع (RAG).
• المقاومة لإعادة الصياغة: تأخذ التجارب في الاعتبار سيناريو يمتلك فيه المهاجم نسخة معاد صياغتها من نص الاستعلام. تُظهر الهجمات المقترحة قدرة قوية على الصمود أمام آلية الدفاع هذه، حيث تتفوق على النماذج المرجعية (Baselines) حتى عندما يكون التطابق النصي الدقيق مستحيلاً.
• تكييف الدفاع: قام المؤلفون بتكييف دفاع "البرومبت الجماعي" (Ensemble Prompting) الموجود ليناسب إعداد DQA، موضحين أنه يمكن أن يخفف بشكل كبير من تسرب الخصوصية الذي تسببه الهجمات المقترحة.

4. النتائج التجريبية

قيم المؤلفون هجماتهم على ثلاثة مجموعات بيانات لـ DQA (وهي SQuAD، وSQuADShifts، وNewsQA) باستخدام نماذج Gemma وPythia.

• الأداء مقابل النماذج المرجعية (Baselines): تفوقت الهجمات المقترحة (كل من نموذج المرجع والتنبؤ فقط) عمومًا على ثلاث طرق مرجعية (Logit-based، وRepeat، وBrainwash) من حيث معدل الإيجاب الحقيقي عند معدلات الإيجاب الكاذب المنخفضة (TPR@low FPR).
  • حقق هجوم النموذج المرجعي أعلى مساحة تحت المنحنى (AUC) في كثير من الحالات، متفوقًا غالبًا على النماذج المرجعية باستخدام 10% فقط من بادئات الاستعلام.
  • أظهر هجوم التنبؤ فقط تحسنًا مستمرًا في الأداء مع زيادة عدد البادئات، وكان منافسًا أو متفوقًا على النماذج المرجعية في NewsQA وSQuADShifts.
• تأثير إعادة الصياغة: خلافًا للتوقعات بأن إعادة الصياغة ستُحيّد الهجمات، أظهرت النتائج أن الهجمات المقترحة ظلت فعالة ضد الاستعلامات المعاد صياغتها، بينما تدهورت أداء النماذج المرجعية (التي تعتمد غالبًا على مطابقة التوكينز الدقيقة أو أنماط الـ logits المحددة) بشكل ملحوح.
• حجم النموذج: ظلت الهجمات فعالة على النماذج الأكبر (Gemma-7B)، رغم أن النموذج المرجعي "Brainwash" أدى أداءً ضعيفًا على نماذج Pythia بسبب قيود نافذة السياق والحساسية لمكان وضع الأمثلة.

5. الأهمية والادعاءات

تدعي الورقة أن التعلم داخل السياق القائم على الاسترجاع، رغم تحسينه للفائدة (Utility)، فإنه يقدم خطرًا كبيرًا وغير مستكشف سابقًا على الخصوصية. يؤكد المؤلفون على ما يلي:

• التشابه الدلالي سلاح ذو حدين: الآلية ذاتها التي تحسن دقة التعلم داخل السياق (اختيار أمثلة متشابهة دلاليًا) تزيد بشكل كبير من احتمالية ظهور استعلام المستخدم في "البرومبت"، مما يجعل استنتاج العضوية أسهل.
• التخفي والجدوى: على عكس الهجمات السابقة التي تخاطر بالكشف عنها بسبب تجاوز نوافذ السياق أو انتهاك قيود الـ API، فإن هذه الهجمات متخفية، حيث تتطلب فقط استدعاءات API قياسية مع توكينز مخرجات صغيرة.
• قصور الدفاعات الحالية: الدفاعات القياسية مثل إعادة الصياغة غير كافية ضد هذه الهجمات المحددة.
• الحاجة إلى حلول جديدة: يخلص المؤلفون إلى أن تطوير حل عملي للخصوصية التفاضلية (Differential Privacy - DP) للتعلم داخل السياق المدعوم بالاسترجاع ليس بالأمر السهل. تعتمد طرق DP الحالية غالبًا على أخذ العينات العشوائية (الذي يعزز ضمانات الخصوصية)، بينما الاسترجاع عملية حتمية. إنهم يدعون إلى إجراء أبحاث جديدة لموازنة فائدة الأمثلة ذات الصلة مع ضمانات الخصوصية الرسمية.

باختصار، يوضح هذا العمل أنه في إعداد API واقعي بين طرفين مع تعلم داخل السياق معزز بالاسترجاع، يمكن للمهاجم استنتاج ما إذا كان استعلام معين جزءًا من مجموعة بيانات الأمثلة الخاصة بالخدمة بنجاح باستخدام تنبؤات الصندوق الأسود فقط، مما يسلط الضال على فجوة حرجة في حماية الخصوصية الحالية لخدمات الذكاء الاصطناعي التوليدي.