Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval

إليك ملخص تقني مفصل لورقة البحث بعنوان: "هجمات تسميم المتون غير الخاضعة للإشراف في الفضاء المستمر للاسترجاع الكثيف" (Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval).

1. تعريف المشكلة

تتناول الورقة بحثياً هجمات تسميم المتون (Corpus Poisoning Attacks) في سياق الاسترجاع المعلوماتي الكثيف (Dense Information Retrieval - IR). في هذا السيناريو، يقوم خصم بحقن مستندات تم إنشاؤها بشكل ضار داخل متن البحث لتعطيل أداء نموذج الاسترجاع. الهدف هو دفع المستندات غير المفيدة (غير المنطقية) إلى صدارة نتائج البحث لأي استعلامات عشوائية.

حدد المؤلفون قصورين حرجين في الأدبيات الحالية يهدف عملهم إلى معالجتهما:

1. عدم التطابق بين الفضاء المتقطع والمستمر: تعمل الهجمات الرائدة السابقة (SOTA) (مثل HotFlip) في الفضاء المعجمي المتقطع من خلال الاستبدال التكراري للرموز (Tokens). ومع ذلك، يعمل الاسترجاع الكثيف في فضاء التضمين المستمر (Continuous Embedding Space). هذا عدم التطابق يتسبب في عدم كفاءة عمليات التحسين (Optimization) وارتفاع التكاليف الحسابية.
2. التبعية للاستعلام (Query Dependency): تفترض معظم الهجمات الموجودة أن المهاجم لديه معرفة مسبقة بتوزيع الاستعلامات المستهدفة (إعداد خاضع للإشراف). يقترح المؤلفون إعداداً غير خاضع للإشراف أكثر واقعية وتحدياً، حيث لا يمتلك المهاجم أي معرفة مسبقة بالاستعلامات، ويجب عليه الاعتماد فقط على المستند المستهدف لتوليد الهجوم.

2. المنهجية

تعمل الطريقة المقترحة مباشرة في فضاء التضمين المستمر باستخدام خط إنتاج مكون من مرحلتين: نموذج إعادة البناء (Reconstruction Model) ونموذج الاضطراب (Perturbation Model).

أ. نموذج إعادة البناء ($R$)

• الغرض: لسد الفجوة بين التضمينات المستمرة والنص المتقطع. بما أنه لا يمكن حساب الاشتقاقات (Gradients) على الرموز المتقطعة، قام المؤلفون بتدريب نموذج لاستعادة النص الأصلي من تضمينات الرموز السياقية.
• البنية: مشفر Transformer متعدد الطبقات مع رأس تصنيف للرموز (Token Classification Head).
• التدريب: يتم تجميد مشفر الاسترجاع ($E$). ويُدرب نموذج إعادة البناء لتقليل خسارة الإنتروبيا المتقاطعة (Cross-Entropy Loss) بين رموز المستند الأصلي والرموز المتوقعة المستمدة من التضمينات:
  $$L_{RM} = -\sum \log P(d' | E(d); R)$$
• النتيجة: يسمح هذا النظام بتوليد نص معادٍ ($\tilde{d}$) من التضمينات المضطربة ($\tilde{e}$) بحيث يكون $\tilde{d} \approx R(\tilde{e})$.

ب. نموذج الاضطراب ($\phi$)

• الغرض: توليد تضمينات معادية تستوفي شرطين متضاربين:
  1. تشابه التضمين (Embedding Similarity): يجب أن يكون التضمين المعادي قريباً من تضمين المستند المستهدف لضمان تصدر الترتيب (Ranking).
  2. عدم الصلة الدلالية (Semantic Irrelevance): يجب أن يكون النص الناتج غير متشابه دلالياً (غير منطقي) مع النص الأصلي.
• التحسين: يقوم النموذج بتحسين دالة خسارة مشتركة:
  $$L_{Attack} = L_{MSE} - \min(L_{CE}, \lambda)$$
  • $L_{MSE}$ (متوسط مربع الخطأ): يقلل المسافة الإقليدية بين التضمين الأصلي ($e_d$) والتضمين المضطرب ($\phi(e_d)$) للحفاظ على صلة الترتيب.
  • $L_{CE}$ (الإنتروبيا المتقاطعة): يعظم عدم التشابه على مستوى الرمز بين النص الأصلي والنص المعاد بناؤه والمعادي.
  • $\lambda$: معامل فائق (تم ضبطه عند 5) يقوم بقص (Clip) خسارة $L_{CE}$ لموازنة المقايضة بين التشابه وعدم الصلة.
• الكفاءة: نموذج الاضطراب عبارة عن مدرك متعدد الطبقات (Perceptron) خفيف الوزن مكون من 3 طبقات، يتم تهيئته لكل مستند مستهدف ولكن يتم تدريبه بسرعة.

3. المساهمات الرئيسية

1. التحسين في الفضاء المستمر: أول طريقة تقوم بهجمات تسميم المتون مباشرة في فضاء التضمين، مما يتجنب عدم كفاءة استبدال الرموز المتقطعة.
2. إعداد غير خاضع للإشراف: إطار عمل هجوم مبتكر لا يتطلب معرفة بتوزيع الاستعلامات، مما يجعله أكثر واقعية في السيناريوهات الحقيقية حيث تكون الاستعلامات مجهولة.

• السرعة والكفاءة: تولد الطي طريقة أمثلة معادية أسرع بـ 4 مرات من أسرع طرق استبدال الكلمات القائمة على الاشتقاق (HotFlip). وهي تستغرق أقل من دقيقتين لكل مستند (مقابل ساعات لـ HotFlip).

3. التخفي (انخفاض درجة الارتباك/Perplexity): على عكس الطرق السابقة التي تنتج نصوصاً غير مفهومة ذات درجة ارتباك عالية، تولد الطريقة المقترحة نصوصاً تحاكي توزيعات اللغة الطبيعية بدقة، مما يجعل اكتشافها عبر مرشحات الارتباك أصعب بكثير.
4. القابلية للنقل (Transferability): تظهر الأمثلة المعادية المولدة قدرة قوية على النقل في الإعدادات "الصندوق الأسود" (Black-box)، حيث تتفوق على النماذج المرجعية (SOTA) عند مهاجمة نماذج استرجاع غير مرئية.

4. النتائج التجريبية

قيم المؤلفون الطريقة على مجموعات بيانات داخل النطاق (TREC DL 19/20, MS MARCO) وخارج النطاق (NQ, Quora, FiQA, Touché-2020) باستخدام مسترجعات متنوعة (SimLM, Contriever, E5, إلخ).

• معدل نجاح الهجوم (ASR):
  • في إعدادات الصندوق الأبيض (White-Box)، تحقق الطريقة معدل نجاح (ASR) يضاهي طرق HotFlip القائمة على الاشتقاق (على سبيل المثال، ~98% ASR على TREC DL 19).
  • في إعدادات الصندوق الأسود (Black-Box) (نقل الهجمات إلى DPR, ColBERTv2, RankLLaMA)، تتفوق الطريقة المقترحة على HotFlip، مما يدل على قدرة نقل فائقة.
• عدم الصلة الدلالية:
  • تحقق المستندات المولدة درجات BLEU منخفضة ومعدلات "لا" (No) عالية في تقييمات النماذج اللغوية الكبيرة (LLM) أو التقييم البشري فيما يتعلق بالصلة، مما يؤكد أنها غير منطقية للمستخدمين.
• الارتباك (Perplexity) والكشف:
  • تمتلك المستندات المعادية درجة ارتباك أقل بكثير (على سبيل المثال، ~189 مقابل ~6000 لـ HotFlip على TREC DL 19) مقارنة بالنماذج المرجعية.
  • تفشل مرشحات الارتباك في التمييز بين المستندات المعادية المقترحة والمستندات الطبيعية في المرتبة الأولى، بينما تكتشف هجمات HotFlip بسهولة.
• الكفاءة:
  • وقت التوليد: ~100–130 ثانية لكل مستند.
  • النموذج المرجعي HotFlip: ~450–770 ثانية لكل مستند (باستخدام كود مسرع).

5. الأهمية والآثار المترتبة

• هشاشة الاسترجاع الكثيف: تثبت الدراسة أن حتى نماذج الاسترجاع الكثيف المتطورة (SOTA) معرضة بشدة لتسميم المتون غير الخاضع للإشراف، حتى بدون معرفة بالاستعلامات.
• الآثار الدفاعية: يشير انخفاض درجة الارتباك في الهجمات إلى أن التصفية البسيطة القائمة على الارتباك (وهي وسيلة دفاع شائعة) غير كافية. يجب على المدافعين البحث عن شذوذ أكثر دقة أو استخدام التدريب العدائي.
• التدريب العدائي (Adversarial Training): يوضح المؤلفون أن طريقتهم الفعالة يمكن استخدامها لتوليد عينات سلبية واسعة النطاق من أجل التدريب العدائي. تظهر النتائج الأولية أن ضبط النماذج الدقيق (Fine-tuning) باستخدام هذه الأمثلة المعادية يقلل من معدل نجاح الهجوم بنسبة ~7.9% دون تدهور في أداء الاسترجاع الطبيعي.
• نموذج تهديد واقعي: من خلال إزالة افتراض معرفة الاستعلامات، تنقل الورقة المجال نحو نماذج تهديد أكثر واقعية، مما يسلط الضೆء على الحاجة إلى المتانة ضد توزيعات الاستعلامات المجهولة.

في الختام، تقدم هذه الورقة ناقل هجوم فعال للغاية، متخفٍ، وفعال ضد أنظمة الاسترجاع الكثيف، مما يتحدى بشكل أساسي متانة نماذج الاسترجاع الحالية ويستلزم استراتيجيات دفاعية جديدة.