Adversarial Hubness Detector: Detecting Hubness Poisoning in Retrieval-Augmented Generation Systems

1. بيان المشكلة: تسميم المركزية (Hubness Poisoning) في أنظمة RAG

تعتمد أنظمة التوليد المعزز بالاسترجاع (RAG) على البحث عن التشابه الشعاعي لاسترجاع السياق ذي الصلة للنماذج اللغوية الكبيرة (LLMs). وثمة ثغرة أمنية حرجة، وغالباً ما يتم تجاهلها، في هذه الأنظمة وهي المركزية (Hubness).

• التعريف: في فضاءات التضمين عالية الأبعاد، تُعد "المراكز" (hubs) نقاط بيانات محددة تظهر كأقرب جيران لعدد كبير بشكل غير متناسب من النقاط الأخرى.
• التهديد: بينما يمكن أن تحدث المركزية بشكل طبيعي، يمكن للمهاجمين تعمد إنشاء مراكز عدائية (adversarial hubs). فمن خلال حقن وثيقة خبيثة واحدة في قاعدة بيانات المتجهات، يمكن للمهاجم إجبار هذه الوثيقة على الظهور في نتائج الـ $k$-الأعلى لآلاف الاستعلامات غير المرتبطة بها دلالياً.
• الأثر: يتيح ذلك تسميم الاسترجاع الشامل (universal retrieval poisoning)، مما يسمح للمهاجمين بـ:
  • حقن محتوى ضار أو مضلل في استعلامات مستخدمين متنوعة.
  • تجاوز فلاتر المحتوى.
  • تنفيذ هجمات حقن الأوامر غير المباشرة (التلاعب بسلوك النماذج اللغوية عبر العديد من المستخدمين).
  • تسهيل تسريب البيانات (مثل هجوم "GeminiJack").
• تحديات الكشف:
  • المتانة الإحصائية: المراكز هي قيم متطرفة تؤدي إلى انحراف حسابات المتوسط والتباين القياسية.
  • خصوصية النطاق: يمكن للمهاجمين إنشاء مراكز لا تنشط إلا لمواضيع محددة (مثل "النصائح الطبية")، مما يسهل التهرب من الكشف العالمي.
  • الهجمات متعددة الوسائط: في الأنظمة متعددة الوسائط، يمكن تصميم عناصر لتظهر كأنها ذات صلة باستعلامات في وسيط مختلف (على سبيل المثال، وثيقة نصية تظهر لاستعلامات صورية).

2. المنهجية: كاشف المركزية العدائية (Adversarial Hubness Detector - AHD)

يقترح المؤلفون نظام كاشف المركزية العدائية (AHD)، وهو ماسح أمني مفتوح المصدر مصمم لتحديد وتنبيه وجود هذه المراكز الخبيثة. يستخدم النظام بنية كاشف متعددة تحلل مؤشرات المتجهات من خلال أربعة عدسات متكاملة.

أ. بنية النظام

تتضمن سلسلة العمليات ما يلي:

1. تحميل البيانات: استيعاب التضمينات من قواعد بيانات المتجهات المدعومة (FAISS, Pinecone, Qdrant, Weaviate).
2. أخذ عينات الاستعلام: توليد استعلامات تمثيلية باستخدام استراتيجية مختلطة (مراكز العناقيد عبر MiniBatch K-Means، وأخذ عينات العناصر العشوائية، واستعلامات المستخدمين الحقيقية).
3. تنفيذ الاسترجاع: تشغيل استعلامات $k$-NN وتجميع "عدّات الضربات" (hit counts) لكل وثيقة.
4. الكشف والتقييم: تشغيل كواشف متعددة ودمج مخرجاتها في درجة مخاطر موزونة.
5. الحكم: تصنيف الوثائق إلى مخاطر عالية، متوسطة، أو منخفضة.

ب. خوارزميات الكشف الأساسية

1. كاشف المركزية (إحصائي):
   • يحسب تكرار ظهور الوثيقة في نتائج الـ $k$-الأعلى.
   • يستخدم الوسيط والانحراف المطلق عن الوسيط (MAD) لحساب درجات $z$-score قوية، لتجنب التشوه الناتج عن القيم المتطرفة.
   • يحدد الوثائق التي تتجاوز معدلات مركزيتها 5-10 انحرافات معيارية فوق الوسيط.
2. كاشف انتشار العنقود (Cluster Spread Detector):
   • يحلل ما إذا كان المركز يسترجع استعلامات من عناقيد دلالية متنوعة.
   • يحسب إنتروبيا شانون (Shannon Entropy) للضربات عبر عناقيد الاستعلام. تشير الإنتروبيا العالية (القريبة من 1.0) إلى "مركز شامل" ينتشر عبر مواضيع غير مترابطة.
3. كاشف الاستقرار (Stability Detector):
   • يختبر المتانة عن طريق إضافة ضوضاء غاوسية (Gaussian noise) إلى تضمينات الاستعلام.
   • المراكز العدائية (المركزية هندسياً) تحافظ على معدلات ضربات عالية تحت تأثير الاضطراب، بينما تنزاح العناصر العادية.
4. كاشف إزالة التكرار (Deduplication Detector):
   • يحدد مجموعات المراكز شبه المكررة التي تم حقنها للتهرب من عتبات الوثيقة الواحدة.

ج. أوضاع الكشف المتقدمة

• الكشف المدرك للنطاق (Domain-Aware Detection): بدلاً من المسح العالمي، يقوم النظام بتجميع الاستعلامات حسب النطاق الدلالي (عبر البيانات الوصفية أو التجميع) ويحسب المركزية لكل نطاق. هذا يكشف عن المراكز "المحلية" التي تهيمن على مجال محدد (مثل التمويل) ولكنها غير مرئية عالمياً. يستخدم النظام معامل جيني (Gini Coefficient) لقياس التركيز.
• الكشف المدرك للوسائط (Modality-Aware Detection): مخصص للأنظمة متعددة الوسائط، حيث يتتبع "الضربات عبر الوسائط" (على سبيل المثال، عنصر نصي يتم استرجاعه لاستعلام صورة) للكشف عن الهجمات التي تستغل الحدود بين الوسائط.

د. التخفيف (Mitigation)

بمجرد تحديد العنصر، يقترح AHD التخفيف عبر:

• الإزالة أو الحجر الصحي للعنصر.
• إعادة التصنيف (Re-ranking): تطبيق عقوبة على درجة التشابه للعناصر التي تم رصدها لدفعها إلى أسفل قائمة النتائج دون كسر الفهرس.

3. المساهمات الرئيسية

1. أول نظام كشف شامل: أول أداة مصممة خصيصاً لكشف المركزية العدائية في أنظمة RAG الإنتاجية.
2. إطار إحصائي قوي: تطبيق مبتكر لدرجات $z$-score القائمة على MAD للتعامل مع الانحراف الشديد في توزيعات المراكز.
3. بنية كاشف متعددة: تجمع بين تحليل التكرار، انتشار العناقيد، اختبار الاستقرار، وإزالة التكرار لتحقيق دفاع متعدد الطبقات.
4. الإدراك للنطاق والوسائط: قدرات لكشف الهجمات التي تستهدف موضوعات محددة أو تستغل استرجاع الوسائط المتعددة.
5. الجاهزية للإنتاج: التكامل مع قواعد بيانات المتجهات الرئيسية ودعم خطوط البحث الهجين وإعادة التصنيف.
6. مفتوح المصدر: التنفيذ الكامل وسكريبتات الاختبار تم إصدارها تحت رخصة Apache 2.0.

4. النتائج التجريبية

تم تقييم النظام باستخدام معايير Food-101 و MS-COCO و FiQA باستخدام أحدث طرق توليد المراكز المحسنة بالتدرج (Zhang et al.).

• أداء الكشف:
  • حقق استدعاءً (recall) بنسبة 90% عند ميزانية تنبيه قدرها 0.2% (مراجعة أعلى 0.2% من الوثائق فقط).
  • حقق استدعاءً بنسبة 100% عند ميزانية تنبيه قدرها 0.4%.
  • تصنف المراكز العدائية باستمرار فوق المئوية 99.8 من الدرجات.
• دراسات الاستئصال (Ablation Studies):
  • وفر كاشف انتشار العنقود دفعة حاسمة (+10-20 نقطة مئوية في الاستدعاء) للهجمات الشاملة.
  • نجح كاشف الاستقرار في تحديد المراكز "الهشة" القائمة على المركزية والتي أفلتت من الكواشف الأخرى.
  • استعاد المسح المخصص للنطاق 100% من الهجمات المستهدفة التي فُقدت بسبب المسح العالمي نتيجة تشبع الميزانية.
• التحقق من الإنتاج (MS MARCO):
  • تم الاختبار على مليون وثيقة ويب حقيقية.
  • أظهر فصلاً في الدرجات بمقدار 5.8 ضعف بين الوثائق النظيفة (المئوية 99) والمراكز العدائية.
  • أكد انخفاض التكاليف التشغيلية (0.1%) وإمكانية النشر على نطاق الويب.
• حدود التوسع: يظل الكشف مثالياً (AUC=1.0) عندما يكون المحتوى العدائي $\le$ 2% من المجموعة. يتدهور الأداء قليلاً مع زيادة نسبة المحتوى في المجموعة، ولكن مثل هذه الهجمات عالية الحجم يمكن اكتشافها عبر المراقبة البسيطة.

5. الأهمية

يعالج هذا العمل فجوة أمنية حرجة في منظومة RAG. ومع تحول أنظمة RAG إلى معيار للمعرفة المؤسسية والمساعدين الذكيين، فإن خطر "البرمجيات التحفيزية" (Promptware) وتسميم الاسترجاع يزدل.

• دفاع عملي: يوفر AHD إطاراً عملياً وقابلاً للتوسع لتدقيق فهارس المتجهات قبل نشرها أو دمجها في النماذج اللغوية الكبيرة.
• تحول في النموذج: ينقل الأمن من مجرد تصفية المحتوى التفاعلية إلى التحليل الهيكلي الاستباقي لفضاء التضمين.
• نظام بيئي مفتوح: من خلال إصدار الأداة والمعايوهات، يُمكّن المؤلفون المجتمع من تدقيق أنظمة RAG الخاصة بهم وتطوير دفاعات إضافية ضد استراتيجيات الخصوم المتطورة.

يخلص البحث إلى أنه بينما تشكل الخصوم التكيفية تحديات، فإن الجمع بين الكشف عن الشذوذ الإحصائي، والإدراك للنطاق، واختبار الاستقرار يوفر دفاعاً قوياً ضد تقنيات تسميم المركزية الحالية.