PIDP-Attack: Combining Prompt Injection with Database Poisoning Attacks on Retrieval-Augmented Generation Systems

إليك ملخص تقني مفصل لورقة البحث بعنوان "PIDP-Attack: الجمع بين حقن الأوامر (Prompt Injection) وتسميم قواعد البيانات (Database Poisoning) على أنظمة التوليد المعزز بالاسترجاع (RAG)."

1. بيان المشكلة

تُستخدم أنظمة التوليد المعزز بالاسترجاع (RAG) على نطاق واسع للتخفيف من حدة الهلوسة وفجوات المعرفة في النماذج اللغوية الكبيرة (LLMs) من خلال ربط الاستجابات بقواعد بيانات خارجية. ومع ذلك، تفرض هذه الأنظمة ثغرات أمنية جديدة. تعاني نواقل الهجوم الحالية من قيود كبيرة:

• تسميم البيانات (مثل PoisonedRAG): يتطلب من المهاجم معرفة استعلام المستخدم المحدد مسبقًا لصياغة فقرات مسمومة مطابقة. وهذا يحد من المرونة في السيناريوهات الواقعية الديناميكية حيث تكون الاستعلامات غير متوقعة.
• حقن الأوامر (مثل GCG وGGPP): يعتمد فقط على التلاعب بمدخلات المستخدم لاختطاف النموذج. وبدون وجود أدلة داعمة من قاعدة بيانات الاسترجاع، غالبًا ما تفشل هذه الهجمات لأن النموذج اللغوي الكبير يتجاهل التعليمات التي تتعارض مع السياق المسترجع.
• متطلبات الصندوق الأبيض (White-box): تتطلب العديد من الطرق الحالية الوصول إلى معاملات النموذج الداخلية (الصندوق الأبيض)، وهو أمر غير واقعي في عمليات النشر الحقيقية حيث تكون النماذج والمسترجعات عبارة عن واجهات برمجة تطبيقات (APIs) "صندوق أسود".

الفجوة الجوهرية: هناك نقص في الهجوم المرن الذي يعمل بنظام "الصندوق الأسود" والذي يمكنه التلاعب باستجابات RAG لأي استعلامات مستخدم عشوائية دون معرفة مسبقة بتلك الاستعلامات، مع الحفاظ على معدلات نجاح عالية.

2. المنهجية: PIDP-Attack

يقترح المؤلفون PIDP-Attack (حقن الأوامر وتسميم قاعدة البيانات)، وهو هجوم مركب بنظام الصندوق الأسود يدمج بين سطحين هجوميين متعامدين: التلاعب بمسار الاستعلام (Query-Path) والتلاعب بمسار المتن (Corpus-Path).

أ. نموذج التهديد

• قدرات المهاجم:
  1. مسار الاستعلام: يمكنه إلحاق لاحقة خبيثة ($\delta$) بأي استعلام مستخدم في وقت الاستدلال (على سبيل المثال، عبر وكيل أو إضافة مخترقة).
  2. مسار المتن: يمكنه حقن عدد صغير من الفقرات المعادية ($n$) في قاعدة بيانات الاسترجاع.
• القيود: لا يعرف المهاجم استعلام الضحية ($q$) مسبقًا، ولا يمكنه تعديل أوزان النموذج، ويعامل المسترجع والمولد كصناديق سوداء.
• الهدف: إجبار النظام على إخراج إجابة مستهدفة خاطئة محددة ($a^-$) لسؤال مستهدف ($S$)، بغض النظر عن استعلام المستخدم الفعلي $q$.

ب. آلية الهجوم

يعمل الهجوم في مرحلتين:

1. التحضير في وضع عدم الاتصال (تسميم قاعدة البيانات):

   • يختار المهاجم سؤالاً مستهدفاً $S$ وإجابة خاطئة $a^-$.
   • باستخدام نموذج لغوي كبير مساعد، يقوم بتوليد $n$ من "الفقرات المسمومة". يتم هيكلة كل فقرة كالتالي: $S$ (السؤال المستهدف) $\oplus$ نقطة $\oplus$ جسم معادٍ ($b_i$) يدعم $a^-$.
   • يتم حقن هذه الفقرات في متن الاسترجاع. يضمن تضمين $S$ في البداية محاكاة دلالية عالية للاستعلام المحقون لاحقاً.

2. الهجوم في وضع الاتصال (حقن الأوامر في مسار الاستعلام):

   • عندما يقدم مستخدم استعلامًا عشوائيًا $q$، يقوم المهاجم بإلحاق لاحقة حقن ثابتة $\delta(S)$.
   • تحتوي اللاحقة عادةً على تعليم يطلب تجاهل السياق السابق والإجابة على $S$، متبوعًا بـ $S$ نفسها.
   • توجيه الاسترجاع: تعمل الاستعلام المعدل $q' = q \oplus \delta(S)$ على إزاحة فضاء التضمين (embedding space)، مما يجعل المسترجع يعطي الأولوية للفقرات المسمومة (التي تبدأ بـ $S$) على الوثائق النظيفة.
   • توجيه التوليد: يحتوي السياق المسترجع الآن على الفقرات المسمومة التي تدعم $a^-$، ويأمر الأمر (prompt) صراحةً النموذج اللغوي بالإجابة على $S$. يتم إجبار النموذج اللغوي على توليد $a^-$.

ج. نظرة عامة على الخوارزمية

• المدخلات: السؤال المستهدف $S$، الإجابة المستهدفة $a^-$، ميزانية السم $n$.
• العملية:
  1. توليد الفقرات المسمومة $P = \{S \cdot b_i\}$.
  2. حقن $P$ في قاعدة البيانات.
  3. لأي استعلام وارد $q$، يتم إنشاء $q' = q \oplus \delta(S)$.
  4. استرجاع أفضل $k$ من الوثائق (التي من المرجح أن تحتوي على $P$).
  5. توليد الاستجابة $y = G(q', \text{Context})$.
• شرط النجاح: تحتوي المخرجات $y$ على السلسلة النصية $a^-$.

3. المساهمات الرئيسية

1. استراتيجية مركبة مبتكرة: قدمت PIDP-Attack، وهي أول طريقة تجمع بين حقن الأوامر وتسميم قاعدة البيانات لتحقيق هجمات غير مرتبطة بالاستعلام (query-agnostic). إنها تلغي الحاجة إلى المعرفة المسبقة باستعلامات المستخدم.
2. كفاءة عالية: يتطلب الهجوم حقن عدد صغير فقط من الفقرات المسمومة ($n$)، والتي تساوي عادةً قيمة top-$k$ للمسترجع، للتلاعب بالاستجابات لأي استعلام.
3. قابلية التنفيذ في الصندوق الأسود: تعمل الطريقة بالكامل في بيئة الصندوق الأسود، ولا تتطلب الوصول إلى معاملات النموذج أو التدرجات الداخلية.
4. تقييم شامل: اختبار مكثف عبر ثلاثة مجموعات بيانات (Natural Questions, HotpotQA, MS-MARCO) وثمانية نماذج لغوية كبيرة رائدة.

4. النتائج التجريبية

قام المؤلفون بتقييم PIDP-Attack مقابل خمسة خطوط أساس (PoisonedRAG, Disinformation Attack, GGPP, GCG, Corpus) ومتغير استئصالي (Clean-RAG).

• معدل نجاح الهجوم (ASR):
  • حققت PIDP-Attack متوسط ASR قدره 98.125%، متفوقة بشكل كبير على جميع الخطوط الأساسية.
  • تفوقت على خط الأساس القوي PoisonedRAG بنسبة 4%–16% في مهام الأسئلة والأجوبة مفتوحة المجال.
  • في Natural Questions، حققت PIDP نجاحًا شبه كامل (100%) في معظم النماذج، بينما فشلت الهجمات أحادية المتجه (حقن الأوامر فقط أو التسميم فقط) غالبًا (ASR <1%) تحت شروط المطابقة الصارمة.
• مقاييس الاسترجاع:
  • ضمن الهجوم المركب ظهور الفقرات المسمومة في سياق top-$k$ بدقة عالية (درجات F1 > 0.99 في NQ وHotpotQA).
  • يؤكد هذا أن اللاحقة المحقونة توجه الاسترجاع بنجاح نحو البيانات المسمومة.
• دراسات الاستئصال (Ablation Studies):
  • الحقن فقط (بدون تسميم): فشل في إنتاج الإجابة المستهدفة المحددة، رغم أنه استطاع توجيه الموضوع.
  • Clean-RAG (بدون تسميم، مع استعلام محقون): أظهر توجيهاً موضوعياً عالياً ولكن نجاحاً منخفضاً في توليد الإجابة الخاطئة المحددة بدون أدلة مسمومة.
  • حساسية الميزانية:
    • ميزانية السم ($n$): يصل النجاح إلى حالة التشبع بسرعة؛ حيث يكفي $n=2$ غالباً لتحقيق ASR مرتفع في مجموعات البيانات النظيفة، رغم أن مجموعات البيانات الضوضائية (MS-MARCO) تتطلب $n$ أعلى.
    • ميزانية السياق ($k$): يمكن أن يؤدي زيادة $k$ أحيانًا إلى تخفيف الهجوم (خفض ASR) إذا طغت الفقرات النظيرة على الفقرات المسمومة، مما يسلط الضوء على المقايضة في تكوين RAG.

5. الأهمية والآثار المترتبة

• الثغرة الأمنية: توضح الورقة أن تأمين النموذج اللغوي أو قاعدة البيانات بشكل منفصل ليس كافيًا. يجب حماية مسار RAG بأكمله (الاستعلام $\leftarrow$ الاسترجاع $\leftarrow$ التوليد).
• تهديد واقعي: القدرة على مهاجمة الاستعلامات العشوائية دون معرفتها مسبقًا تجعل هذا الهجوم عالي القابلية للتوسع وخفيًا للغاية في عمليات النشر الواقعية.
• توصيات الدفاع:
  • تنقية الاستعلام (Query Sanitization): يجب على الأنظمة اكتشاف وإزالة اللواحق الشاذة من مدخلات المستخدم.
  • مصدر المتن (Corpus Provenance): من الضروري وجود مصادقة وتدقيق صارم لقنوات إدخال البيانات لمنع التسميم.
  • مراقبة السياق: يجب أن تراقب الدفاعات السياقات المسترجعة بحثًا عن أنماط تعليمات غير موثوقة غير مرتبطة دلاليًا باستعلام المستخدم الأصلي.
• العمل المستقبلي: يقترح المؤلفون توسيع ذلك ليشمل أنظمة RAG متعددة الوسائط وتطوير دفاعات مثل الكشف القائم على الارتياب (perplexity-based detection) أو إعادة كتابة الاستعلام لتحديد التحولات الدلالية الدقيقة.

في الختام، يكشف PIDP-Attack عن خلل حرج في بنيات RAG الحالية: الافتراض بأن فصل النموذج عن قاعدة البيانات يضمن السلامة. من خلال الجمع بين التلاعب بالاستعلام وتسميم قاعدة البيانات، يمكن للمهاجمين اختطاف مخرجات النظام بفعالية لأي مدخل، مما يستلزم تدابير أمنية شاملة ومتكاملة.