ملخص تقني: "شخص ما أخفاها!" - هجمات "الصندوق الأسود" غير المرتبطة بالاستعلام على الاسترجاع القائم على النماذج اللغوية الكبيرة (LLM)

1. صياغة المشكلة

تتناول الورقة البحثية الثغرات الأمنية في أنظمة الاسترجاع القائمة على النماذج اللغوية الكبيرة (LLMR)، والتي تعمل كركائز أساسية لأنظمة التوليد المعزز بالاسترجاع (RAG)، واسترجاع المعلومات (IR)، وذاكرة الوكيل (Agent Memory). وبينما أظهرت الأبحاث الحالية أن نظام LLMR عرضة للهجمات العدائية عبر حقن الرموز (token injection)، تعاني الطرق الحالية من قصور حرج في جانبين يتعلقان بالواقع العملي:

1. افتراضات الصندوق الأبيض: تتطلب معظم الهجمات الحالية وصولاً كاملاً إلى معلمات النموذج الضحية أو بنيته.
2. معرفة الاستعلام: تفترض الطرق الحالية غالباً أن المهاجم يعرف استعلام المستخدم المحدد أو لديه إمكانية الوصول إلى مجموعة مستندات النموذج الضحية.

في سيناريوهات "الصندوق الأسود" الواقعية، يفتقر المهاجمون عادةً إلى المعرفة بالنموذج الضحية، ومجموعة المستندات المخفية، واستعلامات المستخدم المحددة (التي يتم إنشاؤها بعد الهجوم). علاوة على ذلك، يمتلك المهاجمون قدرات محدودة، مثل مستخدم عادي (على سبيل المثال، مساهم في ويكيبيديا) يمكنه فقط القراءة والتعديل الطفيف على المستند.

المشكلة الجوهرية: هل يمكن للمهاجم بنجاح إخفاء مستند ضحية محدد من مسترجع يعتمد على LLM في إطار "الصندوق الأسود" الكامل؟ يجب على المهاجم التلاعب بالمستند (عبر حقن الرموز) دون معرفة النموذج الضحي، أو استعلام المستخدم، أو مجموعة المستندات الكاملة، بحيث يفشل المستند في الظهور في نتائج الـ $k$-الأعلى لأي استعلام ذي صلة.

2. المنهجية

يقترح المؤلفون طريقة هجوم "الصندوق الأسود" غير المرتبط بالاستعلام التي تولد رموز حقن قابلة للنقل باستخدام نموذج لغوي بديل (surrogate LLM). وتعتمد المنهجية على إطار نظري وآلية تعلم عدائية.

2.1 الإطار النظري: المسترجع دقيق $\epsilon$-$p_\epsilon$

وضع المؤلفون أولاً تعريفاً نظرياً لقياس سلوك مسترجعي LLM. حيث عرّفوا المسترجع الدقيق $\epsilon$-$p_\epsilon$ بأنه نظام، بالنسبة لتوزيع موضوع معين، تكون فيه نسبة $p_\epsilon$ من السياقات ضمن نفس الموضوع ذات تشابه في التضمين (embedding similarities) أعلى بمقدار $\epsilon$ على الأقل من التشابه بين سياقات المواضيع المختلفة.

• التحقق التجريبي: تؤكد التجارب باستخدام تحليل المكونات الرئيسية (PCA) على تضمينات 24 موضوعاً أن النماذج اللغوية الكبيرة تقوم طبيعياً بتجميع سياقات الموضوع الواحد في فضاء التضمين، مما يؤكد صحة هذا الافتراض.

2.2 القابلية للنقل عبر تحسين الحد الأدنى-الأقصى (Min-Max Optimization)

لتحقيق هجوم الصندوق الأسود، تستخدم الطريقة نموذجاً بديلاً ($g$) لتقريب النموذج الضحية ($f$). ويتم صياغة الهجوم كمسألة حد أدنى-أقصى:

• الهدف: تقليل التشابه بين المستند المعدل $d'$ والاستعلام $q$.
• التحدي: بما أن $q$ غير معروف، يقرب المؤلفون الهدف عن طريق تعظيم التشابه بين $d'$ ومجموعة من الاستعلامات المأخوذة عشوائياً $X$ ضمن نفس الموضوع.
• النظرية 3.2 (القابلية للنقل): يثبت المؤلفون أنه إذا كان النموذج البديل $g$ دقيقاً بمقدار $\epsilon_g$-$p_{g\epsilon}$، وقام الهجوم بتحسين $d'$ بحيث يكون تشابهه مع الاستعلامات المأخوذة أقل من الحد الأدنى للتشابه داخل عنقود الموضوع، فإن $d'$ سيتم دفعه على الأرجح خارج نتائج الـ $k$-الأعلى للنموذج الضحية $f$ (بافتراض أن $f$ دقيق أيضاً).

2.3 التعلم العدائي بين المستند والاستعلام (DQ-A)

لحل مسألة الحد الأدنى-الأقصى دون معرفة الاستعلام الحقيقي، اقترح المؤلفون إطار تعلم الوثيقة-الاستعلام العدائي (DQ-A):

1. أخذ عينات الاستعلام: يقوم نموذج لغوي ثالث "عابر" (casual) بتوليد $N$ من الاستعلامات المحتملة المتنوعة ($S$) المتعلقة بموضوع المستند الضحية.
2. التحسين العدائي:
   • تحسين المستند: يتم تحسين الرموز المحقونة في المستند الضحية لـ تقليل التشابه مع الاستعلامات المأخوذة.
   • تحسين الاستعلام: يتم تحسين الاستعلامات المأخوذة لـ تعظيم التشابه مع المستند الضحية (باعتبارها مولداً لـ "السلبيات الصعبة" أو hard negatives).
3. فرق الجمهرة (Population Difference): بدلاً من استخدام معدلات التعلم لموازنة الحلقات الداخلية (الاستعلام) والخارجية (المستند)، تستخدم الطريقة فرق الجمهرة. فهي تقوم بتحسين مجموعة من $N$ من الاستعلامات المتنوعة ضد مستند واحد، مما يحاكي تأثير معدل تعلم أكبر لجانب الاستعلام.

2.4 استراتيجية بديل تضمين الكلمات (Word-Embedding Surrogate)

الابتكار التقني الرئيسي هو استخدام تضمينات الكلمات (مخرجات طبقة التضمين الأولى) بدلاً من الحالات الخفية الأخيرة (آخر كتلة Transformer) كبديل للتعلم العدائي.

• المبرر: تشير النتائج التجريبية إلى أن تحسين المسافات في الطبقات الضحلة (تضمينات الكلمات) يعطي هجمات أكثر فعالية وقابلية للنقل على تضمينات الاسترجاع النهائية مقارنة بتحسين الطبقات العميقة مباشرة. ويعزى ذلك إلى العدد الهائل من المعلمات في النماذج اللغوية الكبيرة، حيث يكون لتأثير الاضطرابات في الطبقات الضحلة تأثير أكثر قوة على فضاء التمثيل النهائي.

3. المساهمات الرئيسية

1. إطار هجوم الصندوق الأسود: تقدم الورقة أول طريقة هجوم صندوق أسود كاملة لـ LLMR لا تتطلب أي معرفة بالنموذج الضحية، أو مجموعة مستندات الضحية، أو استعلامات المستخدم. وهي تحاكي مهاجماً واقعياً لا يمكنه سوى تعديل المستندات.
2. الأساس النظري: وضعت الورقة إطاراً نظرياً ($\epsilon$-$p_\epsilon$-Precise Retriever) وقدمت أدلة تجريبية على أن تضمينات LLM تتجمع حسب الموضوع، وهو ما يشكل أساس إثبات قابلية نقل الهجوم.
3. آلية تعلم DQ-A: قدم المؤلفون آلية تعلم عدائية مبتكرة تقوم بتحسين المستندات الضحية والاستعلامات المأخوذة بشكل مشترك باستخدام نهج قائم على الجمهرة للتعامل مع تحديات التحسين غير المحدب.
4. استراتيجية البديل: حددت الورقة وأثبتت أن استخدام تضمينات الكلمات كبديل للتدريب العدائي يحسن بشكل كبير من قابلية نقل الهجوم مقارم استخدام الحالات الخفية الأخيرة.
5. القابلية للنقل بـ "صفر محاولة" (Zero-Shot Transferability): أظهرت الطريقة أن الرموز المحقونة في مستند يمكنها في الوقت نفسه إضعاف أداء الاسترجاع عبر مختلف نماذج الاسترجاع (مثل Qwen, Mistral, Jina, Gemma) دون إعادة تدريب أو ضبط خاص بالنموذج.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات مرجعية (الاقتصاد، علم النفس، البيولوجيا، الروبوتات) من معيار BRIGHT ضد سبعة من أشهر مسترجعي LLM (بما في ذلك Qwen-1.5, SFR-Mistral, E5-Mistral, Embedding-Gemma, Jina, Granite, و Qwen3).

• تأثير الأداء: تفوقت الطريقة المقترحة (DQ-A) باستمرار على الخطوط المرجعية الحالية (GCG, PRADA, Poisoned-RAG).
  • حققت انخفاضاً متوسطاً في الأداء بنسبة 2%–10% في Recall@25 و 1%–7% في Recall@50 عبر معظم النماذج.
  • في حالات محددة (مثل مجموعة بيانات الروبوتات على Qwen1.5)، تسبب الهجوم في انخفاض بنسبة 8% في Recall@50، مما يمثل انخفاضاً بنسبة ~30% في أداء النموذج الأصلي.
• دراسات الاستئصال (Ablation Studies):
  • التعلم العدائي: أدى إزالة تحسين الاستعلام العدائي (S-GCG) إلى انخفاض كبير في نجاح الهجوم، مما يؤكد صحة تصميم DQ-A.
  • طبقة البديل: تفوق استخدام تضمينات الكلمات (DQ-A) على استخدام الحالات الخفية الأخيرة (DQ-A-H) في معظم السيناريوهات.
  • حجم العينة: أدى زيادة عدد الاستعلامات المأخوذة ($|S|$) إلى تحسين الأداء حتى نقطة معينة (حوالي 10)، بعد ذلك لوحظ تناقص في العوائد.
  • موضع الحقن: كانت الهجمات أكثر فعالية عندما تم حقن الرموز في بداية أو نهاية المستند، بينما كان المنتصف أقل فعالية، وهو ما يتوافق مع آليات الانتباه (attention mechanisms) في Transformer.
• المتانة: ظل الهجوم فعالاً حتى عندما كان المسترجع مقترناً بنموذج إعادة ترتيب (reranker)، لأن الهجوم يستبعد المستند من قائمة المرشحين قبل أن يتمكن نموذج إعادة الترتيب من العمل.

5. الأهمية والادعاءات

تدعي الورقة أن عملها يكشف عن نمط فشل حرج لم يتم استكشافه كفاية في أنظمة الاسترجاع القائمة على LLM.

• الصلة بالواقع: من خلال العمل تحت قيود "الصندوق الأسود" الصارمة (لا معرفة بالاستعلام، ولا وصول للنموذج)، يسلط الهجوم الضوء على ثغرة موجودة في سيناريوهات النشر العملية، مثل ويكيبيديا العامة أو منتديات النقاش حيث يمكن تعديل المحتوى من قبل مستخدمين غير موثوقين.
• الآثار الأوسع: يشير المؤلفون إلى أن مشكلات المتانة المحددة قد لا تنبع فقط من الهجمات الخبيثة، بل قد تنشأ أيضاً من تعديلات المستندات الحميدة أو غير المقصودة في العالم الحقيقي. فإذا كانت تحديثات المحتوى القياسية يمكن أن تدفع المستندات عن غير قصد خارج عناقيد الاسترجاع، فإن موثوقية أنظمة LLMR ستكون محل تحدٍ جوهري.
• فجوة الدفاع: تصرح الورقة صراحةً أن آليات الدفاع الحالية (التي تركز على اكتشاف تسميم المجموعة أو إعادة الترتيب بعد الاسترجاع) غير كافية لهذا النوع من هجمات "التقليل". وهي تدعو إلى استراتيجيات دفاع جديدة تركز على بناء آليات استرجاع قوية بحد ذاتها، بدلاً من مجرد اكتشاف المخرات المسمومة.

يحافظ المؤلفون على نبرة متواضعة، مع الإقرار بأنه رغم فعالية الهجوم، إلا أن الهدف منه هو توصيف ثغرات النظام لإبلاغ تطوير أنظمة أكثر متانة، وليس للترويج لإساءة الاستخدام العدائية. كما يشيرون إلى أن تعزيز مستندات معينة باستخدام نسخة عكسية من الهجوم أمر ممكن، ولكنه حالياً محدود الفعالية.