ملخص تقني: SilentRetrieval

بيان المشكلة

تعتمد أنظمة التوليد المعزز بالاسترجاع (RAG) على سلامة مجموعات المعرفة الخارجية الخاصة بها للتخفيف من حدة "هلوسة" النماذج اللغوية الكبيرة (LLMs). ومع ذلك، فإن هذا الاعتماد يخلق ثغرة أمنية حرجة: إذا تمكن خصم من حقن وثائق خبيثة في المجموعة، فبإمكانه السيطرة على عملية الاسترجاع ومن ثم التلاعب بتوليد النموذج اللغوي الكبير.

تواجه الهجمات العدائية السابقة على أنظمة RAG مقايضة مستمرة بين فعالية الاسترجاع، والتلاعب بالتوليد، والتخفي. الطرق الموجودة غالباً ما تنتج مخرجات يسهل اكتشافها:

• التحسين القائم على التدرج (Gradient-based optimization) (مثل AGGD وGASLITE) يحقق سيطرة قوية على الاسترجاع، ولكنه غالباً ما يفشل في التلاعب بمرحلة التوليد بفعالية أو يفتقر إلى قيود الطلاقة.
• هجمات المسترجع والمولد المشتركة (Joint retriever-generator attacks) (مثل Joint-GCG وPoisonedRAG) تتلاعب بالتوليد جيداً، لكنها تنتج نصوصاً ذات درجة تعقيد (Perplexity) عالية (PPL > 150)، مما يجعلها عرضة لمرشحات التعقيد البسيطة.
• فك التشفير العدائي (Adversarial decoding) يحافظ على الطلاقة ولكنه يعمل في وقت التوليد بدلاً من تسميم المتن (Corpus poisoning).

التحدكم الجوهري هو بناء هجوم تسميم بيانات يحقق في آن واحد اختطاف الاسترجاع، والتلاعب بمخرجات النموذج اللغوي الكبير، ويظل أقل إثارة للريبة بشكل ملحوظ من النماذج المرجعية السابقة تحت الفلاتر الآلية أو الفحص البشري.

المنهجية: SilentRetrieval

يقترح المؤلفون إطار عمل لتسميم البيانات من مرحلتين يُسمى SilentRetrieval، صُمم لتحسين الاستهداف للاختطاف والاسترجاع مع الالتزام الصارم بميزانية الطلاقة.

المرحلة 1: البحث الشعاعي المنسق (Coordinated Beam Search - CBS)

تعمل هذه المرحلة على تحسين "وثيقة مضيفة" (Host document) ذات صلة موضوعياً لضمان بقائها قابلة للاسترجاع بعد إدراج حمولة ضارة. على عكس النهج السابق القائم على اختيار التوكن الواحد بطريقة جشعة، يقوم CBS بعملية تحسين مشترك لعدة توكنات.

• الهدف: مسألة تعظيم معاقبة (Penalized maximization) توازن بين تشابه التضمين (Embedding similarity) وعقوبة انتهاك الطلاقة:
  $$d_{opt} = \arg \max_{d \in T} \text{sim}(E(q_{target}), E(d)) - \lambda \cdot \max(0, \text{PPL}(d) - \tau_{ppl})$$
• الآلية:
  1. المرشحون الموجهون بالتدرج: تقوم التدرجات من المسترجع وإشارة استدلالية من نموذج التعقيد (PPL) باقتراح تعديلات مرشحة للتوكنات.
  2. البحث الشعاعي المنسق: تختار الخوارزمية أفضل $M$ من المواضع بناءً على مقدار التدرج وتبني شعاعاً (Beam) فوق الفضاء المشترك لـ $M \times K$ من الاستبدالات المرشحة.
  3. التقييم: يتم إجراء تقييم كامل للهدف (بما في ذلك PPL عبر GPT-2) على مرشحي الشعاع. تُرفض المرشحون التي تتجاوز ميزانية PPL ($\tau_{ppl} = 50$).
• الهدف: تهيئة الوثيقة المضيفة بحيث لا يؤدي الإدراج اللاحق لحمولة تحمل الهدف إلى انهيار رتبة استرجاع الوثيقة.

المرحلة 2: توليد المحفز المتكيف مع السياق (Context-Adaptive Trigger Generation - CATG)

بدلاً من إلحاق قوالب محفزات ثابتة، تستخدم هذه المرحلة نموذج لغوي كبير مجمد (Llama-2-7B-Chat) لتوليد محفز يتكامل سياقياً مع الوثيقة المُحسنة.

• التخليق: يتم توجيه النموذج اللغوي لمواصلة الوثيقة المُحسنة ($d_{opt}$) بجملة تدمج الادعاء المستهدف ($a_{target}$) بشكل طبيعي، مع مطابقة أسلوب النص، ومفردات المجال، والنبرة السردية.
• الفلترة: تخضع المحفزات المولدة لثلاث بوابات جودة:
  1. الاستلزام (Entailment): يجب أن يستلزم المحفز الإجابة المستهدفة (يتم التحقق عبر نموذج NLI).
  2. الترابط (Coherence): يجب أن يتجاوز تشابه جيب التمام (Cosine similarity) بين تضمينات المضيف والمحفز 0.7.
  3. بوابة PPL: يجب أن يحقق المستند العدائي المدمج ميزانية PPL.
• التأطير: يشجع الأمر (Prompt) على استخدام صياغة موثوقة (مثل "المصادر الموثقة") لاستغلال ميل النموذج اللغوي الكبير إلى التبعية للغة الواثقة في السياقات المسترجعة.

المساهمات الرئيسية

1. إطار هجوم من مرحلتين: تقديم CBS للتحسين متعدد التوكنات المقيد بالطلاقة، وCATG لدمج المحفز الخفيف والمتكيف مع السياق.
2. تقييم شامل: التقييم على مجموعة بيانات Natural Questions (NQ, 361K passage) وMS MARCO (8.8M passages) تحت بروتوكول وثيقة واحدة موحد. تتضمن الدراسة قابلية التعميم عبر النماذج (4 نماذج لغوية كبيرة)، وهجمات النقل عبر الوسيط (Surrogate-transfer attacks) ضد مسترجعات غير مرئية (بما في ذلك التضمينات التجارية)، وتحليل القابلية للتوسع حتى 21 مليون وثيقة.
3. التحليل الدفاعي والتكيفي: التقي وتقييم الدفاعات من جانب الاسترجاع (إعادة الترتيب، الاسترجاع الهجين) والدفاعات من جانب التوليد (عزل الفقرات)، جنباً إلى جنب مع هجوم تكيفي يدمج التحسين الواعي بالدفاع.
4. التقييم البشري: دراسة ($n=600$ وثيقة) تُظهر أن وثائق SilentRetrieval لديها معدلات تنبيه أقل بكثير من النماذج المرجعية ضعيفة الطلاقة.

النتائج التجريبية

الأداء الرئيسي

على مجموعة بيانات NQ (361K corpus)، يحقق SilentRetrieval:

• HR@10: بنسبة 84.6% (الأعلى بين النماذج المرجعية).
• ASR-LLM (معدل نجاح الهجوم عبر LLM-as-Judge): بنسبة 57.5%.
• التعقيد (PPL-G2): بنسبة 32.4 (قريب من الوثائق السليمة، مقارنة بـ 28.4 للوثائق السليمة).
• التخفي: 8.7% فقط من وثائق SilentRetrieval تم اكتشافها بواسطة تدقيق PPL مستقل ($\tau=50$)، مقارنة بـ 94.2% لـ Joint-GCG و83.3% لنموذج Zhong et al. المرجعي.

القابلية للتعميم والنقل

• عبر النماذج: يحافظ الهجوم على فعالية غير ضئيلة عبر أربعة نماذج لغوية كبيرة (Llama-2, Mistral, Qwen, GPT-3.5)، حيث يتراوح ASR-LLM بين 48.6% و57.5%.
• النقل عبر الوسيط: عند التحسين ضد مسترجع وسيط (Contriever) والاختبار ضد أنظمة مستهدفة غير مرئية (بما في ذلك ColBERTv2 والتضمينات التجارية مثل text-embedding-ada-0002)، يحافظ الهجوم على متوسط HR@10 يبلغ 64.7%.
• القابلية للتوسع: في تقييم عينة من 21 مليون وثيقة، ينخفض HR@10 إلى 74.2% عند نسبة تسميم قدرها 0.016%، مما يشير إلى أنه بينما يوفر توسيع المتن دفاعاً طبيعياً جزئياً، إلا أنه غير كافٍ لتحييد الهجوم تماماً.

فعالية الدفاع

• الدفاعات المشتركة: استراتيجية الدفاع متعددة الطبقات (الاسترجاع الهجين + إعادة ترتيب Cross-Encoder + عزل الفقرات) تقلل ASR-LLM إلى 21.3% (عند تأخير 11×) أو 25.6% (عند تأخير 6×).
• الهجمات التكيفية: يستعيد الهجوم التكيفي الذي يتم تحسينه ضد مُعيد ترتيب محدد (MiniLM-L6-v2) حوالي 6.2% من HR@10 مقارنة بالهجوم غير التكيفي تحت نفس الدفاع، مما يسلط الضوء على سباق تسلح ناشئ.

التقييم البشري

في دراسة شملت 10 مُقيمين، تم تصنيف وثائق SilentRetrieval على أنها مشبوهة في 14.7% من الحالات، وهي نسبة أقل بكثير من PoisonedRAG (56.7%) وZhong et al. (83.3%). وبينما لم يكن الفرق بين SilentRetrieval (14.7%) والمحتوى السليم (7.3%) ذا دلالة إحصائية عند $\alpha=0.05$ ($p \approx 0.064$)، إلا أن الاتجاه يشير إلى وجود فجوة يمكن اكتشافها قد تتسع مع أحجام العينات الأكبر.

الأهمية والادعاءات

يزعم البحث أن SilentRetrieval يضع معياراً جديداً للأداء في مقايضة (التخفي-الفعالية) لهجمات تسميم RAG. وتكمن أهميته الأساسية في إثبات أن:

1. سلامة المتن هي مصدر قلق أمني من الدرجة الأولى: الهجمات التي تحافظ على الطلاقة يمكنها تجاوز عمليات تدقيق PPL البسيطة، وهي أصعب بكثير في الكشف عنها بشرياً من الهجمات السابقة ضعيفة الطلاقة.
2. الدفاعات متعددة الطبقات ضرورية: لا يوجد دفاع واحد كافٍ؛ بل يجب الجمع بين إعادة ترتيب جانب الاسترجاع، والاسترجاع الهجين، وعزل الفقرات من جانب التوليد للتخفيف بشكل كبير من التهديد.
3. حد التخفي-الفعالية هو عدسة تقييم حاسمة: مقارنات معدل نجاح الهجوم (ASR) الخام دون تطبيع التعقيد (Perplexity normalization) تخفي القدرة الفعلية على اكتشاف الهجمات. يحقق SilentRetrieval أداءً قوياً مع الحفاظ على تعقيد قريب من الطبيعي، مما يتحدى الافتراض بأن الهجمات عالية الفعالية يجب أن تكون صاخبة أو واضحة.

يؤكد المؤلفون أن عملهم هو إفصاح مسؤول باستخدام أهداف اصطناعية على معايير قياسية لتحفيز دفاعات أقوى، وليس مجرد عرض لإمكانية الحقن في العالم الحقيقي.