🤖 machine learning

Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems

تقدم هذه الورقة البحثية "Semantic Chameleon"، وهو هجوم تسميم للمجموعات النصية موجّه بالتدرج يعمل على التلاعب بمخرجات أنظمة استرجاع المعلومات المعززة بالتوليد (RAG) عبر تحسين مستندات مزدوجة لاختطاف عملية الاسترجاع، مما يثبت أنه في حين أن الاسترجاع الهجين يخفف بفعالية من حدة الهجمات على الأنظمة التي تعتمد على المتجهات فقط، فإن الحمولات المحسنة بشكل مشترك لا تزال قادرة على تجاوز هذه الدفاعات جزئياً، مع تفاوت معدلات النجاح بشكل كبير عبر عائلات النماذج اللغوية الكبيرة ومجموعات البيانات المختلفة.

المؤلفون الأصليون: Scott Thornton

نُشر 2026-03-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Scott Thornton

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً ومفيداً للغاية (ذكاء اصطناعي) بارع في الإجابة على الأسئلة، لكنه لا يعرف كل شيء عن العالم. ولإصلاح ذلك، تمنحه مكتبة ضخمة من الكتب ("المتن" أو الـ corpus) للبحث عن المعلومات فيها قبل الإجابة. تُسمى هذه العملية RAG (التوليد المعزز بالاسترجاع).

ورقة بحثية بعنوان "الحرباء الدلالية" (Semantic Chameleon) هي تقرير أمني حول كيفية تسلل الأشرار إلى تلك المكتبة، وإخفاء كتب مزيفة، وخداع المساعد لتقديم إجابات خطيرة. ولكن الأهم من ذلك، أنها تكتشف أن نوع المكتبة التي تمتلكها يهم بقدر أهمية حارس الأمن الذي توظفه.

إليك التفاصيل بتبسيط شديد:

1. الهجوم: كتب "حصان طروادة"

وجد الباحثون طريقة تمكن المخترقين من حقن نوعين محددين من الكتب "المسمومة" داخل المكتبة:

النائم (The Sleeper): كتاب يبدو طبيعياً ومملاً تماماً. يتحدث عن مواضيع مشروعة ولكنه يحتوي على "خطافات" مخفية (مثل عبارات معينة) تجعله يبدو مشابهاً لهدف المخترق في عقل الكمبيوتر.
المُحفّز (The Trigger): كتاب يبدو طبيعياً في البداية، ولكنه يحتوي على التعليمات الخبيثة الفعلية (مثل "كيفية تجاوز الأمن") مخبأة في الداخل.

كيف يعمل الأمر: عندما يطرح المستخدم سؤالاً محدداً، يجد محرك بحث الذكاء الاصطناعي الكتاب "النائم" أولاً لأنه يبدو مشابهاً للموضوع. ثم يقرأ الذكاء الاصطناعي "المُحفّز" المرتبط به ويتبع التعليمات السيئة عن طريق الخطأ.

2. الاكتشاف الكبير: المكتبة هي الأهم (تأثير "الحرباء")

كانت المفاجأة الكبرى في الورقة البحثية هي أن أين تضع هذه الكتب المزيفة يغير كل شيء. لقد اختبروا ذلك في نوعين مختلفين من "المكتبات":

المكتبة العامة (ويكيبيديا): تخيل مكتبة تحتوي على كتب عن كل شيء—الطبخ، التاريخ، الفضاء.
- النتيجة: إذا حاول مخترق إدخال كتاب عن "الاختراق"، فسيبرز كعلامة نيون ساطعة. سيقوم محرك البحث فوراً بتمييزه كشيء غريب لأن كلمة "اختراق" نادراً ما تظهر في كتاب طبخ. يفشل الهجوم لأن الكتاب المزيف يُكشف فوراً.
المكتبة التقنية (Security Stack Exchange): تخيل مكتبة مليئة بكتيبات الكمبيوتر المعقدة ووثائق الأمن.
- النتيجة: هنا، كلمات مثل "تجاوز" (bypass)، "حقن" (injection)، و"ثغرة" (exploit) هي كلمات شائعة. الكتاب المزيف يندمج هناك بشكل مثالي، مثل حرباء تغير لونها لتتطابق مع أوراق الشجر. لا يستطيع محرك البحث التمييز بين دليل أمني حقيقي ودليل مزيف. ينجح الهجوم هنا بشكل أفضل.

الدرس المستفاد: الدفاع الذي يعمل على مكتبة عامة قد يفشل تماماً أمام مكتبة تقنية. لا يمكنك استخدام قاعدة أمنية واحدة تناسب الجميع.

‌3. الحل: نظام "التحقق المزدوج" (الاسترجاع الهجين)

اختبر الباحثون حلاً بسيطاً: الاسترجاع الهجين (Hybrid Retrieval).

تخيل محرك البحث كأنه أمين مكتبة.

الطريقة القديمة (البحث المتجهي - Vector Search): أمين المكتبة ينظر فقط إلى "جوهر" أو "معنى" الكلمات. "هل يشعر أن هذا الكتاب ينتمي للمكان؟" إذا نجح المخترق في تقليد "الجوهر" بدقة، فسيسمح له بالدخول.
الطريقة الجديدة (البحث الهجين - Hybrid Search): أصبح أمين المكتبة الآن يستخدم طريقتين:
1. فحص الجوهر (Vibe Check): هل يبدو الشعور العام صحيحاً؟ (البحث المتجهي)
2. فحص الكلمات المفتاحية: هل يحتوي الكتاب فعلياً على الكلمات المحددة التي طلبها المستخدم؟ (بحث BM25)

النتيجة: كان المخترقون بارعين في تقليد "الجوهر"، لكنهم لم يستطيعوا مطابقة الكلمات المفتاحية المحددة بدقة دون جعل الكتاب يبدو مريباً. من خلال إجبار أمين المكتبة على استخدام كلا الطريقتين، تم رفض الكتب المزيفة بنسبة 100% ضد الهجمات القياسية.

4. المخترق الذكي مقابل التحقق المزدوج

سأل الباحثون: "ماذا لو كان المخترق ذكياً جداً وحاول التلاعب بكلا النظامين؟"

حاولوا كتابة كتب تبدو صحيًا في الجوهر وتحتوي أيضاً على الكلمات المفتاحية الصحيحة.
النتيجة: استطاعوا إدخال الكتب إلى المكتبة بنسبة تتراوح بين 20 إلى 44% تقريباً. لم يكن دفاعاً مثالياً، لكنه جعل المهمة أصعب بكثير على المخترق. لقد رفع "سقف الهجوم" بشكل كبير.

5. شخصية الذكاء الاصطناعي تهم أيضاً

اختبروا هذا ضد خمسة نماذج مختلفة من الذكاء الاصطناعي (مثل شخصيات مختلفة للمساعدين):

الذكاء الاصطناعي "الصارم" (Claude): حتى لو وجد الكتاب السيئ، فإنه يرفض اتباع التعليمات السيئة. إنه مثل كلب حراسة ينبح على المتسلل لكنه لا يهاجم صاحب المنزل.
الذكاء الاصطناعي "المتساهل" (Llama): هذا النوع كان من السهل جداً خداعه. إذا وجد الكتاب السيئ، فإنه يتبع التعليمات بسعادة.
الذكاء الاصطناعي "الجديد" (GPT-5.3): أفضل من النماذج القديمة، لكنه لا يزال يُخدع في نصف الحالات تقريباً.

الخلاصة: لا يمكنك الاعتماد فقط على كون الذكاء الاصطناعي "آمناً". أنت بحاجة لتأمين المكتبة (البحث) وتدريب الذكاء الاصطناعي أيضاً.

ملخص للشخص العادي

يمكن للمخترقين إخفاء تعليمات سيئة داخل وثائق تبدو طبيعية في قاعدة معرفة الذكاء الاصطناعي الخاص بك.
السياق هو الملك: إذا كان الذكاء الاصطناعي الخاص بك يعمل مع مصطلحات تقنية، فمن الصعب اكتشاف هذه الاختراقات لأن الكلمات السيئة تبدو طبيعية. أما إذا كان يعمل مع مواضيع عامة، فستبرز الكلمات السييرة بوضوح.
أفضل دفاع: لا تعتمد على نوع واحد من البحث فقط. استخدم نظاماً هجيناً يتحقق من كل من المعنى والكلمات الدقيقة. هذا التغيير البسيط أوقف جميع الهجمات القياسية تقريباً في الدراسة.
الدفاع متعدد الطبقات: حتى مع وجود نظام بحث جيد، تحتاج لمعرفة أي نموذج ذكاء اصطناعي تستخدم، حيث أن بعض النماذج أسهل بكثير في الخداع من غيرها.

باختختصار: للحفاظ على سلامة الذكاء الاصطناعي الخاص بك، تحتاج إلى أمين مكتبة ذكي يتحقق من كل من "الجوهر" و"الكلمات المفتاحية"، وعليك أن تدرك أن بعض المكتبات أصعب في الحماية من غيرها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems" (الحرباء الدلالية: هجمات التسميم المعتمدة على المتون والدفاعات في أنظمة RAG).

1. بيان المشكلة

تعمل أنظمة التوليد المعزز بالاسترجاع (RAG) على تعزيز النماذج اللغوية الكبيرة (LLMs) بمعرفة خارجية، لكنها تقدم سطح هجوم حرجًا: آلية الاسترجاع. يمكن للمهاجمين حقن مستندات مسمومة في قاعدة المعرفة للتلاعب بمخرجات النموذج دون تغيير أوزان النموذج أو مطالبات النظام (System Prompts).

تحدد الورقة فجوة في الأبحاث الحالية: بينما من المعروف أن هجمات التسميم ممكنة، فإن تكوين المتن (Corpus Composition) (نطاق المفردات وقاموس قاعدة المعرفة) نادرًا ما يُعامل كمتغير أمني أساسي. يفترض المؤلفون أن فعالية كل من الهجمات والدفاعات تختلف بشكل كبير اعتمادًا على ما إذا كان المتن تقنيًا (مفردات متخصصة) أو عامًا (موسوعيًا).

2. المنهجية

تصميم الهجوم: التسميم عبر المستند المزدوج

يستخدم المؤلفون استراتيجية المستند المزدوج التي تم تحسينها عبر الاشتقاق الإحداثي الجشع (Greedy Coordinate Gradient - GCG) لتجاوز فلاتر الاسترجاع:

المستند النائم (Sleeper Document): يحتوي على محتوى حميد في الغالب مع "خطافات دلالية" محددة لسد الفجوة بين المفاهيم الحميدة ونطاق الهجوم، مما يضمن التخفي (استرجاع منخفض عند الاستعلام عن مواضيع حميدة).
مستند المحفز (Trigger Document): يحتوي على الحمولة الضارة، مسبوقة ببادئة حميدة للحفاظ على التماسك الدلالي مع المستند النائم.
التحسين: يعمل المهاجم على تعظيم تشابه جيب التمام (Cosine Similarity) في فضاء التضمين (Embedding Space) للاستعلامات المستهدفة، مع تقليل التشابه للاستعلامات الحميدة.

الإعداد التجريبي

المتون (Corpora):
- Security Stack Exchange (تقني): 67,941 مستندًا بمفردات أمنية متخصصة.
- FEVER Wikipedia (عام): 96,561 مقالًا موسوعيًا بمفردات واسعة.
- دراسة حالة إنتاجية: 156,777 مستندًا من مورد رئيسي لأمن الشبكات.
بنيات الاسترجاع:
- ناقل نقي (Pure Vector): استرجاع كثيف فقط.
- استرجاع هجين (Hybrid Retrieval): مزيج مرجح من درجات BM25 (متناثر/كلمات مفتاحية) ودرجات المتجه (كثيف): $score = \alpha \cdot \hat{v} + (1-\alpha) \cdot \hat{b}$ .
النماذج اللغوية الكبيرة (LLMs) التي تم تقييمها: خمسة نماذج عبر أربعة مزودين (GPT-5.3، GPT-4o، GPT-4o-mini، Claude Sonnet 4.6، Llama 4).
المقاييس: الاسترجاع المشترك (Co-retrieval لكلا المستندين)، التخفي (Stealth - انخفاض الاسترجاع في الاستعلامات الحميدة)، والنجاح الإجمالي (الاسترجاع المشترك + التخفي).

3. المساهمات الرئيسية

الاسترجاع الهجين كدفاع بنيوي: تثبت الورقة أن المسترجع الهجين البسيط (BM25 + Vector) يعد دفاعًا فعالًا للغاية كخط دفاع أول ضد التسميم الموجه بالاشتقاق، حيث يقلل نجاح الهجوم من 38% إلى 0% في العديد من السيناريوهات.
أمن يعتمد على المتن: تؤسس الدراسة أن نطاق المتن يحدد توازن الهجوم والدفاع. تسمح المتون التقنية بتخفٍ عالٍ ولكن بنجاح استرجاع منخفض، بينما تسمح المتون العامة باسترجاع عالٍ ولكن بتخفٍ صفري بسبب الشذوذ في المفردات.
تحليل المرونة متعدد النماذج: يقيم المؤلفون سلسلة الهجوم الكاملة عبر خمسة نماذج، كاشفين أن نضج تدريب السلامة يتباين بشكل جذري بين النماذج، حيث تكون النماذج ذات الأوزان المفتوحة (Llama 4) أكثر عرضة للخطر بشكل ملحوظ من النماذج المملوكة (Proprietary).
التحقق على نطاق الإنتاج: تؤكد دراسة حالة أولية على متن مورد حقيقي أن الهجمات التي تم تحسينها لمتن معين لا تنتقل إلى متن آخر دون تكيف.

4. النتائج الرئيسية

أ. فعالية الهجوم المعتمدة على المتن

Security Stack Exchange (تقني): حقق 66.7% تخفٍ ولكن 11.1% فقط نجاح إجمالي. المفردات المتخصصة "تمتص" مصطلحات الهجوم، مما يجعلها أقل شذوذًا، لكن التخصص الدلالي يجعل الاسترجاع المشترك صعبًا.
FEVER Wikipedia (عام): حقق 100% استرجاع مشترك ولكن 0% تخفٍ. مصطلحات الهجوم (مثل "bypass"، "injection") تعتبر شاذة للغاية في النصوص العامة، مما يؤدي إلى استرجاع المستندات بشكل عشوائي عند الاستعلامات الحميدة.
فجوة الكشف: تتباين صعوبة الكشف بمقدار 13-62 ضعفًا بين المتون. الكشف القائم على الكلمات المفتاحية يفشل في المتون التقنية ولكنه يعمل بشكل مثالي في المتون العامة.

ب. أداء دفاع الاسترجاع الهجين

الهجمات الموجهة بالاشتقاق فقط: قلل الاسترجاع الهجين (باستخدام $\alpha \le 0.5$ ) نجاح الهجوم الموجه بالاشتقاق من 38% (ناقل نقي) إلى 0% عبر جميع الأوزان المختبرة. مكون BM25 يقوم بفلترة المستندات المسمومة التي تفتقر للكلمات المفتاحية رغم تشابهها الدلالي.
التحسين المشترك (هجوم متقدم): عندما يقوم المهاجمون بتحسين العمليات لكل من القنوات المتناثرة (BM25) والكثيفة (Vector) في آن واحد، يتم تجاوز الاسترجاع الهجين جزئيًا، محققًا 20-44% نجاح. ومع ذلك، يظل هذا أقل بكثير من نسبة النجاح البالغة 38% في أنظمة المتجه النقي.
حقن الكلمات المفتاحية: فشلت محاولات حقن الكلمات المفتاحية لإرضاء BM25 في الحفاظ على التخفي، حيث أدت كثافة الكلمات المفتاحية العالية إلى تفعيل كشف الشذوذ.

ج. التقييم النهائي متعدد النماذج

تفاوتت معدلات نجاح الهجوم بشكل كبير حسب النموذج، حتى عند استرجاع المستندات المسمومة بنجاح:

Llama 4 Instruct: حقق 93.3% نجاح هجوم، و 93.3% انتهاكات سلامة. (الأكثر عرضة للخطر).
GPT-5.3: حقق 46.7% نجاح هجوم، و 33.3% انتهاكات سلامة. (الأكثر صمودًا).
Claude Sonnet 4.6: حقق 60.0% نجاح هجوم، ولكن 6.7% فقط انتهاكات سلامة. (تدريب السلامة القوي يمنع المخرجات القابلة للتنفيذ رغم الاسترجاع).
الاستنتاج: سلامة النموذج ضرورية ولكنها غير كافية؛ الدفاعات على مستوى الاسترجاع أمر بالغ الأهمية.

د. إشارات الكشف

تفاضل نمط الاستعلام (QPD): هو الطريقة الأكثر قوة في الكشف عبر المتون. يقيس نسبة تكرار استرجاع المستند في الاستعلامات الحساسة مقابل الحميدة. أظهر أصغر فجوة بين المتون (3.7×) مقارنة بالطرق الثابتة مثل شذوذ الكلمات المفتاحية (فجوة 40×).

5. الأهمية والتوصيات

التحول البنيوي: تجادل الورقة بأن الأمن في RAG لا ينبغي أن يعتمد فقط على تدريب سلامة LLM أو الكشف بعد الاسترجاع. بد بدلاً من ذلك، يجب تحصين بنية الاسترجاع نفسها.
الدفاع الفوري: يوصي المؤلفون بنشر الاسترجاع الهجين مع $\alpha \le 0.5$ (إعطاء الأولوية لـ BM25 أو التوزين المتوازن) كدفاع أول يمكن نشره فورًا. هذا يلغي معظم الهجمات الشائعة الموجهة بالاشتقاق.
النهج متعدد الطبقات: بالنسبة للمهاجمين المتطورين الذين يستخدمون التحسين المشترك، يجب تعزيز الاسترجاع الهجين بـ مراقبة QPD وتقييم صارم لسلامة المستوى الخاص بالنموذج.
آثار الاختبار المعياري: يجب أن تقوم اختبارات الأمان المستقبلية لـ RAG بتغيير نطاقات المتون بشكل منهجي. فالدفاع الذي يعمل على المعرفة العامة (Wikipedia) قد يفشل أمام الوثائق التقنية، والعكس صحيح.

باختصار، توفر ورقة "Semantic Chameleon" دليلًا تجريبيًا على أن أمن RAG ليس مشكلة أحادية الجانب، بل يعتمد بعمق على التفاعل بين قاموس قاعدة المعرفة، وبنية الاسترجاع، وتدريب السلامة للنموذج المستهدف.