💻 computer science

Retrieved But Not Reliable: A Survey on Attacks, and Defenses in Retrieval-Augmented Generation

تقدم هذه الدراسة المسحية نظرة عامة موحدة ومدركة لمراحل العمل (pipeline-aware) حول متانة التوليد المعزز بالاسترجاع (RAG) من خلال صياغة نماذج التهديد، وتصنيف الهجمات إلى أهداف تتعلق بالدقة والخصوصية والعدالة، ومراجعة الدفاعات الخاصة بكل مرحلة، والمعايير المرجعية، وطرق التفسيرية.

المؤلفون الأصليون: Minh Tran, Cuong Dang, Tuc Nguyen, Khanh-Tung Tran, Minh Huynh Nguyen, Trinh Chau, Kien Le, Do Xuan Long, Jiahao Zhang, Hoang D. Nguyen, Thanh Le, Suhang Wang

نُشر 2026-08-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Minh Tran, Cuong Dang, Tuc Nguyen, Khanh-Tung Tran, Minh Huynh Nguyen, Trinh Chau, Kien Le, Do Xuan Long, Jiahao Zhang, Hoang D. Nguyen, Thanh Le, Suhang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في المشهد الرقمي الحديث، تطور الذكاء الاصطناعي من مجرد روبوت دردشة بسيط إلى مساعد بحث متطور. يمكن لنماذج اللغات الكبيرة هذه كتابة الأكواد البرمجية، وتلخيص التقارات المعقدة، والإجابة على الأسئلة المتشعبة. ومع ذلك، عانت هذه النماذج لسنوات من خلل مستمر: وهو أنها كانت غالبًا ما تخترع حقائق بيقين تام. ولإصلاح ذلك، طور المهندسون نظامًا يسمى "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation). فبدلاً من الاعتماد فقط على المعلومات التي تم حفظها أثناء التدريب، يقوم النظام أولاً بالبحث في مكتبة خارجية ضخمة من المستندات، ويستخرج الحقائق الأكثر صلة، ثم يستخدم تلك الحقائق لبناء إجابته. هذا النهج يربط الذكاء الاصطناعي بالواقع، مما يجعله أكثر دقة وأقل عرضة لتأليف الأمور. ومع ذلك، فإن هذه الآلية ذاتها للوصول إلى العالم الخارجي تفرض مجموعة جديدة من الثغرات. فتمامًا كما يمكن تخريب مكتبة عن طريق قيام شخص ما بتسلل كتاب مزور ووضعه على الرفوف، يمكن تسميم قاعدة المعرفة الخارجية للذكاء الاصطناعي، مما يؤدي بالمنظومة إلى استرجاع معلومات خاطئة وتوليد مخرجات ضارة أو غير صحيحة.

يرسم مسح شامل جديد أجراه باحثون من مؤسسات تشمل جامعة العلوم في مدينة هو تشي منهه وجامعة ولاية بنسلفانيا، معالم هذه المخاطر الناشئة والدفاعات التي تُبنى لمواجهتها. لم يكتفِ الفريق بسرد الهجمات فحسب؛ بل صاغوا إطارًا موحدًا لفهم كيفية استهداف المهاجمين لمراحل مختلفة من سير عمل الذكاء الاصطناعي. ووجدوا أن المهاجمين يسعون عمومًا لتحقيق ثلاثة أهداف رئيسية: إما جعل الذكاء الاصطناعي يعطي إجابة خاطئة، أو خداعه للكشف عن معلومات خاصة، أو الرغبة في تضخيم التحيزات غير العادلة ضد مجموعات معينة من الناس. وقد نظم الباحثون هذه التهديدات حسب مكان ضرباتها في سلسلة العمليات. نقطة الفشل الأولى هي عملية البحث نفسها، حيث قد يقوم المهاجم بحقن مستندات مضللة لضمان عثور الذكاء الاصطناعي على مواد مصدرية خاطئة. والثانية هي مرحلة التصنيف (Ranking)، حيث يقرر النظام أي المستندات التي تم العثور عليها هي الأكثر أهمية؛ وهنا، قد يحاول المهاجم رفع مستند مزيف ليظهر في أعلى القائمة. والثالثة هي مرحلة التوليد، حيث يكتب الذكاء الاصطناعي الاستجابة النهائية، والرابعة هي مرحلة التتبع (Traceback)، والتي تحاول تحديد المستند الذي تسبب في الخطأ بعد وقوعه.

يكشف المسح أن الطريقة الأكثر شيوعًا للهجوم تتضمن "تسميم المتن" (Corpus Poisoning)، حيث يقوم المهاجم بإدخال مستندات خبيثة في قاعدة البيانات الخارجية. هذه المستندات مصممة لتبدو كمصادر مشروعة ولكنها تحتوي على أخطاء دقيقة أو ادعاءات كاذبة. فعندما يبحث الذكاء الاصطناعي عن إجابة، فإنه يسترجع هذه المستندات المسمومة ويعاملها كحقائق. على سبيل المثال، يمكن لمهاجم أن يحقن مستندًا يدعي أن مضادًا حيويًا معينًا يعالج الإنفلونزا، مما يؤدي بالذكاء الاصطناعي إلى تقديم نصيحة طبية خطيرة بكل ثقة. وهناك تكتيك متطور آخر وهو "هجوم الباب الخلفي" (Backdoor Attack)، حيث يتم تدريب النظام أو التلاعب به ليتفاعل فقط عند وجود عبارة محفزة مخفية ومحددة. فإذا طرح المستخدم سؤالًا يحتوي على ذلك المحفز، يتجاهل الذكاء الاصطناعي جميع الأدلة الأخرى ويسترجع مستندًا خبيثًا تم زرعه مسبقًا لتوليد استجابة ضارة. كما فصل الباحثون هجمات "حقن الأوامر" (Prompt Injection)، حيث تُخفى تعليمات خبيثة داخل مستند مسترجع. وبمجرد أن يقرأ الذكاء الاصطناعي هذا المستند، فقد يفسر النص المخفي كأمر لتجاهل سؤال المستخدم الأصلي، وبدلاً من ذلك، يقوم بالكشف عن بيانات حساسة أو تنفيذ إجراء غير مصرح به.

وبعيدًا عن مجرد كسر النظام، يسلط المسح الضوء على كيفية تأثير هذه الهجمات على الخصوصية والعدالة. فمن حيث الخصوصية، يمكن للمهاجمين استخدام الذكاء الاصطناعي كأداة لاستخراج معلومات سرية من قاعدة البيانات. ومن خلال طرح أسئلة مصاغة بعناية، يمكنهم خداع النظام للكشف عن تفاصيل خاصة حول الأفراد أو المنظمات المخزنة في المستندات. وقد أظهرت دراسة واحدة استشهد بها المسح أن المهاجمين يمكنهم تحقيق نسبة نجاح تصل إلى 94% في تسريب مستندات محددة باستخدام محفز الباب الخلفي. وفيما يتعلق بالعدالة، وجد الباحثون أن المهاجمين يمكنهم تسميم قاعدة البيانات بمحتوى متحيز لتشويه مخرجات الذكاء الاصطناعي ضد مجموعات ديموغرافية معينة. فعلى سبيل المثال، من خلال حقن مستندات تربط بين أجناس معينة وسمات سلبية، يمكن التلاعب بالذكاء الاصطناعي لتوليد استجابات تعزز الصور النمطية الضارة، مما يؤدي فعليًا إلى تضخيم التحيزات المجتمعية من خلال عدسة الآلة.

ولمواجهة هذه التهديدات، راجع الباحثون مجموعة واسعة من استراتيجيات الدفاع، كل منها مصمم لمرحلة معينة من العملية. ففي مرحلة الاسترجاع، تركز الدفاعات على تنظيف قاعدة البيانات وجعل محرك البحث أكثر مقاومة للتلاعب، مثل تصفية المصادر منخفضة الجودة أو اكتشاف الأنماط غير العادية في النص. وفي مرحلة إعادة التصنيف، يتم تطوير أنظمة للتحقق المتقاطع بين مستندات متعددة واستبعاد تلك التي تبدو مشبوهة أو غير متسقة مع بقية الأدلة. أما في مرحلة التوليد، فيتم تعليم الذكاء الاصطناعي نفسه أن يكون أكثر تشككًا، بحيث يتعلم كيفية تحديد متى يتعارض مستند مسترجع مع الحقائق المعروفة أو متى يحتوي النص على تعليمات مخفية. وأخيرًا، في مرحلة التتبع، تظهر طرق جديدة يمكنها تتبع الإجابة الخاطئة وصولاً إلى المستند المحدد الذي تسبب فيها، مما يسم يسمح للمطورين بتحديد مصدر الخطأ وإزالته.

وعلى الرغم من هذه التطورات، يخلص المسح إلى أن هذا المجال لا يزال في مراحله الأولى ويواجه عقبات كبيرة. فالعديد من أساليب الدفاع الحالية تعتمد على امتلاك وصول كامل إلى الآليات الداخلية لنظام الذكاء الاصطناعي، وهو أمر نادر الحدوث في التطبيقات الواقعية حيث يكون النظام "صندوقًا أسود". علاوة على ذلك، هناك مقايضة مستمرة بين فعالية الهجوم ومدى وضوحه؛ فالهجمات عالية الفعالية غالبًا ما تنتج نصًا يبدو غير طبيعي، مما يجعل اكتشافها أسهر، بينما الهجمات المتخفية تكون أصعب في التنفيذ. كما أشار الباحثون إلى أنه مع تطور أنظمة الذكاء الاصطناعي للتعامل مع مهام أكثر تعقيدًا، مثل تحليل رسوم بيانية للبيانات أو معالجة الصور جنبًا إلى جنب مع النصوص، فمن المرجح أن تظهر ثغرات جديدة وغير متوقعة. إن الطريق إلى الأمام يتطلب دورة مستمرة من الاختبار والتحسين، لضمان أنه مع زيادة دمج هذه الأدوات القوية في حياتنا، تظل قوية وصامدة أمام أولئك الذين يسعون لاستغلالها.

ملخص تقني: مسترجع ولكن غير موثوق: مسح للهجمات والدفاعات في التوليد المعزز بالاسترجاع (RAG)

بيان المشكلة

تعمل أنظمة التوليد المعزز بالاسترجاع (RAG) على تعزيز النماذج اللغوية الكبيرة (LLMs) من خلال ربط مخرجاتها بمعرفة خارجية، بهدف تحسين الدقة الواقعية وتقليل الهلوسة. ومع ذلك، فإن إدخال خط معالجة الاسترجاع يخلق أسطح هجوم جديدة ومعقدة تختلف عن النماذج اللغوية الكبيرة المستقلة. يمكن للمهاجمين استغلال خط المعالجة لاستنتاج محتوى المجموعات الخاصة، أو حقن أدلة مضللة لإحداث مخرجات غير صحيحة، أو تضخيم التحيزات الديموغرافية. وبينما تتناول الأدبيات الحالية أمن RAG، فإن المسوحات الحالية غالبًا ما تكون مجزأة، وتفتقر إلى إطار عمل موحد يربط بين أهداف المهاجم، ونماذج التهديد، والدفاعات الخاصة بكل مرحلة عبر خط معالجة RAG بأكته (الاسترجاع، وإعادة التصنيف، والتوليد، والتتبع). علاوة على ذلك، فإن متغيرات RAG الناشئة (مثل GraphRAG وMultimodal RAG) تفرض قيودًا هيكلية تعيد تشكيل أسطح الهجوم ولكنها لا تزال غير مستكشفة بشكل كافٍ في السياقات الأمنية.

المنهجية

يستخدم هذا المسح منهجية نظامية لبناء نظرة عامة موحدة وواعية بخط المعالجة لمتانة RAG:

جمع الأدبيات: حدد المؤلفون الأوراق البحثية الأساسية (مثل PoisonedRAG، وTrojanRAG، وNeural Exec، وThe Good and the Bad) ووسعوا قاعدة البيانات عبر تتبع الاستشهادات والبحث بالكلمات المفتاحية (استرجاع، هجوم، دفاع، خصوصية، متانة).
تصميم التصنيف: يتم هيكلة المسح حول سؤالين حاسمين: ماذا يهدف المهاجم إلى اختراقه (الهدف) وأين يحدث الفشل في خط المعالجة (المرحلة).
- تُنظم الهجمات حسب الهدف: الدقة، والخصوصية، والعدالة.
- تُنظم الدفاعات حسب مرحلة خط المعالجة: الاسترجاع، وإعادة التصنيف، والتوليد، والتتبع.
نمذجة التهديدات: يصيغ المؤلفون نماذج التهديد بناءً على أهداف المهاجم (مستهدف مقابل غير مستهدف)، والمعرفة (الصندوق الأسود، الصندوق الرمادي، الصندوق الأبيض)، والقدرات (الوصول للإدراج فقط في المجموعة، أو الوصول للاستعلام في المسترجع/المولد).
توسيع النطاق: يمتد المسح إلى ما وراء RAG القياسي ليشمل متغيرات مثل GraphRG، وMultimodal RAG، وAgentic RAG، مع تحليل آثارها الأمنية المحددة.

المساهمات الرئيسية

1. نموذج تهديد موحد وتصنيف للهجمات

يصيغ البحث نماذج التهديد عبر المكونات الثلاثة الرئيسية لـ RAG: المجموعة ( $D$ )، والمسترجع ( $R$ )، والمولد ( $F$ ). تُصنف الهجمات إلى ثلاثة أهداف رئيسية:

هجمات الدقة: تهدف إلى إحداث مخرجات غير صحيحة أو ضارة.
- المستهدفة: إحداث إجابات خاطئة محددة عبر تسميم المجموعة (حقن وثائق مضللة)، أو هجمات الباب الخلفي (تفعيل سلوك ضار عبر محفزات)، أو حقن الأوامر (تضمين تعليمات قابلة للتنفيذ في الوثائق المسترجعة).
- غير المستهدفة: إضعاف موثوقية النظام بشكل عام أو تجاوز قيود السلامة عبر استعلامات متنوعة.
هجمات العدالة: إحداث أو تضخيم التفاوتات المنهجية (مثل النوع الاجتماعي أو العرق) عن طريق حقن أدلة متحيزة أو تسميم مشفرات الاستعلام لتتوافق المحفزات مع مجموعات ديموغرافية محددة.
هجمات الخصوصية: استخراج المعلومات الحساسة دون تغيير مخرجات النظام.
- المستهدفة: استنتاج العضوية (تحديد ما إذا كانت وثيقة ما موجودة في المجموعة)، واستخراج الخصوصية (إجبار النموذج على الكشف عن المحتوى الخاص المسترجع)، وسلوكيات "التابع المرتبك" (خداع الكيانات ذات الامتيازات المفرطة).
- غير المستهدفة: استخراج واسع النطاق لبيانات المجموعة المخفية عبر استعلامات الاستقصاء.

2. تصنيف الدفاعات الواعية بخط المعالجة

تُصنف الدفاعات حسب المرحلة التي تتدخل فيها:

مرحلة الاسترجاع: تركز على الاسترجاع المتين (الموارد التشخيصية، الاسترجاع المتمحور حول الأدلة، تطهير المجموعة) والتدريب المتين (التدريب على السلبيات الصعبة، التدريب على الاضطرابات منخفضة المستوى) لتحسين مجموعة الأدلة الأولية.
مرحلة إعادة التصنيف: تعمل على تنقية أفضل $k$ من المرشحين من خلال تعزيز الوثائق السليمة وقمع الوثائق المشبوهة باستخدام الاستدلال عبر الوثائق ورسوم البيوشبهية (مثل GRADA).
مرحلة التوليد: تعمل على مستوى LLM، وتنقسم إلى:
- استباقية: التصفية (القائمة على الاتساق، التأثير، والآلية) وآليات الكشف لتمييز المدخلات المسمومة قبل التوليد.
- سلبية: الاستدلال المتين (التوليد القائم على العزل، الاستدلال الواعي بالصراع) والتدريب المتين (التدريب الخصومي، المحاذاة، تدريب العقل الذاتي) للتخفيف من التأثير أثناء فك الترميز.
مرحلة التتبع: تُطبق بعد الفشل لتحديد المسؤولية. وتشمل الإسناد على مستوى السياق، ومستوى الوثيقة، ومستوى مجموعة البيانات لتحديد المصادر المحددة للمخرجات المضللة أو غير الآمنة.

3. تحليل متغيرات RAG الناشئة

يسلط المسح الضوء على كيفية تغيير البنى الجديدة لمشهد التهديدات:

GraphRAG: بينما قد يقلل فهرسة الرسم البياني من فعالية تسميم المجموعة القياسي، إلا أنه يقدم مخاطر جديدة مثل تسميم الكيانات/العلاقات واستخراج الخصوصية عبر إعادة بناء الرسم البياني الفرعي.
Multimodal RAG: يوسع أسطح الهجوم لتشمل أزواج الصور والنصوص، مما يسمح بتسميم المجموعة واستنتاج العضوية عبر الوسائط المتعددة.
Agentic RAG: يقدم حلقات حالة (stateful loops) حيث يمكن للهجمات أن تستمر في الذاكرة، أو تتلاعب باختيار الأدوات، أو تستغل ملاحظات الأدوات غير الموثوقة، مما ينقل الهدف الأمني من سلامة الإجابة إلى سلامة حلقة (الاسترجاع-الاستدلال-العمل-التحديث) بأكملها.

4. الاختبارات المعيارية والقابلية للتفسير

يلخص البحث اختبارات المتانة (مثل SafeRAG وURAG) التي تقيم أوضاع الفشل مثل تسميم المجموعة، وهشاشة الاسترجاع، وتضارب المعرفة. كما يراجع طرق التفسير (الإسناد، الآلية، الهيكلية، ومستوى النظام) التي تكشف لماذا يؤثر السياق المسموم على سلوك النموذج، مثل تفضيل سلاسل الأدلة المتماسكة أو التحول من سياسات السلامة الداخلية إلى تركيب الأدلة الخارجية.

النتائج والمكتشفات

الهشاشة: أنظمة RAG معرضة بشدة لتسميم المجموعة وحقن الأوامر، حيث يمكن للوثائق الضارة توجيه المولدات نحو أهداف محددة أو تسريب بيانات خاصة.
محدودية الدفاعات: غالبًا ما تكون الدفاعات الحالية مجزأة. يعتمد الكثير منها على افتراضات "الصندوق الأبيض" القوية التي لا تترجم إلى عمليات النشر في "الصندوق الأسود". كما أن طرق التتبع هي تشخيصية في الغلب لتكون وقائية.
المقايضات: هناك توتر بين سرية الهجوم وفعاليته؛ فالنصوص الخصومية المحسنة غالبًا ما تفتقر إلى الطبيعية الدلالية، مما يجعل اكتشافها ممكنًا. وبالمثل، فإن الهجمات العالمية تحسن القابلية للتوسع ولكنها قد تفقد الدقة مقارنة بالتحسينات الخاصة بالاستعلام.
المخاطر الناشئة: مخاطر الخصوصية في GraphRAG وMultimodal RAG لا تزال غير مستكشفة بشكل كافٍ، ويقدم Agentic RAG عواقب وخيمة حيث تؤدي الحالات المخترقة إلى إجراءات خارجية غير مصرح بها.

الأهمية والادعاءات

يضع المؤلفون هذا العمل كـ خارطة طريق لتطوير أنظمة RAG جديرة بالثقة. وتكمن أهميته في:

التوحيد: تقديم تصنيف شامل وواعٍ بخط المعالجة يربط أهداف الهجوم بمراحل الدفاع المحددة، معالجةً الفجوات في المسوحات السابقة التي قدمت تغطية شاملة للأبعاد الرئيسية (مثل الواقعية والمتانة) ولكنها قدمت تحليلاً محدودًا لهياكل الهجوم أو الدفاعات الخصومية.
الشمولية: تغطية ليس فقط RAG القياسي ولكن أيضًا المتغيرات الناشئة (GraphRAG، Agentic RAG) ودمج الاختبارات المعيارية وطرق التفسير.
التوجه المستقبلي: تسليط الضوء على التحديات المفتوحة، مثل عدم قابلية نقل الهجمات إلى بيئات الصندوق الأسود، والحاجة إلى هجمات أكثر سرية، وضرية الحاجة إلى إسناد دقيق للمصدر فيما يتعلق بتسريب الخصوصية.

يختتم البحث بالتزام بإنشاء مستودع عام لتتبع التطورات باستمرار في هذا المجال سريع التطور، مؤكدًا أن بناء أنظمة RAG متينة يتطلب فهمًا شاملاً لكامل عملية الاسترجاع المعزز.