Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

ملخص تقني: أهمية البنية الهيكلية: مقارنة أنظمة RAG تحت تأثير تسميم قاعدة المعرفة

بيان المشكلة
تعد أنظمة التوليد المعزز بالاسترجاع (RAG) عرضة لتسميم قاعدة المعرفة، حيث يقوم خصم بحقن مستند مصاغ بدقة للتلاعب بمخرجات النظام. وبينما قيمت الأدبيات الحالية على نطاق واسع هذه الهجمات ضد خطوط أنابيب "الاسترجاع ثم التوليد" التقليدية (vanilla)، لا تزال هناك فجوة حرجة: لم تُختبر البنى المصممة صراحة للتعامل مع المعلومات المتضاربة — مثل المناظرة متعددة الوكلاء (multi-agent debate)، والاسترجاع الوكيل (agentic retrieval)، والنماذج اللغوية التكرارية (recursive language models) — ضد التناقضات المحسنة خصيصاً للهجوم. علاوة على ذلك، تعتمد التقييمات السابقة غالباً على سيناريوهات تهيمن فيها المستندات المسمومة على سياق الاسترجاع (مثلاً $N=5$ من المستندات المسمومة من أصل $K=5$ مسترجعة)، مما يفشل في اختبار قدرة النظام على التفكير في مستند عدائي واحد يتعايش مع مصادر مشروعة ($N=1$).

المنهجية
تقيم الدراسة أربع بنى هيكلية متميزة لـ RAG تحت نموذج تهديد تسميم $N=1$ على 921 زوجاً من الأسئلة والأجوبة من مجموعة بيانات Natural Questions (NQ)، المسترجعة من متن ويكيبيديا المكون من 2.68 مليون فقرة باستخدام Contristver. تستخدم جميع الأنظمة نموذج GPT-5-mini كنموذج لغوي أساسي لعزل التأثيرات الهيكلية عن فروق قدرات النماذج.

البنى الأربع التي تم اختبارها هي:

1. RAG التقليدي (Vanilla RAG): خط أنابيب قياسي يتكون من مرحلة واحدة للاسترجاع ثم التوليد.
2. RAG الوكيل (Agentic RAG): تم تنفيذه عبر PydanticAI، مما يسمح للوكيل بالبحث بشكل تكراري، وإعادة صياغة الاستعلامات، وجمع الأدلة قبل الإجابة.
3. MADAM-RAG: نظام مناظرة متعدد الوكلاء حيث يتم تخصيص كل مستند مسترجع لوكيل مستقل للمداولة، يليه مجمع (aggregator) يقوم بتوليف الإجابة النهائية.
4. النماذج اللغوية التكرارية (RLM): نظام يعالج السياق الموضوعي الكامل (استرجاع أفضل 100 فقرة والتوسع ليشمل جميع الفقرات التي تشترك في عناوين المقالات، والتي تصل عادةً إلى ~2,600 فقرة) عبر التفكيك البرمجي والاستدعاءات التكرارية الفرعية.

يتم اختبار الأنظمة تحت ثلاثة ظروف:

• الأساس النظيف (Clean Baseline): لا توجد مستندات مسمومة.
• الحقن الساذج (Naive Injection): فقرة متناقضة مكتوبة بشكل طبيعي دون تحسين للاسترجاع.
• CorruptRAG-AK: هجوم عدائي يستخدم "التأطير الميتا-إبستمولوجي" (على سبيل المثال، "تشير العديد من المصادر القديمة بشكل غير صحيح... بينما تؤكد أحدث البيانات أن...") المصمم لتقويض مصداقية المصادر الصحيحة. يتضمن هذا الهجوم مكوناً محسناً للاسترجاع لضمان استرجاع المستند المسموم.

تشمل مقاييس التقييم معدل نجاح الهجوم (ASR)، مشروطاً بدقة النموذج في الحالة النظيفة لضمان مقارنة عادلة بين البنى، وتصنيفاً سلوكياً من سبع فئات (مثل: صحيح واثق، صحيح مع الكشف، التحوط، خاطئ واثق) يتم تقييمه عبر نموذج لغوي حكم (LLM judge).

المساهمات الرئيسية

1. أول تقييم للبنى المتقدمة: تقدم الورقة أول تقييم عدائي لبنى الوكيل، والمناظرة متعددة الوكلاء، والبنى التكرارية ضد تسميم قاعدة المعرفة، مما يسد الفجوة بين أدبيات التسميم وأدبيات التعامل مع التناقضات.
2. البنية كمتغير أساسي: تظهر الدراسة أن خيارات التصميم الهيكلي وحدها تنتج فارقاً يصل إلى 58 نقطة مئوية في معدلات نجاح الهجوم (من 81.9% لـ Vanilla إلى 24.4% لـ RLM) بين الأنظمة ذات دقة نظيفة متقاربة (~92%).
3. تفكيك نجاح الهجوم: يفكك المؤلفون الفارق في الأداء بين الهجمات الساذجة والعدائية إلى "تأثيرات الاسترجاع" (وصول السم إلى الاسترجاع) و"تأثيرات المحتوى" (مدى إقناع التأطير). ويجدون أنه بالنسبة لثلاثة من أربعة بنى، فإن الجزء الأكبر من الميزة العدائية ينبع من التأطير الميتا-إبستمولوجي في مرحلة التوليد، وليس من تحسين الاسترجاع.
4. التصنيف السلوكي: يقدم التصنيف المكون من سبع فئات أنماط الفشل بما يتجاوز الدقة الثنائية، بما في ذلك كشف التناقض، والتحوط، ومستويات الثقة.

النتائج

• تباين المتانة: تحت تأثير CorruptRAG-AK، يعاني Vanilla RAG من معدل نجاح هجوم (ASR) بنسبة 81.9% (مشروط بالدقة النظيفة)، بينما ينخفض في Agentic RAG إلى 43.8%، ويحقق RLM أعلى مستويات المتانة بنسبة 24.4%. يظهر MADAM-RAG معدل ASR بنسبة 45.5%، لكنه يعاني من تعقيد بسبب ارتفاع معدل عدم الإجابة (41.4% في المدخلات النظيفة)، مما يشير إلى مقايضة "آمن ولكن غير مفيد" حيث يرفض النظام الإجابة بدلاً من المخاطرة بالخطأ.
• نتائج التفكيك:
  • Vanilla RAG: تنقسم ميزة الهجوم بين الاسترجاع (18 نقطة) والمحتوى (32 نقطة).
  • Agentic RAG: الميزة مدفوعة بالمحتوى بشكل ساحق (~30 نقطة)، مع مساهمة ضئيلة للاسترجاع. ومن الملاحظ أن الحلقة الوكيلية تضخم التأطير العدائي، حيث تظهر علامات الميتا-إبستمولوجيا في 63% من الاستجابات الخاطئة.
  • RLM: تتركز فجوة الضعف بالكامل في مرحلة الاستدلال/المحتوى؛ حيث لا يوفر تحسين الاسترجاع أي ميزة إضافية للمهاجم.
  • MADAM-RAG: التأثير المحتوي غير قابل للتمييز إحصائياً عن الصفر. بمجرد استرجاع السم، لا يقدم التأطير العدائي أي ميزة مقارنة بالتناقض الساذج، مما يشير إلى أن بنية المناظرة تصفي اللغة الإقناعية. ومع ذلك، يفشل المجمع في حل التناقضات بشكل موثوق بغض النظر عن نوع التأطير.
• التحليل السلوكي: تفشل Vanilla RAG غالباً بكونها "خاطئة واثقة". يظهر Agentic RAG حالات فشل أكثر توزيعاً بما في ذلك التحوط. يظهر MADAM-RAG معدلات عالية من التحوط واستجابات "غير معروف"، مما يقلل من الأخطاء الواثقة ولكنه يقلل أيضاً من الفائدة. يحافظ RLM على أدنى معدل للإجابات الخاطئة الواثقة.

الأهمية والادعاءات
تجادل الورقة بأن الاختيار الهيكلي هو متغير عالي التأثير وغير مستكشف بشكل كافٍ في متانة RAG العدائية، وقد يكون أكثر أهمية من العديد من آليات الدفاع المخصصة. يدعي المؤلفون ما يلي:

• أولوية التصميم: يجب أن يكون اختيار بنية الاستدلال قرار تصميم متساوٍ في الأهمية مع اختيار آليات الدفاع. فقد يؤدي استخدام خط أنابيب تقليدي مع دفاعات متطورة إلى أداء أقل من خط أناض بسيط (وكيل أو تكراري) ضد التهديدات الواقعية.
• ارتباط نموذج التهديد: بالنسبة للفساد العضوي (المستندات القديمة)، يوفر Agentic RAG مقايضة قوية بين التكلفة والمتانة. ومع ذلك، ضد التأطير العدائي المتطور، لا يكفي Agentic RAG وحده، بينما يوفر RLM متانة فائقة، وإن كان ذلك بتكلفة زمن استجابة (latency) عالية.
• الضعف على مستوى التوليد: تكمن نقطة الضعف الرئيسية لمعظم البنى المتقدمة في مرحلة التوليد/الاستدلال (تأثير المحتوى)، وليس الاسترجاع. وهذا يحفز التركيز على دفاعات مستوى التوليد (مثل التلقين الدفاعي، وفحوصات الاتساق) كهدف تدخل رئيسي لأنظمة Agentic وRLM.
• محدودية MADAM-RAG: رغم أن بنية المناظرة متعددة الوكلاء تظهر وعداً في تصفية اللغة العدائية وكشف التناقضات، إلا أن التنفيذ المحدد الذي تم اختباره فشل في حل التناقضات بشكل موثوق، مما أدى إلى ارتفاع معدلات عدم الإجابة. تقترح الورقة أن المنطق المجمع يحتاج إلى تحسين لتحقيق إمكانات هذه البنية.

تخلص الدراسة إلى أنه بينما توفر نماذج RLM حالياً أقوى مستويات المتانة، فإن زمن الاستجماعي العالي وعدم تماثل المعلومات (السياق الأكبر) يمثلان تحديات للنشر. ويفترض المؤلفون أن العمل المستقبلي يجب أن يبحث فيما إذا كان التلقين الدفاعي خفيف الوزن يمكن أن يغلق فجوة المتانة بين بنى Agentic وRecursive عند نقطة التكلفة المنخفضة لأنظمة Agentic.