Detecting RAG Extraction Attack via Dual-Path Runtime Integrity Game

إليك ملخص تقني مفصل لورقة البحث بعنوان "الكشف عن هجمات استخراج RAG عبر لعبة سلامة وقت التشغيل ثنائية المسار" (CanaryRAG).

1. بيان المشكلة

السياق: تعمل أنظمة التوليد المعزز بالاسترجاع (RAG) على تعزيز النماذج اللغوية الكبيرة (LLMs) بقواعد معرفية خارجية ومملوكة. ومع ذلك، تفرض هذه البنية ثغرة أمنية حرجة وهي: تسريب معرفة قاعدة بيانات RAG.
التهديد: يمكن للمهاجمين استخدام تفاعلات المطالبات (prompts) في الصندوق الأسود لاستدراج النموذج اللغوي الكبير للكشف عن المحتوى المملوك المسترجع. تستخدم هجمات "استخراج RAG" الحديثة (مثل Pirates و RAG-Thief) استراتيجيات تكيفية وتكرارية لإعادة بناء قواعد معرفية كاملة من خلال تجميع الأجزاء (chunks) المسترجعة عبر استعلامات متعددة.
محدودية الدفاعات الحالية:

• الطبيعة السلبية: تهدف الدفاعات الحالية (مثل إعادة الترتيب أو التلخيص) إلى رفع تكلفة إعادة البناء، لكنها لا تستطيع تحديد النوايا الخبيثة بشكل استباقي.
• التدخل في البنية: تتطلب العديد منها تغييرات هيكلية في مسار RAG، أو إعادة التدريب، أو تعديل فهرس الاسترجاع، مما يجعل نشرها صعباً.
• الهشاشة: غالباً ما تكون عرضة للهجمات التكيفية التي تعمل على تعمية المخرجات أو كبت المعلومات الحساسة، مما يؤدي للفشل في التمييز بين الاستخدام الدلالي المشروع والاستخراج غير المصرح به.
• صعوبة الكشف: تفشل فحوصات التشابه اللفظي أو الدلالي البسيطة لأن استجابات RAG المشروعة تتشارك دلالياً مع المحتوى المسترجع بطبيعتها، ويمكن للمهاجمين بسهولة تعمية النص لتجاوز هذه الفحوصات.

2. المنهجية: CanaryRAG

يقترح المؤلفون CanaryRAG، وهو آلية دفاع تعمل عند وقت التشغيل (runtime) وتتميز بكونها قابلة للتركيب والتشغيل مباشرة (plug-and-play)، مستوحاة من "كناري المكدس" (stack canaries) في أمن البرمجيات. بدلاً من محاولة منع الهجوم، يقوم النظام بالكشف عن انتهاكات سلامة وقت التشغيل.

المفهوم الجوهى: رمز الكناري (Canary Token)

• الحقن: قبل تغذية الأجزال المسترجعة إلى النموذج اللغوي الكبير، يقوم النظام بحقن سلاسل نصية خفيفة الوزن، غير دلالية، وعالية الاعتلاج (high-entropy) (رموز الكناري) داخل السياق.
• السلوك: في التشغيل الطبيعي (السليم)، تكون هذه الرموز غير ذات صلة بالمهمة ولا ينبغي أن تظهر أبداً في مخرجات النموذج. إذا ظهرت، فهذا يشير إلى محاولة استخراج للمحتوى الخام، مما يدل على وجود محاولة تسريب.

لعبة سلامة وقت التشغيل ثنائية المسار

لمواجهة المهاجمين التكيفيين الذين قد يحاولون كبت رموز الكناري، يستخدم CanaryRAG مسارين توليد متزامنين بتوقعات سلامة متضاربة:

1. مسار الهدف (استعلام المستخدم):

   • المدخلات: استعلام المستخدم + الأجزال المسترجعة (مع رموز الكناري).
   • التوقع: يجب على النموذج الإجابة على استعلام المستخدم.
   • قاعدة السلامة: صفر تعرض للكناري. إذا ظهر أي رمز كناري في المخرجات، يتم وضع علامة عليه كانتهاك تسريب.

2. المسار المرجعي/الأوراكل (مهمة الاختبار):

   • المدخلات: استعلام معدل (مثلاً: "كرر السياق تماماً") + الأجزال المسترجعة (مع رموز الكناري).
   • التوقع: يتم توجيه النموذج صراحةً لإعادة إنتاج السياق.
   • قاعدة السلامة: تعرض عالٍ للكناري. يجب على النموذج إخراج رموز الكناري.
   • منطق الكشف: إذا فشل المسار المرجعي في إخراج العدد المتوقع من رموز الكناري (بسبب تعليمات كبتها من قبل المهاجم)، فإن ذلك يشير إلى محاولة مراوغة نشطة.

آلية القرار:

• تم اكتشاف التسريب: إذا أصدر مسار الهدف رموز الكناري.
• تم اكتشاف المراوغة: إذا فشل المسار المرجعي في إخراج رموز الكناري (مما يشير إلى إجبار النموذج على كبتها).
• الإجراء: عند الكشف، يقوم النظام فوراً بإيقاف توليد البث (streaming generation)، مما يمنع المزيد من تسريب البيانات.

3. المساهمات الرئيسية

1. تحول في النموذج الفكري: يعيد صياغة الدفاع ضد استخراج RAG من مشكلة مطابقة دلالية إلى مشكلة فرض سلامة وقت التشغيل، مستلهماً من مفاهيم أمن البرمجيات (الكناري).
2. بنية مبتكرة: يقدم لعبة السلامة ثنائية المسار، التي تراقب في آن واحد التعرض غير المصرح به (مسار الهدف) والكبت النشط (المسار المرجعي)، مما يجعله قوياً ضد المهاجمين التكيفيين.
3. تصميم جاهز للتركيب والتشغيل: لا يتطلب الحل إعادة تدريب للنموذج اللغوي الكبير، ولا تعديلاً للمسترجع أو قاعدة المعرفة، ولا تغييرات هيكلية في مسار RAG. إنه يعمل كغلاف (wrapper) خفيف الوزن.
4. تقييم شامل: يوفر أول تقييم منهجي للدفاع القائم على الكشف ضد هجمات الاستخراج التكيفية المتطورة.

4. النتائج التجريبية

قام المؤلفون بتقييم CanaryRAG مقابل ثلاثة وكلاء RAG (ChatDoctor، Mini-Wikipedia، Mini-BioASQ) وهجومين متقدمين (Pirates و RAG-Thief).

• الفعالية (معدل استعادة الأجزال - CRR):

  • خفض CanaryRAG معدل استعادة الأجزال (CRR) إلى مستويات قريبة من الصفر (متوسط CRR نسبي قدره 0.04× مقارنة بخط الأساس "بدون دفاع").
  • تفوق بشكل كبير على النماذج المرجعية: Reranker (0.98×)، التلخيص (0.67×)، و RAGFort (0.60×).
  • حتى عندما كان المهاجمون على دراية بآلية الكناري، حافظ CanaryRAG على معدلات كشف عالية.

• القوة (الهجمات التكيفية):

  • ضد الهجمات التكيفية التي تجمع بين كبت الكناري وتعمية المخرجات، حقق CanaryRAG (مع المسار المرجعي) معدل إيجابي حقيقي (TPR) بنسبة ~94-95%.
  • أدى تعطيل المسار المرجعي إلى انخفاض TPR إلى ~23-51%، مما يثبت أن تصميم المسار المزدوج ضروري للدفاع التكيفي.

• تجربة المستخدم والأداء:

  • الجودة: تأثير ضئيل على جودة الاستجابة (ظل مقياس BERTScore متطابقاً تقريباً مع خط الأساس).
  • زمن الاستجابة (Latency): زيادة ضئيلة جداً في زمن استدلال النموذج (العبء ثابت ومستقل عن حجم المولد).
  • الإيجابيات الكاذبة: معدل منخفض للغاية للإيجابيات الكاذبة (FPR < 0.15%)، مما يضمن عدم حظر المستخدمين المشروعين نادراً.

5. الأهمية والأثر

• النشر العملي: باعتباره حلاً مستقلاً عن النموذج وجاهزاً للتركيب والتشغيل، يمكن دمج CanaryRAG فوراً في أنظمة RAG المؤسسية الحالية دون التكاليف العالية لإعادة التدريب أو إعادة هيكلة المسارات.
• الدفاع الاستباقي: على عكس المرشحات السلبية، فإنه يكشف الهجمات ويوقفها في الوقت الفعلي، مما يمنع تراكم البيانات المسربة.
• القابلية للتوسع: العبء الحسابي ثابت ومنخفض، مما يجعله مناسباً لبيئات الإنتاج ذات الإنتاجية العالية.
• اتجاه أمني جديد: يضع اتجاهاً جديداً لأمن النماذج اللغوية الكبيرة من خلال تطبيق مفاهيم سلامة الذاكرة (الكناري) على السلامة الدلالية للذكاء الاصطناعي التوليدي، مما يوفر حماية قوية للبيانات المملوكة.

في الختام، يمثل CanaryRAG حلاً متطوراً لأمن RAG، حيث يحيد بفعالية هجمات الاستخراج المعقدة مع الحفاظ على فائدة النظام وأدائه.