ملخص تقني: LeakDojo: فك تشفير تهديدات تسريب أنظمة RAG

بيان المشكلة

تعمل أنظمة التوليد المعزز بالاسترجاع (RAG) على تعزيز النماذج اللغوية الكبيرة (LLMs) بالمعرفة الخارجية، لكنها تفرض في الوقت ذات نفسه ثغرات أمنية كبيرة. وبينما يعد بناء وصيانة قواعد معرفية عالية الجودة لأنظمة RAG أمراً مكلفاً ويتطلب خبرة متخصصة، فإن استخراج قطع المعرفة المسترجعة التي تتعرض لها النماذج اللغوية الكبيرة أثناء الاستدلال هو أمر سهل نسبياً. يخلق هذا التباين سطح هجوم يمكن للمهاجمين من خلاله استخراج المعرفة المملوكة بشكل ضار عبر واجهة RAG.

تواجه الدراسات الحالية حول هجمات تسريب RAG ثلاث قيود رئيسية:

1. الافتقار إلى التقييم المنهجي: غالباً ما تستهدف الأبحاث الحالية أنظمة RAG غير منظمة ومتغيرة الهياكل، مما يجعل المقارنة المباشرة صعبة.
2. التعقيد المتطور: تدمج بنيات RAG الحديثة بشكل متزايد وحدات تحسين (مثل أجهزة إعادة الترتيب، وأجهزة إعادة الكتابة، وأجهزة التلخيص)، وتفشل الدراسات الحالية في تقييم هذه الوحدات بشكل منهجي في سياق مخاطر التسريب.
3. قدرات النماذج المتطورة: تُظهر النماذج اللغوية الكبيرة الجديدة قدرات أقوى في اتباع التعليمات، ومع ذلك لا يزال الارتباط بين هذه القدرات ومخاطر التسريب غير مستكشف بشكل كافٍ.

المنهجية: إطار عمل LeakDojo

لمعالجة هذه الفجوات، يقترح المؤلفون LeakDojo، وهو إطار عمل قابل للتهيئة والنمذجة، مصمم للتقييم المنضبط لمخاطر تسريب RAG. مستلهماً من مبادئ التصميم النمطي، يقوم LeakDojo بتفكيك منظومة RAG إلى ثلاثة مكونات مستقلة وقابلة للتهيئة:

1. أنظمة RAG القابلة للتهيئة: يصور إطار العمل مسارات RAG كسلسلة من الوحدات، بما في في ذلك المسترجعات (retrievers)، وأجهزة إعادة الترتيب (rerankers)، وأجهزة إعادة الكتابة (rewriters)، وأجهزة التلخيص (summarizers). وهذا يسمح للباحثين بعزل تأثير خيارات معمارية محددة (مثل إضافة جهاز إعادة ترتيب) على مخاطر التسريب.
2. استراتيجيات الهجوم القابلة للتهيئة: يتم نمذجة الهجمات كمزيج من مكونين منفصلين:
   • مولد الاستعلام (Query Generator): مسؤول عن صياغة "استعلامات مرجعية" ($A_i$) يمكنها العمل بشكل ثابت أو التحسين التكيفي بناءً على ردود فعل النظام.
   • التعليمات العدائية (Adversarial Instruction): تعليمات ثابتة ($I$) مصممة لحث النموذج اللغوي الكبير على تكرار قطع المعلومات المسترجعة حرفياً.
   • يتم تشكيل الاستعلام العدائي النهائي كـ $Q^i_{adv} = A_i \oplus I$. تسمح هذه الصيغة بالتحليل المستقل لفعالية توليد الاستعلام وقابلية اتباع التعليمات.
3. آليات الدفاع القابلة للتهيئة: يدعم إطار العمل دفاعات مرحلة الإدخال (كاشفات النوايا) ودفاعات مرحلة الإخراج (كاشفات المحتوى) التي يمكن تفعيلها أو تعطيلها لاختبار فعاليتها ضد ناقلات هجوم معينة.

الإعداد التجريبي:
أجرى المؤلفون تجارب مكثفة باستخدام LeakDojo عبر:

• 14 نموذجاً لغوياً كبيراً (LLMs): تشمل بنيات متنوعة (Dense, MoE) وأحجاماً مختلفة (من 7 مليار إلى 235 مليار معلمة)، مثل Qwen-3، وDeepSeek-V3، وGemini، وإصدارات GPT.
• 4 مجموعات بيانات: تغطي المجالات العلمية (SCIFACT)، والطبية (NFCORPUS)، والشركات (ENRON EMAIL)، والمالية (FIQA).
• 6 هجمات موجودة: اختبار معياري لكل من TGTB، وPIDE، وDGEA، وRAG-Thief، وPoR، وIKEA.
• المقاييس: استخدمت الدراسة أربعة مقاييس: التسريب التراكمي للقطع (CCL)، وتفعيل الاسترجاع الناجح (SLT)، وتغطية الاسترجاع العدائي (ARC)، ومعدل استعادة القطع (CRR).

النتائج الرئيسية

1. المساهمات المستقلة لمكونات الهجوم

تكشف الدراسة أن التسريب مدفوع بعاملين مستقلين: قدرة مولد الاستعلام على استرجاع قطع متنوعة (ARC)، وقدرة التعليمات العدائية على حث النموذج على تسريبها (SLT). ويتم تقريب إجمالي التسريب (CCL) جيداً بضرب هذين المكونين ($CCL \approx ARC \times SLT$). وهذا يشير إلى أن تحسين أحد المكونين دون الآخر يؤدي إلى عوائد متناقصة.

2. قدرة اتباع التعليمات ترتبط بالمخاطر

وُجد ارتباط إيجابي كبير بين قدرة النموذج اللغوي الكبير على اتباع التعليمات (مقاسة بدرجات IFEval) ومخاطر التسريب. فالنماذج الأقوى، التي هي أفضل في الالتزام بتعليمات المستخدم، تكون عرضة للخطر بشكل غير مقصود أمام التعليمات العدائية التي تطلب تكرار السياق المسترجع. وكما هو موضح في الشكل 1 من الورقة البحثية، أظهرت النماذج ذات درجات IFEval الأعلى احتمالات أعلى للتسريب.

3. المقايضة بين الأمان والموثوقية (Faithfulness)

تحدد الأبحاث مقايضة جوهرية بين موثوقية RAG (دقة الاستجابة المولدة بالنسبة للسياق المسترجع) والأمان. لوحظ أن التحسينات التي تزيد من الموثوقية، مثل استخدام أجهزة إعادة الكتابة لتوسيع نطاق الاسترجاء، تزيد من مخاطر التسريب. وعلى العكس من ذلك، فإن الوحدات مثل أجهزة التلخيص التي تقلل التسريب عن طريق تعطيل سلامة السياق، غالباً ما تؤدي إلى تدهور موثوقية وفائدة نظام RAG.

4. عدم استقرار الهجمات الحالية

تُظهر هجمات التسريب الحالية أداءً غير مستقر عبر مختلف تكوينات RAG والنماذج اللغوية الكبيرة. فالهجوم الذي يكون فعالاً للغاية ضد زوج معين من (النموذج-مجموعة البيانات) قد يؤدي أداءً ضعيفاً ضد زوج آخر، مما يسلط الض�وء على نقص العالمية في استراتيجيات الهجوم الحالية.

الأهمية والمساهمات

تقدم الورقة ثلاث مساهمات رئيسية:

1. إطار عمل LeakDojo: يوفر المؤلفون مجموعة أدوات تقييم نمطية وقابلة لإعادة الإنتاج تتيح إجراء تجارب منضبطة على تسريب RAG. وهذا يسمح بعزل المتغيرات (النموذج، البنية، استراتيجية الهجوم) لفهم مساهماتها المحددة في المخاطر.
2. الاختبار المعياري الشامل: من خلال تقييم ستة هجمات موجودة عبر نماذج لغوية كبيرة ومجموعات بيانات متنوعة، توفر الدراسة خط أساس معيارياً لفهم الحالة الراهنة لأمن RAG، مما يكشف عن نقص العالمية في طرق الهجوم الحالية.
3. رؤى قابلة للتنفيذ: تقدم النتائج إرشادات عملية للممارسين. وبشكل خاص، فإن تحديد الارتباط بين "اتباع التعليمات والتسريب" يشير إلى أن نشر نماذج لغوية كبيرة أقوى دون تدابير مضادة محددة قد يزيد من الضعف. علاوة على ذلك، فإن المقايضة الملحوظة بين الموثوقية والأمان تعني أن تحسين RAG من أجل المنفعة قد يضر بخصوصية البيانات عن غير قصد.

يخلص المؤلفون إلى أن LeakDojo يسهل تطوير هجمات أقوى ودفاعات أكثر متانة، بهدف تسريع الأبحاث المستقبلية في تأمين أنظمة RAG ضد تسريب البيانات. وقد تم إصدار الكود البرمدي علناً لدعم هذا الهدف.