RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning
تقدم هذه الورقة RAGuard، وهو إطار دفاعي ثنائي الطبقات لأنظمة التوليد المعزز بالاسترجاع، يجمع بين الضبط الدقيق للمسترجع الخصمي ورقعة استدلال "المعرفة الصفرية" (ZKIP) التي تعمل كصندوق أسود وخالية من الملصقات، وذلك لتحييد هجمات تسميم البيانات الواقعية بفعالية مع الحفاظ على دقة استرجاع عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً فائق الذكاء يعرف كل شيء تقريباً، لكنه أيضاً كثير النسيان ويقوم أحياناً بتأليف أشياء من خياله. ولمساعدته على تذكر آخر الأخبار والحقائق، أعطيته مكتبة سحرية حيث يمكنه البحث عن الإجابات قبل أن يتحدث. هذا الإعداد يسمى "التوليد المعزز بالاسترجاع"، أو RAG اختصاراً. إنه يشبه إعطاء عبقري ورقة غش لكي لا يعتمد فقط على ذاكرته. ولكن هنا تكمن المشكلة: ماذا لو تسلل مشاكس ماكر إلى تلك المكتبة واستبدل الكتب الحقيقية بأخرى مزيفة مليئة بالأكاذيب؟ إذا وثق الروبوت في تلك الكتب المزيفة، فسيخبرك بإجابات خاطئة، وقد لا يدرك حتى أنه قد تعرض للخداع. هذا ما يسمى بـ "تسميم البيانات"، وهو مصدر قلق كبير لأي شخص يستخدم هذه الأنظمة الذكية لأشياء مهمة مثل النصائح الطبية أو الحقائق القانونية.
الآن، تعرف على RAGuard، فريق الأبطال الخارقين الجديد للورقة البحثية المصمم لحماية تلك المكتبة السحرية. لقد بنى الباحثون نظام دفاع مكون من طبقتين لإيقاف هؤلاء الكذابين في مسارهم. الطبقة الأولى تشبه حارس أمن صارم عند باب المكتبة. تم تدريب هذا الحارس من خلال قراءة آلاف الكتب المزيفة لكي يستطيع تمييز "نبرة" الكذب وطرد تلك الكتب قبل أن تصل إلى الروبوت. لكن الحارس ليس مثالياً؛ فأحياناً قد يتسلل كتاب مزيف جيد جداً. وهنا يأتي دور الطبقة الثانية: محقق ذكي يدعى ZKIP (رقعة الاستدلال ذات المعرفة الصفرية). لا يحتاج ZKIP إلى قائمة بالجهات المعروفة بالكذب أو "مفتاح إجابة صحيح"؛ بدلاً من ذلك، هو يلعب لعبة "ماذا لو؟". لكل كتاب على وشك أن يقرأه الروبوت، يسأل ZKIP: "ماذا سيقول الروبوت لو لم يكن لدينا هذا الكتاب تحديداً؟". إذا أدى حذف كتاب ما إلى تغيير إجابة الروبوت فجأة أو جعله أكثر ارتباكاً، فإن ZKIP يعرف أن هذا الكتاب من المرجح أن يكون كاذباً ويرميه بعيداً.
اختبر الباحثون هذا النظام على مجموعة ضخمة من الأسئلة ووجدوا نتائج مذهلة. عندما ملأوا المكتبة بكتب مزيفة (تصل إلى 30% من الإجمالي)، استطاع الحارس وحده الإمساك ببعضها، ولكن ليس جميعها. ومع ذلك، عندما أضافوا المحقق ZKIP إلى الفريق، أصبح النظام شبه مثالي في اختباراتهم. في كل جولة اختبار واحدة حيث كان الدفاع نشطاً، خفض ZKIP "معدل نجاح الهجوم" إلى 0.000، مما يعني عدم اكتشاف أي خدع ناجحة بين العينات المحددة التي اختبروها. ومن المهم ملاحظة أن هذه النتيجة تنطبق على العينات المختبرة ولا تضمن أن الروبوت لن يعطي إجابة خاطئة أبداً في كل السيناريوهات الممكنة في العالم الحقيقي. التكلفة الوحيدة؟ كان على الروبوت القيام ببعض التفكير الإضافي. فلكل سؤال، كان عليه قراءة الكتب 6 مرات (مرة مع جميع الكتب، ومرة لكل كتاب ليرى ماذا سيحدث إذا كان مفقوداً) ليتأكد من أنه لم يُخدع. وبينما يستغرق هذا وقتاً أطول، فقد أظهر الباحثون أن الروبوت لا يزال يجد الإجابات الصحيحة بنفس القدر الذي وجدته به في مكتبة نظيفة، مما يثبت أنه يمكنك الحصول على كل من السلامة والدقة.
ومع ذلك، فإن الورقة البحثية حريصة على الإشارة إلى المواضع التي قد تظهر فيها شقوق في هذا الدرع. يعمل النظام بشكل أفضل عندما تحاول الكتب المزيفة تغيير الحقائق (مثل قول "السماء خضراء" بدلاً من "زرقاء"). وهو يعاني إذا استخدم المشاكس مجموعة من الكتب المزيفة التي تقول نفس الكذبة معاً، لأن حذف كتاب واحد منها لن يغير رأي الروبوت. أيضاً، النظام مصمم للحقائق وليس للآراء؛ فإذا كان السؤال حول ما "يعتقده" الناس بدلاً مما هو "حقيقي"، فقد يرتبك المحقق لأن إجابات الناس تختلف بطبيعتها. كما لاحظ الباحثون أن كتبهم المزيفة تم صنعها عن طريق إعادة كتابة نص حقيقي للحفاظ على الكلمات المفتاحية نفسها، مما يعني أن أداة بحث بسيطة تعتمد فقط على مطابقة الكلمات (مثل البحث الأساسي عن الكلمات المفتاحية) لم تُخدع على الإطلاق. هذا يشير إلى أنه بينما يعد RAGuard أداة قوية جديدة، فإن المعركة ضد الكذابين الماكرين مستمرة، وسيحتاج العمل المستقبلي إلى اختبارها ضد هجمات أكثر ذكاءً وتنسيقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.