Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework
تقدم هذه الورقة SecureCollaRAG، وهو إطار عمل للبحث والتحسين المعزز بالاسترجاع (RAG) تعاوني ومقاوم للخطأ البيزنطي، يستخدم التحقق من المعرفة متعدد المصادر وتصنيف المصداقية الديناميكي القائم على الشبكات العصبية الرسومية (GNN) للتحقق بأمان من أصل المستندات ومنع هجمات فساد المعرفة مع الحفاظ على سلامة المعرفة النطاقية في ظل توزيعات البيانات غير المتطابقة (non-IID).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسأل أمين مكتبة آلياً فائق الذكاء عن الحقيقة. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير" (LLM)، قد قرأ كل شيء تقريباً كُتب على الإطلاق، لكنه أحياناً يختلق أشياء من خياله أو ينسى الأحداث الأخيرة. ولإصلاح ذلك، بنينا نظاماً يسمى RAG (التوليد المعزز بالاسترجاع). فكر في RAG كأنك تعطي الروبوت كومة من الكتب الطازجة والذات الصلة من مكتبة ما قبل أن يجيب على سؤالك، حتى يتمكن من الاقتباس من الحقائق بدلاً من التخمين. ولكن هنا تكمن المشكلة، ماذا لو تسلل شرير ما إلى المكتبة واستبدل بعض الصفحات في تلك الكتب بأكاذيب؟ إذا وثق الروبوت في تلك الصفحات المزيفة، فسيخبرك أن القمر مصنوع من الجبن أو أن دواءً خطيراً آمن. يُسمى هذا "هجوم فساد المعرفة". تتناول الورقة التي أنت بصدد قراءتها هذه المشكلة المخيفة عبر طرح السؤال التالي: كيف نمنع الروبوت من تصديق الكاذبين عندما يحصل على الكتب من مكتبات عديدة، وبعضها قد يكون مشبوهاً؟
يقترح مؤلفو هذه الورقة، تشاوكي وانغ وفريقه، درعاً جديداً ذكياً يسمى SecureCollaRAG. لقد أدركوا أنه إذا سألت خمس مكتبات مختلفة عن نفس الحقيقة، وأربع منها قالت "السماء زرقاء" بينما قالت واحدة "السماء خضراء"، فمن المحتمل أن تثق بالأغلبية. ومع ذلك، الأمر ليس دائماً بهذه البساطة؛ فأحياناً يكون الكاذب بارعاً جداً في الاختباء، مما يجعل صفحاته المزيفة تبدو مطابقة تماماً للصفحات الحقيقية، أو ربما يكذب فقط بشأن تفصيل صغير ودقيق.
ولحل هذه المشكلة، بنى الفريق نظاماً يعمل كفريق تحرٍّ فائق التنظيم. فبدلاً من مجرد قراءة الكتب، ينظر نظامهم إلى كيفية ارتباط الكتب ببعضها البعض. تخيل أن الوثائق هي أشخاص في حفلة؛ يقوم النظام برسم خطوط غير مرئية بين الأشخاص الذين يتحدثون عن أشياء متشابهة. إذا كانت مجموعة من الكاذبين تحاول نشر قصة مزيفة، فسوف يهمسون جميعاً بنفس الهراء لبعضهم البعض، مما يشكل "شلة" غريبة ومتماسكة لا تتناسب تماماً مع بقية الحفلة. يستخدم النظام نوعاً خاصاً من الرياضيات يسمى "الشبكة العصبية الرسومية" (تخيلها كجهاز فائق الذكاء للتعرف على الأنماط) لرصد هذه الشلل المشبوهة. إنه يمنح كل وثيقة "درجة مصداقية"، وهي تشبه تقييم الثقة. إذا كان تقييم الوثيقة منخفضاً جداً، فسيتم طردها قبل أن يراها أمين المكتبة الآلي.
لم يكتفِ الباحثون ببناء هذا فحسب، بل اختبروه ضد بعض الأشرار الماكرين حقاً. حتى أنهم اخترعوا نوعاً جديداً من الهجمات يسمى "هجوم التلاعب التكيفي" (ATA). هذا يشبه شريراً لا يكتفي بلصق صفحة مزيفة، بل يستخدم عقل الروبوت نفسه لمساعدته في كتابة كذبة تبدو طبيعية تماماً وتتغير قليلاً في كل مرة، مما يجعل من الصعب كشفها. ورغم هذه الحيل الماكرة، أظهر SecureCollaRAG قدرته على رصد التزييف. ففي اختباراتهم، بينما سمحت الطرق القديمة للأشرار بالنجاح في حوالي 80% من الحالات، حافظ النظام الجديد على معدل نجاح المهاجمين عند أرقام أحادية (مثل 5% أو أقل) في كثير من الحالات.
تشير الورقة إلى أنه من خلال استخدام هذا النهج "المقاوم للخطأ البيزنطي" (وهو مصطلح معقد يعني "يمكننا التعامل مع الأمر حتى لو كان بعض مساعدينا خونة")، يمكننا الحفاظ على سلامة أنظمة الذكاء الاصطناي حتى عندما تسحب المعلومات من مصادر مختلفة وغير موثوقة. الأمر يشبه امتلاك حارس أمن لا يكتفي بفحص الهويات فحسب، بل يراقب أيضاً كيفية تفاعل الناس، مما يضمن أنه حتى لو كان هناك بعض الجواسيس في الغرفة، فإن الحقيقة ستنتصر في النهاية. لقد أثبت المؤلفون رياضياً أنه طالما كان الأشرار أقل من نصف إجمالي المصادر، فإن نظامهم يمكنه تصفية الأكاذيب والحفاظ على أمانة الروبوت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.