Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention
تقدم هذه الورقة البحثية آلية "انتباه المستندات المتناثر" (SDAG)، وهي آلية دفاع مبتكرة تستخدم الانتباه متناثر الكتل لمنع التفاعلات الضارة بين المستندات في أنظمة التوليد المعزز بالاسترجاع، مما يقلل بشكل كبير من هجمات تسميم معرفة المتون ويتفوق على الدفاعات الحالية الأكثر تطوراً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناعي، تعمل النماذج اللغوية الكبيرة كمستودعات ضخمة للمعرفة البشرية، قادرة على الإجابة عن الأسئلة وتوليد النصوص بطلاقة مذهلة. ومع ذلك، تواجه هذه النماذج قيداً؛ فهي مدربة على بيانات تتوقف عند نقطة زمنية معينة، مما يعني أنها لا تستطيع معرفة الأحداث الأخيرة أو الحقائق المتخصصة والدقيقة دون مساعدة. ولحل هذه المشكلة، طور الباحثون نظاماً يسمى "التوليد المعزز بالاسترجاع" (Retrieval-Augmented Generation). في هذا الإعداد، عندما يطرح المستخدم سؤالاً، يبحث النظام أولاً في مكتبة ضخمة من المستندات للعثور على المعلومات ذات الصلة. ثم يقوم بتلقيم كل من السؤال وهذه المستندات المسترجعة إلى النموذج اللغوي، الذي يستخدمها كدليل لصياغة إجابة دقيقة. تحافظ هذه الطريقة على حداثة معرفة الذكاء الاصطناعي وتقلل من احتمالية اختلاقه للمعلومات، وهي مشكلة تُعرف باسم "الهلوسة". ومع ذلك، فإن هذا الاعتماد ذاته على المستندات الخارجية يخلق ثغرة جديدة؛ فبما أن النظام يثق في المستندات التي يجدها، يمكن لفاعل خبيث أن يحقن سراً معلومات مضللة في المكتبة. وإذا استرجع النظام هذه المستندات المسمومة، فقد يُخدع بتجاهل الحقيقة وتقديم كذبة بدلاً منها.
لقد حدد باحثون في معهد التخنيون في إسرائيل نقطة ضعف محددة في كيفية معالجة هذه الأنظمة للمعلومات تجعلها عرضة لمثل هذا الخداع. في النماذج اللغوية القياسية، صُممت الآلية التي تسمح للذكاء الاصطناعي بالتركيز على أجزاء مختلفة من النص لتسمح لكل كلمة بالنظر إلى كل كلمة سابقة في تدفق مستمر. يعمل هذا بشكل جيد عند كتابة قصة أو تلخيص مقال واحد، حيث يتدفق السياق بشكل طبيعي من جملة إلى أخرى. ومع ذلك، في نظام الاسترجاع، غالباً ما يكون المدخل عبارة عن مجموعة من المستندات المنفصلة والمتميزة الملصقة معاً. ويرى الباحثون أن الطريقة القياسية لمعالجة هذه المستندات تسمح للكلمات من مستند واحد بالتفاعل مع كلمات من مستند آخر بطريقة يمكن أن تكون ضارة. فعند وجود مستند خبيث، يمكن لمحتواه المضلل أن يؤثر على فهم الذكاء الاصطناعي للمستندات الحقيقية، مما يؤدي فعلياً إلى تسميم الاستجابة بأكملها.
ولمعالجة ذلك، قدم الفريق استراتيجية دفاعية جديدة تسمى "انتباه المستندات المتناثر" (Sparse Document Attention). فبدلاً من السماح للذكاء الاصطناعي بجعل كل كلمة في المجموعة المسترجعة تنظر إلى كل كلمة أخرى، تخلق هذه الطريقة حداً صارماً بين المستندات. إنها تجبر النظام على معاملة كل مستند مسترجع كجزيرة معزولة. فداخل مستند واحد، لا تزال الكلمات قادرة على الإشارة إلى بعضها البعض للحفاظ على السياق، لكنها تُمنع تماماً من النظر إلى أو التأثر بالكلمات الموجودة في أي من المستندات المسترجعة الأخرى. يتم تطبيق هذا التغيير فقط عندما يقوم النظام بتوليد إجابة، وهو ما لا يتطلب إعادة تدريب النموذج اللغوي الأساسي ولا إضافات معقدة إلى مسار البرمجيات. إنه تعديل بسيط لقواعد "الانتباه" يمنع التداخل الضار بين الكاذب وصادق القول.
اختبر الباحثون هذا النهج بصرامة عبر مجموعة متنوعة من السيناريوهات، باستخدام مجموعات بيانات مختلفة للإجابة عن الأسئلة وأنواع متعددة من النماذج اللغوية. لقد قاموا بمحاكاة هجمات حيث حقن خصم مستندات مضللة مصممة لتوجيه الذكاء الاصطناعي نحو إجابة خاطئة محددة. وفي هذه الاختبارات، سقط النظام القياسي، الذي سمح للمستندات بالتأثير على بعضها البعض، في الفخ كثيراً، وغالباً ما أنتج الإجابة الخاطئة التي أرادها المهاجم. وفي المقابل، أثبت النظام الذي يستخدم طريقة الانتباه المتناثر الجديدة قدرة أكبر بكثير على الصمود؛ فقد نجح في تجاهل المستندات المسمومة في الغالبية العظمى من الحالات، محافظاً على دقة إجاباته ومقللاً بشكل كبير من معدل نجاح الهجمات. كان التحسن كبيراً لدرجة أن الطريقة الجديدة تفوقت على استراتيجيات الدفاع الأكثر تعقيداً التي تم تطويرها للإيقاع بهذه الهجمات.
كما استكشفت الدراسة كيف يؤثر موقع المستند المزيف على النتيجة. ووجدوا أنه عندما يكون المستند الخداعي مشابهاً جداً في المحتوى للمستندات الحقيقية، يصبح من الصعب على النظام مقاومة تأثيره. ومع ذلك، ظلت الط méthode الجديدة فعالة حتى في هذه المواقف الصعبة. علاوة على ذلك، اكتشف الباحثون أن هذا الدفاع يعمل جيداً حتى عندما يُطلب من الذكاء الاصطناعي حل مشكلات معقدة تتطلب دمج المعلومات من مستندات متعددة، مثل أسئلة الاستدلال متعدد الخطوات. وبينما أظهر الإعداد الأولي انخفاضاً طفيفاً في الأداء مقارنة بالطريقة القياسية، وجد الباحثون أن فترة قصيرة من الضبط الدقيق للنموذج وفق القواعد الجديدة استردت هذا الفقد تماماً، مما أدى إلى نظام يتسم بالمتانة والدقة العالية في آن واحد.
تشير النتائج إلى أن الطريقة التي ينظر بها الذكاء الاصطناعي إلى مادته المصدرية لا تقل أهمية عن المادة نفسها. فمن خلال منع المستندات المختلفة ببساطة من التحدث إلى بعضها البعض، يصبح من الصعب جداً خداع النظام. يقدم هذا النهج طريقة عملية وفعالة لتأمين أنظمة الذكاء الاصطناعي القائمة على الاسترجاع، مما يضمن اعتمادها على الحقيقة بدلاً من التأثر بأكثر الأكاذيب إقناعاً في الغرفة. إن هذا العمل يضع معياراً جديداً لحماية هذه الأنظمة، موضحاً أن تغييراً جوهرياً في كيفية معالجة النموذج للمعلومات يمكن أن يكون أكثر فعالية من إضافة طبقات من أدوات الكشف المعقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.