When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse
تقدم هذه الورقة البحثية D-SCAN، وهو إطار عمل خفيف الوزن للكشف عن هجمات تسميم الـ RAG عبر مراقبة انهيار الانتباه على مستوى المستند، وهو بصمة مميزة حيث تنخفض إنتروبيا الانتباه مع تركيز النموذج على المستندات العدائية، متجاوزاً بذلك قيود طرق الكشف الحالية القائمة على المخرجات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناعي، تعمل النماذج اللغوية الكبيرة كمكتبات ضخمة من المعرفة البشرية، قادرة على الإجابة عن الأسئلة وتوليد النصوص بطلاقة مذهلة. ومع ذلك، تمتلك هذه النماذج نقطة عمياء: فهي لا تعرف بطبيعتها أحدث الحقائق أو التفاصيل المحددة حول العالم ما لم يتم إخبارها بها. ولإصلاح ذلك، يستخدم المطورون نظامًا يسمى "التوليد المعزز بالاسترجاع". فكر في هذه العملية كطالب يؤدي اختبارًا بكتاب مفتوح؛ حيث يبحث الكمبيوتر أولاً في قاعدة بيانات عن وثائق ذات ص relevance، ثم يغذي النموذج بها، وبعد ذلك يطلب من النموذج كتابة إجابة بناءً على تلك المعلومات الجديدة. تتيح هذه الطريقة للآلة الوصول إلى حقائق محدثة، لكنها تفتح أيضًا بابًا للمتاعب. فإذا قام مهاجم بتسلل وثيقة مزيفة صيغت بعناية إلى تلك القاعدة، فقد يقرأها النموذج، ويصدقها، ويستخدمها لبناء إجابة ضارة أو غير صحيحة. يُعرف هذا باسم "هجوم التسميم"، وهو يشكل خطرًا جسيمًا في المجالات عالية المخاطر مثل القانون والطب، حيث يمكن لحقيقة واحدة خاطئة أن تؤدي إلى عواقب حقيقية في العالم الواقعي.
لفترة طويلة، بحث الباحثون الذين يحاولون كشف هذه الهجمات في الإجابة النهائية التي أنتجها الكمبيوتر. لقد أملوا في رصد الكذبة من خلال التحقق مما إذا كانت الإجابة تبدو غير واثقة أو إذا كانت تناقض نفسها. كانت الفكرة السائدة هي أنه عندما يكون النموذج مرتبكًا أو يهلوِس، فإنه سيبدو مترددًا، مثل شخص يخمن. ومع ذلك، اكتشف فريق من الباحثين من جامعة التكنولوجيا في سيدني وجامعة بكين أن هذا الافتراض خاطئ بشكل خطير. فقد وجدوا أنه عندما يتم خداع النموذج بنجاح بواسطة وثيقة مسمومة، فإنه لا يبدو مرتبكًا على الإطلاق. بل على العكس، يبدو أكثر ثقة من المعتاد. يصمم المهاجمون وثائقهم المزيفة بدقة متناهة لدرجة تجعل النموذج "واثقًا بشكل أعمى"، حيث يمنح احتمالية أعلى للإجابة الخاطئة مما قد يمنحه لأي إجابة صحيحة. وهذا يعني أن الطرق التقليدية، التي تعتمد على اكتشاف عدم اليقين أو التناقض، غالبًا ما تكون عديمة الفائدة لأن النموذج ليس غير متيقن؛ بل هو مقتنع بأنه على حق.
ولحل هذه المشكلة، توقف الباحثون عن النظر إلى النص النهائي وبدأوا في النظر داخل "دماغ" الآلة أثناء تفكيرها. لقد فحصوا كيفية توجيه النموذج لانتباهه نحو الوثائق المختلفة التي كان يقرؤها. في جلسة قراءة طبيعية وسليمة، يوزع النموذج انتباهه عبر عدة وثائق، ويزن الأدلة من كل منها لبناء صورة كاملة. ووجد الباحثون أنه عند حدوث هجوم تسميم، يتغير هذا السلوك بشكل جذري. يتوقف النموذج عن النظر إلى الوثائق الأخرى ويركز بالكامل تقريبًا على الملف المسموم الوحيد. وقد أطلقوا على هذه الظاهرة اسم "انهيار الانتباه". الأمر كما لو أن نظرة النموذج قد اختُطفت، لتستقر على المعلومات الخبيثة وتتجاهل كل شيء آخر. يحدث هذا حتى لو فشل الهجوم في تغيير الإجابة النهائية، مما يجعله علامة تحذير مبكرة موثوقة على وجود خطأ ما.
بناءً على هذا الاكتشاف، بنى الفريق أداة كشف جديدة تسمى D-SCAN. تم تصميم هذا النظام ليكون خفيف الوزن وسريعًا، حيث يراقب أنماط الانتباه الداخلية للنموذج أثناء عمله. وبدلاً من انتظار رؤية ما إذا كانت الإجابة النهائية خاطئة، يراقب D-SCAN تلك اللحظة المحددة التي ينهار فيها تركيز النموذج على وثيقة واحدة. وفي اختباراتهم، استخدم الباحثون ثلاث مجموعات مختلفة من الأسئلة المعقدة ووجدوا أن طريقتهم الجديدة كانت أفضل بكثير في رصد الهجمات من أي تقنية موجودة. وبينما كافحت الأدوات الأخرى للتمييز بين الإجابة الحقيقية والمزيفة، نجح D-SCAN باستمرار في تحديد محاولات التسميم. والأهم من ذلك، أن الأداة نجحت حتى عندما لم ينجح الهجوم في تغيير المخرج النهائي. وهذا يشير إلى أن عملية اختطاف النموذج هي بصمة متميزة توجد بشكل مستقل عن النتيجة النهائية.
كما كشفت الدراسة عن تفصيل مفاجئ حول حجم النماذج نفسها. قد يفترض المرء أن حاسوبًا أكبر وأكثر قوة سيكون أفضل في رصد الخداع، لكن الباحثين وجدوا العكس تمامًا. فقد كانت النماذج الأصغر حجمًا أفضل في اكتشاف السم، بينما بدت النماذج الأكبر والأضخم أكثر عرضة للخداع بسهولة. يشير هذا إلى أن التدريب نفسه الذي يجعل هذه النماذج الكبيرة تتبع التعليمات جيدًا قد يجعلها أيضًا واثقة أكثر من اللازم في الوثائق التي تُقدم إليها. ومن خلال التركيز على الآليات الداخلية لكيفية توزيع الانتباه بدلاً من النص السطحي، قدم الباحثون طريقة جديدة لتأمين هذه الأنظمة. إن عملهم يظهر أنه لحماية الذكاء الاصطناعي، يجب ألا نفهم فقط ما يقوله، بل كيف يفكر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.