Mind the Hook: Source-Level Auditing of Privacy Defenses in Retrieval-Augmented Generation
تقترح هذه الورقة منهجية تدقيق المسار النشط التي تتبع دفاعات الخصوصية إلى خطافات مسار المصدر المحددة الخاصة بها، مما يكشف أنه في حين تقوم دفاعات أسلوب الخصوصية التفاضلية (DP) بتعديل درجات الاسترجاع دون حماية النص المُولد بشكل فعال، فإن دفاعات (LPRAG) الشاملة تمنع تسريب البيانات بنجاح من خلال التدخل في مرحلة التوليد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب بالدردشة فحسب، بل تمتلك قوة خارقة تسمى "التوليد المعزز بالاسترجاع" (RAG). فكر في (RAG) كطالب ذكي جداً يؤدي امتحاناً يعتمد على الكتاب المفتوح؛ فبدلاً من الاعتماد فقط على ما في ذاكرته، يمكنه التصفح السريع لمكتبة ضخمة من الوثائق للعثور على الحقائق المثالية للإجابة على أسئلتك. هذا يجعلهم مفيدين للغاية، ولكنه يخلق أيضاً مشكلة خصوصية متسللة. فإذا كانت المكتبة تحتوي على معلومات سرية — مثل بريد إلكتروني خاص لمدير تنفيذي أو سجل طبي لمريض — فقد يقرأها الطالب بالخطاً بصوت عالٍ، مما يكشف أسراراً لم يكن من المفترض له مشاركتها.
ولإيقاف ذلك، بنى العلماء "دفاعات خصوصية". هذه الدفاعات تشبه حراس الأمن أو الفلاتر المصممة لتنقية الأسرار قبل أن يتحدث الطالب. لكن الجزء الصعب هنا هو: كيف نعرف أن الحارس يقوم بعمله حقاً؟ في الماضي، كان الباحثون يكتفون بالسؤال: "هل كشف الطالب أسراراً أقل؟" ويقبلون الإجابة كما هي. لقد تعاملوا مع النظام بأكمله كصندوق أسود، حيث ينظرون فقط إلى المخرج النهائي. ولكن ماذا لو كان حارس الأمن نائماً بالفعل على مكتبه، أو يكتفي بفحص باب المكتبة ويتجاهل فم الطالب؟ إذا لم ننظر داخل الآلة، فقد نظن أننا في أمان بينما نحن مكشوفون تماماً. هذا هو اللغز الذي سعى فريق من الباحثين لحله: أرادوا النظر تحت غطاء المحرك ليروا بالضبط أين وكيف تعمل دفاعات الخصوصية هذه (أو تفشل).
قرر الباحثون، يانهانغ لي، وتشاوتشاو فان، وزيكسين تشوانغ، التوقف عن التخمين والبدء في التدقيق. وبدلاً من مجرد النظر إلى الإجابة النهائية، ابتكروا طريقة تسمى "تدقيق المسار النشط". تخيل أنك محقق يحقق في خدعة سحرية؛ أنت لا تكتفي بمشاهدة الساحر وهو يخرج أرنباً من القبعة، بل تفحص القبعة، والأكمام، والمسرح لترى من أين جاء الأرنب بالفعل. طبق الفريق هذا العمل التحقيقي على ستة "سكربتات" مختلفة للدفاع عن الخصوصية تعمل على إعداد حاسوبي محدد. لقد تتبعوا مسار البيانات ليروا بالضبط أي جزء من العملية كان الدفاع يلمسه: هل كان يغير نتائج البحث في المكتبة؟ أم كان يعيد كتابة النص الذي وجده الحاسوب؟ أم أنه كان يقوم فعلياً بتنقية الإجابة النهائية قبل نطقها؟
ما وجدوه كان يشبه اكتشاف أن ثلاثة من حراس الأمن الستة الذين استأجروهم كانوا مجرد تماثيل عرض. وجدوا أن ثلاثة من دفاعات الخصوصية (تلك القائمة على "الخصوصية التفاضلية") كانت تعدل فقط نتائج البحث في المكتبة. لقد كانوا يقولون فعلياً: "نحن نحمي الخصوصية!" عبر تغيير الكتب التي ينظر إليها الحاسوب، ولكن كان لديهم ملاحظة "يجب إكمالها" (TODO) في الكود الخاص بهم تقول: "لا تغير الإجابة النهائية". ولأنهم لم يلمسوا النص النهائي، ظل الحاسوب يسرب الأسماء والتفاصيل المحددة، رغم أن نتائج البحث بدت مختلفة. وقد قاس الباحثون ذلك باستخدام عد دقيق للأسماء ورسائل البريد الإلكتروني المسربة، ووجدوا أنه بينما خفضت هذه الدفاعات نوعاً واحداً من درجات المخاطر، إلا أنها لم تفعل شيئاً على الإطلاق لمنع تسرب الأسرار الفعلية في المحادثة النهائية.
ومع ذلك، لم تكن كل الحراس نائمين. أحد الدفاعات، المسمى LPRAG، كان بطلاً خارقاً حقيقياً. فهو لم يكتفِ بتغيير البحث فحسب، بل قام بنشاط باستبدال الأسماء السرية بأسماء وهمية في الإجابة النهائية. ولإثبات أن هذا لم يكن مجرد صدفة أو خدعة في نظام التسجيل، استخدم الباحثون اختبار "الكناري" الذكي. لقد زرعوا 150 عنوان بريد إلكتروني فريداً ومزيفاً في المكتبة، لم يكن من المفترض لأي دفاع أن يتعرف عليها. عندما عمل الحاسوب بدون أي دفاع، سرب 53 من هذه العناوين المزيفة. ولكن عندما تم تفعيل LPRAG؟ لم يسرب أي منها. أظهرت الرياضيات أن هذا لم يكن حظاً؛ بل كان حماية قوية وشاملة من البداية إلى النهاية.
كما سلطت الدراسة الضوء على بعض الغرائب الأخرى. أحد الدفاعات الذي استخدم "regex" (أداة مطابقة الأنماط) كان بارعاً في حظر عناوين البريد الإلكتروني ولكنه فشل تماماً في منع الحاسوب من تسريب أسماء الأشخاص. كان الأمر أشبه بحارس أمن يفحص الهويات الشخصية لكنه يسمح لكل من يرتدي قبعة بالدخول. وقد أشار الباحثون بعناية إلى أن هذه النتائج محددة بالإعداد البرمجي والحاسوبي الدقيق الذي اختبروه. هم لا يقولون إن طرق الخصوصية هذه عديمة الفائدة للأبد، بل يقولون إنه إذا لم تتحقق من أين يعمل الكود فعلياً، فقد تخدعك الظنون بأنك في أمان بينما لست كذلك.
في النهاية، الدرس الأكبر للورقة البحثية بسيط ولكنه حيوي: قبل أن تثق في درع الخصوصية، اسأل نفسك: "أين يعمل بالضبط؟". فإذا كان الدفاع يغير البحث فقط ويترك الإجابة النهائية دون تغيير، فذلك يشبه قفل الباب الأمامي مع ترك النافذة الخلفية مفتوحة على مصراعيها. لقد أظهر الباحثون أنه من خلال النظر في الكود المصدري وتتبع المسارات النشطة، يمكننا رصد هذه "الإخفاقات الصامتة" التي قد يغفل عنها اختبار الصندوق الأسود البسيط. إن عملهم لا يصنف أي دفاع هو الأفضل للجميع، بل يقدم لنا عدسة مكبرة أكثر حدة للتأكد من أن الدفاعات التي نبنيها تقوم فعلياً بما تعد به.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.