Can LLMs Truly Forget? Revealing Unlearning Gaps Through Adversarial Evaluation
تكشف هذه الورقة عن فجوة كبيرة بين مقاييس الاستعلام النظيف القياسية والمتانة الخصامية في عملية "إلغاء التعلم" (machine unlearning)، حيث تُظهر أنه بينما تبدو أساليب الضبط الدقيق ناجحة في نسيان البيانات بموجب التقييم التقليدي، إلا أن المعلومات المستهدفة تظل قابلة للاسترداد بدرجة عالية من خلال التلقين الاستراتيجي، مما يسلط الضوء على الحاجة الماسة لاختبار الإجهاد الخصامي لضمان إلغاء تعلم حقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مكتبة تحتوي كل كتبها على مجموع المعرفة البشرية، لكن بعض صفحاتها تحمل أسراراً يجب محوها: عناوين خاصة، أو نصائح طبية عفا عليها الزمن، أو صيغ ملكية فكرية. في العالم الرقمي، تعمل أنظمة الذكاء الاصطناعي كأنها هذه المكتبات الشاسعة، حيث تتدرب على مجموعات هائلة من النصوص. وعندما يطلب مستخدم من الحاسوب أن "ينسى" معلومة معينة، فإن الهدف هو إزالة هذه البيانات بدقة تجعل الآلة غير قادرة على استرجاعها، مع بقائها متذكرة لكل شيء آخر. هذه العملية، المعروفة باسم "النسيان الآلي" (machine unlearning)، تعد حيوية للخصوصية والسلامة. ومع ذلك، ثمة سؤال ظل يطارد الباحثين: إذا قال الحاسوب إنه نسي شيئاً ما، فهل يمكن الوثوق به حقاً؟ أم أن المعلومة مجرد مخبأة، تنتظر من يستخرجها بسؤال ذكي؟
لقد شرع فريق من الباحثين من جامعة ماساتشوستس أمهرست وشركة مايكروسوفت في وضع خطة للإجابة على ذلك من خلال اختبار حدود مدى قدرة هذه المكتبات الرقمية على النسيان فعلياً. ركزوا على نوع محدد من نماذج الذكاء الاصطناعي، وهو النموذج المدرب على اتباع التعليمات والإجابة على الأسئلة. أراد الفريق معرفة ما إذا كانت الاختبارات القياسية المستخدمة لقياس النسيان كافية، أم أنها تغفل عن نقطة ضعف جوهرية. وللقيام بذلك، أنشأوا تجربة منضبطة باستخدام مجموعة بيانات لسير ذاتية لمؤلفين وهميين. علموا النموذج معرفة هؤلاء المؤلفين المزيفين ثم حاولوا جعله ينسى بعضهم. واختبروا طريقتين رئيسيتين للقيام بذلك: إحدى الطريقتين حاولت كبح الذاكرة عبر تغيير كيفية توجيه السؤال للنموذج، والأخرى قامت فعلياً بإعادة توصيل الروابط الداخلية للنموذج لمحو الذاكرة.
أجرى الباحثون أولاً الاختبارات القياسية، والتي تتضمن طرح أسئلة بسيطة ومباشرة حول المعلومات التي كان من المفترض أن ينساها النموذج. في ظل هذه الظروف الهادئة وغير العدائية، بدت عدة طرق وكأنها تعمل بشكل مثالي. سجلت النماذج درجات عالية جداً، مما يشير إلى أنها نجحت في محو الحقائق المستهدفة. وبدت إحدى الطرق، على وجه الخصوص، وكأنها قد نسيت المعلومات تماماً، حيث أشارت الدرجة إلى نجاح شبه كلي. بدا الأمر كما لو أن البيانات قد اختفت للأبد.
لكن الفريق لم يتوقف عند هذا الحد. فقد اشتبهوا في أن النموذج قد يكون قادراً على مقاومة سؤال بسيط بينما يمكن خداعه بسؤال أكثر تعقيداً. ولاختبار ذلك، شنوا سلسلة من الهجمات الاستراتيجية. فبدلاً من السؤال المباشر، استخدموا برنامجاً "هجومياً" لتوليد مئات المطالبات الخادعة المصممة لتجاوز دفاعات النموذج. تضمنت هذه المطالبات سيناريوهات تقمص أدوار حيث يُطلب من النموذج التظاهر بأنه خبير، وتعليمات تحاول تجاوز قواعد السلامة الخاصة به، وأسئلة صيغت بطرق افتراضية أو غير مباشرة. كما حاولوا طرح نفس الأسئلة بلغات مختلفة لمعرفة ما إذا كان النموذج سيزل لسانُه عند تغير اللغة.
كشفت النتائج عن فجوة مذهلة بين ما أظهرته الاختبارات القياسية وما كان يحدث بالفعل. فبينما اجتازت النماذج الاختبارات البسيطة بتفوق باهر، فشلت فشلاً ذريعاً عندما واجهت الهجمات الاستراتيجية. وجد الباحثون أنه حتى النماذج التي ادعت نسيان المعلومات، أمكن استدراجها للكشف عنها مرة أخرى. وفي الواقع، عند مهاجمتها بهذه المطالبات الذكية، أفشت النماذح المعلومات السرية في أكثر من اثنتين وسبعين بالمائة من المحاولات. وبالنسبة لبعض الطرق، كانت نسبة الفشل تقترب من نسبة النموذج الذي لم يُعلم أبداً كيف ينسى أي شيء. لم تكن المعلومة قد ذهبت، بل كانت فقط قابعة في حالة ركود، تنتظر المفتاح المناسب لفتحها.
اكتشف الفريق أيضاً أن طريقة طرح السؤال تؤثر بشكل هائل. فالأسئلة المباشرة كانت أحياناً أسهل في المقاومة، لكن المطالبات التي استخدمت شخصيات ذات سلطة، أو طلبت من النموذج إكمال جملة، أو صاغت الطلب كسيناريو افتراضي، كانت أكثر فعالية في كسر ذاكرة النموذج. ومن المثير للاهتمام، عندما قام الباحثون ببساطة بترجمة الأسئلة إلى لغات أخرى مثل الألمانية أو الإسبانية أو اليابانية دون إضافة أي إطار خادع، صمدت النماذج بشكل أفضل بكثير، حيث سربت المعلومات في أقل من ثلاث بالمائة من الحالات. وهذا يشير إلى أن الضعف لا يتعلق باللغة فحسب، بل بالبنية المحددة للحيلة المستخدمة في طرح السؤال.
ولضمان دقة نتائجهم، جعل الباحثون خبيراً بشرياً يراجع عينة صغيرة من استجابات النموذج. ووجدوا أن النظام الآلي المستخدم لتقييم التسريبات كان دقيقاً في الغالب، حيث اتفق مع الحكم البشري في سبع حالات من أصل عشر. وبينما كان النظام الآلي يخطئ أحياناً — بتصنيف إجابة خاطئة على أنها تسريب أو تفويت إجابة صحيحة — إلا أنه قدم إشارة موثوقة بأن المعلومات قد تم استرجاعها بالفعل. وقد أكد هذا أن معدل نجاح الهجمات العالي كان حقيقياً وليس مجرد خلل في برمجيات الاختبار.
تخلص الدراسة إلى أن الطريقة الحالية لاختبار ما إذا كان الآلة قد نسيت شيئاً ما هي طريقة غير كافية. يمكن للنموذج أن يبدو مثالياً في تقرير مدرسي قياسي، بينما يظل معرضاً للخطر بشكل خطير أمام خصم مصمم. ويجادل الباحثون بأنه لا يمكننا الاعتماد على الأسئلة البسيطة والنقية لإثبات إزالة البيانات. بدلاً من ذلك، يجب علينا إخضاع هذه الأنظمة لاختبارات ضغط باستخدام نفس نوع الأسئلة الذكية والاستراتيجية التي قد يستخدمها مهاجم حقيقي. وحتى نتمكن من إثبات أن النموذج لا يمكن خداعه للكشف عن أسراره، لا يمكننا التأكد من أنه قد نسيها حقاً. إن الفجوة بين "الظهور بمظهر الناسي" و"النسيان الفعلي" لا تزال واسعة، وسد هذه الفجوة سيتطلب طرقاً جديدة لاختبار وبناء هذه العقول الرقمية القوية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.