🤖 AI

RULER: Representation-Level Verification of Machine Unlearning

تقدم هذه الورقة RULER، وهي مجموعة من مقاييس التحقق على مستوى التمثيل التي تكشف عن وجود ذاكرة متبقية كبيرة في أساليب محو التعلم التي تبدو ناجحة بموجب تقييمات مستوى المخرجات التقليدية.

المؤلفون الأصليون: Georgina Cosma, Axel Finke

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Georgina Cosma, Axel Finke

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً درس كتاباً ضخماً ليصبح خبيراً. في أحد الأيام، يخبره الناشر: "من فضلك انسَ كل ما تعلمته عن الفصل الخامس". يريد الطالب الامتثال، لكنه لا يستطيع ببساطة حرق الكتاب والبدء من جديد؛ لأن ذلك سيستغرق الكثير من الوقت والطاقة. لذا، يحاول "إلغاء تعلم" الفصل الخامس عبر مسح صفحات هذا الفصل ذهنياً مع الحفاظ على معرفته ببقية الكتاب.

هذه الورقة البحثية، RULER، تدور حول التحقق مما إذا كان الطالب قد أدى مهمة النسيان بشكل جيد حقاً.

المشكلة: "النسيان المزيف"

حالياً، يقوم المعلمون (أو المدققون) بالتحقق مما إذا كان الطالب قد نسي عبر طرح سؤالين بسيطين:

الاختبار: هل لا يزال بإمكان الطالب الإجابة على الأس same الأسئلة المتعلقة ببقية الكتاب بشكل صحيح؟ (نعم، يمكنه ذلك.)
لعبة التخمين: إذا عرضنا على الطالب جملة من الفصل الخامس وسألناه: "هل درست هذه الجملة؟"، هل يمكنه إخبارنا؟ (من المفترض أن يخمن بشكل عشوائي، مثل رمي عملة معدنية.)

لقد اكتشف المؤلفون ثغرة. فقد وجدوا أن الطالب يمكنه اجتياز كلا الاختبارين بشكل مثالي، ومع ذلك يظل "شبح" الفصل الخامس عالقاً في عقله. الأمر يشبه ساحراً نجح في إخفاء أرنب من داخل القبعة (المخرجات)، لكنه لا يزال يمسك بفراء الأرنب سراً في جيبه (الذاكرة الداخلية). تبدو إجابات الطالب نظيفة، لكن "عملية التفكير" لديه لا تزال تتذكر الفصل المحظور.

الحل: RULER (النظارات التي تعمل بالأشعة السينية)

ابتكر المؤلفون مجموعة جديدة من الأدوات تسمى RULER (التحقق على مستوى التمثيل). بدلاً من مجرد الاستماع إلى إجابات الطالب، تقوم RULER بالنظر داخل عقل الطالب لترى كيف يتم تنظيم أفكاره.

لقد استخدموا "عدستين" رئيسيتين (مقاييس) للتحقق من ذلك:

العدسة الأولى: المقارنة بـ "المعيار الذهبي" (المقياس M2)

تخيل أن لديك طالباً "معيارياً ذهبياً" لم يرَ الفصل الخامس من الأساس.

الاختبار: تقارن RULER بين "أنماط التفكير" لدى الطالب الذي حاول نسيان الفصل الخامس وبين طالب "المعيار الذهبي".
النتيجة: على الرغم من أن الطالب الذي يحاول "النسيان" يجتاز الاختبار، إلا أن دماغه لا يزال يعامل الفصل الخامس بشكل مختلف عن طالب المعيار الذهبي. الأمر يشبه مقارنة خريطتين: إحداهما خريطة مثالية لمدينة لا يوجد بها حديقة معينة، والأخرى خريطة حاول شخص ما مسح الحديقة منها لكنه ترك أثراً شبحياً باهتاً. الخرائط لا تتطابق.
النتيجة: في تجاربهم، تركت كل طريقة مستخدمة لـ "إلغاء التعلم" هذه الآثار الشبحية خلفها. لقد اجتاز الطلاب الاختبار، لكنهم فشلوا في فحص الدماغ.

العدسة الثانية: المحقق "بلا عراف" (المقياس M4)

أحياناً، لا يكون لديك طالب "معيار ذهبي" للمقارنة به. لذا، ابتكرت RULER طريقة للتحقق من عقل الطالب باستخدام ذاكرة الطالب نفسه فقط.

الاختبار: تنظر RULE إلى "الأفكار" المتعلقة بالفصل المنسي وتسأل: "هل تبدو هذه الأفكار وكأنها تنتمي لبقية الكتاب، أم أنها تبدو غريبة ومنفصلة؟"
التشبيه: تخيل حشداً من الناس يرتدون قمصاناً زرقاء (البيانات المستبقاة). أنت تطلب من الطالب أن ينسى شخصاً معيناً يرتدي قميصاً أحمر (بيانات النسيان).
- إذا نجح في النسيان، يجب أن يندمج الشخص ذو القميص الأحمر مع الآخرين بحيث يبدو تماماً مثل أصحاب القمصان الزرقاء.
- إذا فشل، فإن القميص الأحمر سيظل بارزاً، أو والأسوأ من ذلك، أن الطالب قد دفع القميص الأحمر بعيداً جداً حتى أصبح الآن يطفو في الفضاء الخارجي (الإزاحة المفرطة).
النتيجة: وجدت RULER أنه في كثير من الحالات، لم تندمج البيانات "المنسية". فإما أنها برزت كذكرى، أو تم دفعها بعيداً جداً، مما خلق تشوهاً غريباً في عقل الطالب.

ما الذي اختبروه؟

اختبر الباحثون هذه العملية على أربع تقنيات مختلفة لـ "إلغاء التعلم" (مثل طرق مختلفة لمحاولة مسح الذاكرة):

الاشتقاق المتزايد (Gradient Ascent): محاولة دفع الذاكرة بعيداً بشكل نشط.
NegGrad+: مزيج من الدفع بعيداً وتعزيز بقية المعلومات.
الضبط الدقيق (Fine-Tuning): مجرد إعادة دراسة بقية الكتاب، على أمل أن تتلاشى الذاكرة القديمة طبيعياً.
SCRUB: طريقة معقدة تستخدم "معلماً" لتوجيه عملية النسيان.

الحكم النهائي: اجتازت جميع الطرق الأربع اختبار "الاستبيان" و"لعبة التخمين" التقليدية. ولكن عندما نظرت RULER داخل عقولهم، فشلت جميعها. لقد تركت جميعها آثاراً كبيرة للبيانات المنسية.

حالة خاصة: التعرف على الوجوه

اختبرت الورقة أيضاً نظام التعرف على الوجوه (مثل كاميرا مراقبة أمنية).

السيناريو: تم تدريب النظام على التعرف على الأشخاص، ثم طُلب منه "نسيان" شخص معين (بناءً على طلب "الحق في النسيان" بموجب قانون GDPR).
النتيجة: حتى بعد إلغاء التعلم، ظل النظام يتعرف على بنية وجه ذلك الشخص تحديداً. كان الأمر أشبه بمحاولة "عدم التعرف" على وجه صديق؛ يمكن للنظام أن يقول "أنا لا أعرف من هذا"، لكن "خريطة الوجه" الداخلية لا تزال تحتوي على رسم دقيق لهذا الشخص. لم تنجح أي طريقة مختبرة في محو هذه الذاكرة على مستوى الهوية بالكامل.

الخلاصة الكبرى

تخلص الورقة إلى أن الطرق الحالية لـ "إلغاء تعلم الآلة" ليست بالدقة التي كنا نعتقدها. فهي جيدة في تنظيف الإجابات التي يقدمها النموذج، لكنها سيئة في تنظيف الذكريات الداخلية التي تنتج تلك الإجابات.

تعمل RULER كصادق للحقائق، حيث تظهر لنا أنه لمجرد أن النموذج يقول إنه نسي، فهذا لا يعني أنه قد نسي بالفعل. ولحماية الخصوصية حقاً، نحتاج إلى فحص "الأفكار" الداخلية للذكاء الاصطنا-عي، وليس فقط مخرجاته النهائية.

ملخص تقني: RULER – التحقق من مستوى التمثيل في نسيان الآلة

بيان المشكلة

يهدف نسيان الآلة (Machine unlearning) إلى إزالة تأثير سجلات تدريب محددة (مجموعة النسيان - forget set) من نموذج منشور دون التكلفة الحسابية لإعادة التدريب من البداية، مع الحفاظ على أداء النموذج على البيانات المتبقية (مجموعة الاحتفاظ - retain set). تعتمد بروتوكولات التقييم الحالية على معايير مستوى المخرجات:

دقة هجوم استنتاج العضوية (MIA): يجب أن تكون قريبة من 0.50 (مستوى الصدفة).
دقة مجموعة الاحتفاظ: يجب الحفاظ عليها.
دقة مجموعة النسيان: يجب أن تطابق نموذج الأوراكل لإعادة التدريب (retrain oracle) وهو نموذج تم تدريبه من البداية على مجموعة الاحتفاظ وحدها.

يحدد المؤلفون قصوراً حرجاً في هذه البروتوكولات: يمكن للنموذج أن يستوفي جميع معايير المخرجات الثلاثة مع الاستمرار في تشفير معلومات حول السجلات المنسية في تمثيلاته الوسيطة. لا تفحص المقاييس الحالية كيف ينظم النموذج داخلياً المعلومات حول السجلات الفردية، مما قد يترك "شعوراً زائفاً بالخصوصية" حيث يتصرف النموذج بشكل صحيح في المخرجات ولكنه يحتفظ بآثار هيكلية للبيانات التي كان من المفترض نسيانها.

المنهجية: RULER

يقدم البحث إطار عمل RULER (التحقق من مستوى التمثيل في نسيان الآلة)، والذي يتكون من عدستين من مقاييس التحقق القائمة على تشابه جيب التمام في الطبقة قبل الأخيرة. يعمل إطار العمل على التضمينات $h_\theta(x)$ مباشرة قبل رأس المهمة المحدد.

العدسة 1: المقاييس المقارنة بالأوراكل (تتطلب أوراكل إعادة تدريب)

تقارن هذه المقاييس النموذج الذي تم نسيانه ( $\theta_u$ ) بنموذج أوراكل إعادة التدريب ( $\theta_r$ ) المدرب من البداية على مجموعة الاحتفاظ. لضمان أن الاختلافات التمثيلية تعكس عملية النسيان وليس التهيؤ العشوائي، يتشارك النموذج الأصلي ( $\theta_o$ ) والأوراكل ( $\theta_r$ ) نفس البذرة العشوائية.

M1 (تشابه مقارنة الأوراكل): متوسط تشابه جيب التمام بين سجلات مجموعة النسيان في $\theta_u$ و $\theta_r$ . بينما يعد التشابه العالي مطلوباً، إلا أن M1 يفتقر إلى قيمة صفرية ثابتة لاختبار المعنوية.
M2 (فجوة المعايرة الموقعة): هو المقياس الأساسي للعدسة 1. يحسب الفرق بين متوسط تشابه سجلات مجموعة النسيان ووسيط تشابه سجلات مجموعة الاحتفاظ بين $\theta_u$ $θ_{u}$ و $\theta_r$ $θ_{r}$ .
- الفرضية الصفرية: $M2 = 0$ .
- التفسير: تشير القيم السالبة إلى الذاكرة المتبقية (سجلات مجموعة النسيان أقل تشابهاً مع الأوراكل من سجلات مجموعة الاحتفاظ). تشير القيم الموجبة إلى الإفراط في التصحيح. تم استخدام الوسيط لخط الأساس الخاص بمجموعة الاحتفاظ لتجنب التضخم الناتج عن التوزيعات ذات الالتواء نحو اليمين.
M3 (إزاحة التمثيل): يقيس التغير في التشابه مع الأوراكل قبل وبعد عملية النسيان. تشير القيم الموجبة إلى أن عملية النسيان نقلت التمثيلات لتصبح أقرب إلى الأوراكل؛ وتشير القيم السالبة إلى أنها أبعدتهم.

العدسة 2: المقياس المستقل عن الأوراكل (لا يتطلب أوراكل إعادة تدريب)

M4 (رتبة المئوية): يعمل هذا المقياس حصرياً على الهندسة الداخلية للنموذج المنسي $\theta_u$ $θ_{u}$ . لكل سجل نسيان، يجد أقرب جار له في مجموعة الاحتفاظ ويقيس تشابه جيب التمام بينهم. ثم يتم ترتيب هذا التشابه مقابل توزيع تشابه أقرب جار بين سجلات الاحتفاظ نفسها (ترك واحد خارج المجموعة).
- الفرضية الصفرية: $M4 = 0.50$ .
- التفسير: القيمة 0.50 تعني أن سجل النسيان غير قابل للتمييز هندسياً عن سجل الاحتفاظ. تشير القيم $> 0.50$ إلى الذاكرة المتبقية (سجل النسيان شديد التشابه مع مجموعة الاحتفاظ). تشير القيم $< 0.50$ إلى الإزاحة المفرطة (تم دفع السجل بعيداً جداً عن توزيع الاحتفاظ).

الإعداد التجريبي

مجموعات البيانات: تم استخدام عشر مجموعات بيانات للتصنيف الجدولي (مثل Adult Income، Breast Cancer، German Credit) كإعداد أساسي. كما تم تطبيق الإطار على بيانات صور واسعة النطاق (CIFAR-10، SVHN، CIFAR-100)، ونصوص سريرية (MTSamples مع Bio_ClinicalBERT)، ونسيان الهوية الوجهية (LFW).
النماذج: MLP ذو طبقتين مخفيتين ثابتتين (TabularMLP) للبيانات الجدولية؛ شبكات CNN و ResNet-18 للصور؛ ونماذج BERT للنصوص.
طرق النسيان: تم تقييم أربع طرق تقريبية: Gradient Ascent، و NegGrad+، و Fine-Tuning، و SCRUB (القائم على التقطير). كما تم تضمين طريقة خامسة، Bad Teacher، لاختبار التنافر الهيكلي مقابل التنافر الخاص بالمنهج.
البروتوكول: استخدمت التجارب 10 مجموعات بيانات، 10 بذور تدريب، وثلاث نسب نسيان ( $1\%, 5\%, 10\%$ ). تم إجراء التحليل الإحصائي باستخدام النماذج الخطية ذات التأثيرات المختلطة (LMM) مع اعتبار مجموعة البيانات كتقاطع عشوائي، جنباً إلى جنب مع اختبارات Wilcoxon signed-rank.

النتائج الرئيسية

1. التنافر بين مستويات المخرجات والتمثيل

اجتازت جميع طرق النسيان التقريبية الأربع تقييمات المخرات القياسية (دقة MIA ضمن $\pm 0.05$ من 0.50، والحفاظ على دقة مجموعة الاحتفاظ). ومع ذلك، رصد M2 بقايا ذات دلالة إحصائية في 10 من أصل 12 حالة ( $p < 0.05$ ).

الاتجاهية: كان M2 سالباً باستمرار عبر جميع الطرق ونسب النسيان، مما يشير إلى أن سجلات مجموعة النسيان تظل أبعد عن تمثيل الأوراكل من سجلات الاحتفاظ.
حجم الأثر: نمت أحجام الأثر ( $r_{rb}$ ) مع زيادة نسبة النسيان، لتصل إلى قيم كبيرة ($0.90 - 0.96 $) عند نسبة نسيان$ 10%$.
استقلال المنهج: لم تظهر الاختبارات البعدية أي فرق معنوي بين الطرق الأربع في M2 أو M4 أو MIA. هذا التنافر هو خاصية لمهمة النسيان نفسها، وليس ناتجاً عن خوارزمية محددة.

2. التحقق من نموذج "المعلم السيئ" (Bad Teacher)

أظهرت طريقة Bad Teacher، التي تستخدم آلية مختلفة جذرياً (تدريب طالب لمطابقة معلم تم تهيؤه عشوائياً على سجلات النسيان)، أنها اجتازت أيضاً فحوصات مستوى المخرجات ولكنها أظهرت قيم M2 سالبة كبيرة. هذا يؤكد أن الفشل في مسح التمثيلات الوسيطة هو قصور هيكلي في مناهج النسيان التقريبية الحالية، وليس نتاجاً لتقنيات تعتمد على التدرج أو التقطير.

3. الفائدة التشخيصية لـ M4

البيانات الجدولية/العامة: أظهر M4 رتباً متوسطة أعلى قليلاً من 0.50، مدفوعة بمجموعات البيانات التي أظهرت ذاكرة قابلة للكشف (مثل Breast Cancer، Heart Disease).
هوية الوجه (LFW): في إعداد هوية الوجه حيث تم تدريب النموذج لتصنيف الجنس ولكن تم ترميز الهوية عرضياً، كانت قيم M4 قبل النسيان مرتفعة للغاية ($0.73 - 0.94$)، مما أكد وجود ذاكرة قوية للهوية. بعد النسيان، لم تنجح أي طريقة في مسح هذه الإشارة تماماً؛ حيث ترك Gradient Ascent و Fine-Tuning الإشارة كما هي تقريباً، بينما تسبب SCRUB في إزاحة مفرطة عند نسب نسيان منخفضة.
البيانات واسعة النطاق/الذاكرة الضعيفة: في مجموعات البيانات الجدولية والصور واسعة النطاق حيث أظهرت النماذج الأصلية $M4 \approx 0.50$ (لا توجد ذاكرة قابلة للكشف)، أدخلت طرق النسيان أحياناً شوائب (إزاحة مفرطة أو إزاحة)، مما يشير إلى أن النسيان يمكن أن يضعف جودة التمثيل عندما لا يكون ضرورياً بدقة.

الأهمية والادعاءات

يدعي البحث أن التقييم على مستوى المخرجات غير كافٍ للتحقق من نسيان الآلة. يمكن للنموذج أن يستوفي جميع معايير الخصوصية والمنفعة القياسية مع الاحتفاظ بآثار قابلة للقياس للبيانات المنسية في تمثيلاته الداخلية.

RULER كأداة تحقق: يقترح المؤلفون M2 و M4 كإضافات ضرورية لبروتوكول التقييم. يوفر M2 اختباراً على مستوى السكان للذاكرة المتبقية مقابل الأوراكل، بينما يعمل M4 كتشخيص مستقل عن الأوراكل لكل من ما قبل النسيان (لتقييم ما إذا كان النسيان ضرورياً) وما بعد النسيان (للكشف عن المسح غير المكتمل أو الإزاحة المفرطة).
قصور الطرق الحالية: يشير الاتساق في قيم M2 السالبة عبر مختلف المناهج والبنى إلى أن أهداف النسيان التقريبية الحالية مُحسّنة لسلوك المخرجات ولكنها تفشل في ضبط التمثيلات الوسيطة.
النطاق المتواضع: يذكر المؤلفون صراحة أن هذه المقاييس هي أدوات تحقق تقنية، وليست اختبارات امتثال قانوني للمادة 17 من GDPR. هم يصفون البقايا التمثيلية ولا يدعون تحديد الكفاية التنظيمية. علاوة على ذلك، تعتمد هذه المقاييس على تشابه جيب التمام، وهو ليس ثابتاً تحت الدوران، مما يستلزم تصميم البذرة المزدوجة لـ M2.

في الختام، يوضح البحث أن "النسيان" في تعلم الآلة هو حالياً وهم على مستوى المخرجات للعديد من المناهج التقريبية، وأن المسح الحقيقي يتطلب التحقق على مستوى التمثيل.