🤖 machine learning

Tackling Fake Forgetting through Uncertainty Quantification

تحدد هذه الورقة ظاهرة "النسيان الزائف"، حيث تفشل دقة إلغاء التعلم في اكتشاف المعلومات المحتفظ بها، وتقترح مقياساً جديداً (CR) وإطار عمل (CPU) قائماً على التنبؤ المطابق لضمان إزالة الملصق الحقيقي (ground truth label) بفعالية من مجموعة عدم اليقين الخاصة بالنموذج.

المؤلفون الأصليون: Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

نُشر 2026-05-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yingdan Shi, Sijia Liu, Kaize Ding, Ren Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً قد حفظ كتاباً ضخماً عن ظهر قلب. الآن، افترض أن صفحة معينة في ذلك الكتاب تحتوي على سر يجب مسحه للأبد (رب perhaps بسبب قوانين الخصوصية). تطلب من الطالب أن "ينسى" تلك الصفحة.

المشكلة: وهم "النسيان الزائف"

تقليدياً، للتحقق مما إذا كان الطالب قد نسي، نسأله سؤالاً حول تلك الصفحة المحددة. إذا أجاب بشكل خاطئ، نقول: "رائع! لقد نسيها".

لكن هذه الورقة البحثية تجادل بأن هذا الاختبار معيب. الأمر يشبه سؤال طالب عن عاصمة دولة طُلب منه نسيانها. إذا قال "باريس" بدلاً من "لندن"، نظن أنه قد نسيها. ولكن ماذا لو كان لا يزال "يعرف" أنها لندن في أعماقه، لكنه ارتبك فقط بسبب السؤال؟ أو الأسوأ من ذلك، ماذا لو كان لا يزال بإمكانه تخمين الإجابة الصحيحة إذا أعطيته تلميحاً؟

يطلق المؤلفون على هذا "النسيان الزائف". يبدو الطالب وكأنه قد نسي لأنه فشل في الاختبار البسيط، لكن المعلومات لا تزال عالقة في دماغه، وجاهزة للاسترجاع.

الحل: "شبكة الثقة"

للكشف عن هذا النسيان الزائف، قدم المؤلفون أداة جديدة تعتمد على ما يسمى بـ التنبؤ المطابق (Conformal Prediction).

فكر في التنبؤ المطابق كأنه شبكة أمان أو دائرة تخمين. بدلاً من طلب إجابة واحدة من الطالب، تطلب منه رسم دائرة حول جميع الإجابات التي يعتقد أنها قد تكون صحيحة.

إذا نسي الطالب السر حقاً، يجب أن تكون دائرته واسعة وفوضوية، ولا ينبغي أن تتضمن الإجابة الحقيقية على الإطلاق.
إذا كان "يزيف" النسيان فقط، فستظل دائرته ضيقة، وستكون الإجابة الحقيقية مختبئة داخلها، حتى لو لم يجزها كأفضل تخمين له.

المقياس الجديد: "نسبة الثقة" (CR)

ابتكر المؤلفون درجة جديدة تسمى CR (نسبة المطابقة) لقياس هذا.

الدرجة القديمة (UA): كانت تتحقق فقط مما إذا كان الطالب قد أخطأ في الإجابة الواحدة. (سهلة التزييف).
الدرجة الجديدة (CR): تتحقق مما إذا كانت الإجابة الحقيقية لا تزال مختبئة داخل "شبكة الأمان" الخاصة بالطالب. إذا كانت الإجابة الحقيقية لا تزال داخل الشبكة، فإن الدرجة تقول: "أنت لم تنسَ حقاً بعد".

الإطار الجديد: "CPU"

لإصلاح هذه المشكلة، بنى المؤلفون طريقة تدريب جديدة تسمى CPU (التنبؤ المطابق لعدم التعلم/Unlearning).

تخيل أنك تعلم الطالب كيف ينسى.

الطريقة القديمة: أنت فقط تقول له، "لا تقل 'لندن'".
طريقة CPU: أنت تقول له، "ليس فقط لا تقل 'لندن'، بل تأكد من أن 'لندن' بعيدة جداً عن قائمة تخميناتك المحتملة بحيث تقع تماماً خارج شبكة الأمان الخاصة بك".

لقد حققوا ذلك من خلال استعارة تقنية من الأمن السيبراني (تسمى هجوم C&W) وتعديلها. بدلاً من مجرد محاولة خفض الثقة في الإجابة الخاطئة، هم يعملون بنشاط على دفع الإجابة الصحيحة خارج دائرة التنبؤ.

النتائج

عندما اختبروا هذا على مهام التعرف على الصور (مثل تحديد صور الكلاب أو السيارات):

وجدوا أن العديد من الأساليب الحالية كانت بالفعل "تزيف" النسيان. كانت النماذج ستخطئ في تصنيف الصورة، لكن التصنيف الصحيح كان لا يزال مختبئاً داخل دائرة التنبؤ الخاصة بها.
نجحت درجة CR الجديدة في كشف هذه التزييفات.
نجح إطار عمل CPU الجديد في إجبار النماذج فعلياً على دفع الإجابة الصحيحة خارج الدائرة، مما أدى إلى نسيان أكثر موثوقية وحقيقية، دون إفساد قدرة النموذج على التعرف على الأشياء الأخرى.

باختصار

تقول هذه الورقة: "لا تكتفِ بالتحقق مما إذا كان النموذج قد أخطأ في الإجابة؛ بل تحقق مما إذا كانت الإجابة لا تزال مختبئة في شبكة الأمان الخاصة به. إذا كانت كذلك، فهو لم ينسَ حقاً. لقد بنينا طريقة جديدة لقياس هذا، وطريقة تدريب جديدة للتأكد من أن البيانات قد حُذفت بالفعل".

ملخص تقني: معالجة النسيان الزائف من خلال تقدير عدم اليقين

بيان المشكلة

يهدف "نسيان الآلة" (Machine unlearning) إلى إزالة تأثير نقاط بيانات محددة من نموذج مدرب، وهي قدرة مطلوبة بشكل متزايد بموجب لوائح مثل GDPR. وبينما تُعد "دقة النسيان" (Unlearning Accuracy - UA) هي المقياس المعياري لتقييم الأداء — حيث تقيس معدل خطأ النموذج في تصنيف بيانات "النسيان" — حدد المؤلفون خللاً حرجاً: النسيان الزائف (Fake Forgetting).

تجادل الورقة بأن مقياس UA غير كافٍ لأنه يعتمد فقط على التنبؤات النقطية. فقد يخطئ النموذج في تصنيف نقطة بيانات من بيانات النسيان (مما يعطي درجة عالية في UA)، بينما لا يزال يحتفظ بثقة عالية في الملصق الحقيقي (ground truth label) ضمن تقديرات عدم اليقين الخاصة به. وتحديداً، قد يظل الملصق الحقيقي متضمناً في مجموعة التنبؤ المطابقة (conformal prediction set) الخاصة بالنموذج، مما يعني أن المعلومات لم تُمسح حقاً من حدود قرار النموذج. ويتم توضيح هذه الظاهرة عبر تقنية Grad-CAM، والتي تُظهر أنه حتى عندما يخطئ النموذج في تصنيف صورة ما، فإن آليات الانتباه لديه لا تزال تركز غالباً على الميزات الرئيسية للكائن إذا ظل الملصق الحقيقي ضمن مجموعة التنبؤ.

المنهجية

1. مقياس النسبة المطابقة (Conformal Ratio - CR)

لمعالجة قيود UA، اقترح المؤلفون مقياس تقييم جديد يسمى النسبة المطابقة (CR)، المستوحى من التنبؤ المطابق المنقسم (Split Conformal Prediction - SCP). وخلافاً لـ UA، الذي يتحقق فقط من الفئة المتوقعة الواحدة، يقوم CR بتقييم مجموعة التنبؤ بأكملها.

يُعرف المقياس كالتالي:
$CR = \frac{\text{Coverage}}{\text{Set Size}}$

التغطية (Coverage): نسبة نقاط بيانات النسيان التي يقع فيها الملصق الحقيقي ضمن مجموعة التنبؤ المطابقة. تشير التغطية العالية في بيانات النسيان إلى "نسيان زائف".
حجم المجموعة (Set Size): متوسط عدد الملصقات في مجموعة التنبؤ.
التفسير: تشير قيمة CR المنخفضة في بيانات النسيان ( $D_f$ ) إلى نسيان أقوى (أي تم استبعاد الملصق الحقيقي بنجاح من المجموعة). وعلى العكس من ذلك، تشير قيمة CR العالية في بيانات الاختبار ( $D_{test}$ ) إلى الحفاظ على فائدة النموذج.

يؤكد المؤلفون أن المقاييس الحالية غالباً ما تفشل في اكتشاف الحالات التي يظل فيها الملصق الحقيقي ضمن مجموعة التنبؤ، بينما يلتقط CR ذلك من خلال اشتراط دفع الملصق الحقيقي ليتجاوز عتبة درجة عدم التطابق.

2. إطار التنبؤ المطابق للنسيان (Conformal Prediction Unlearning - CPU)

بناءً على الرؤى المستمدة من CR، يقترح المؤلفون إطار عمل CPU، وهو إطار عام لتعزيز طرق النسيان القائمة على التدريب. الفكرة الجوهرية هي تعديل دالة الخسارة لإجبار الملصق الحقيقي لبيانات النسيان صراحةً على الخروج من مجموعة التنبؤ المطابقة.

يكيف إطار العمل دالة خسارة هجوم Carlini & Wagner (C&W) العدائي. فبدلاً من مجرد تعظيم الفرق بين الفئة الحقيقية والفئة المنافسة الأعلى، يقوم CPU بدفع درجة عدم التطابق للملصق الحقيقي ( $S(x, y_t)$ ) لتتجاوز العتبة المطابقة ( $\hat{q}$ ).

دالة الخسارة المقترحة هي:
$L_{cpu}(x, y_t) = \max\{\hat{q} - S(x, y_t), -\Delta\}$

حيث أن:

$\hat{q}$ هي العتبة المستمدة من مجموعة معايرة.
$S(x, y_t) = 1 - p_t(x)$ هي درجة عدم التطابق (الاحتمال العكسي).
$\Delta$ هو معامل الهامش (تم ضبطه على 0.01 في التجارب).

تشجع هذه الخسارة النموذج على زيادة درجة عدم التطابق للملصق الحقيقي حتى تتجاوز $\hat{q}$ ، مما يؤدي فعلياً إلى استبعاد الملصق الحقيقي من مجموعة التنبؤ. وتجمع الدالة النهائية بين الخسارة الأصلية وهذا المصطلح الجديد:
$L_{total} = L_{original} + \lambda \cdot L_{cpu}$

المساهمات الرئيسية

تحديد النسيان الزائف: توضح الورقة أن جزءاً كبيراً من البيانات التي تُحدد على أنها "منسية" بواسطة UA (بسبب الخطأ في التصنيف) يمكن استعادتها لأن الملصق الحقيقي يظل ضمن مجموعة التنبؤ المطابقة.
مقياس مبتكر (CR): تقديم النسبة المطابقة، التي توفر تقييماً أكثر موثوقية لجودة النسي_ان من خلال تقييم مجموعة التنبؤ بأكملها بدلاً من مجرد التنبؤ الأعلى.
إطار عمل CPU: إطار عمل للنسيان عام وغير مرتبط بنموذج معين، يدمج مفاهيم التنبؤ المطابق في خسارة التدريب (عبر دالة C&W المعدلة) لضمان استبعاد الملصق الحقيقي من مجموعة التنبؤ.
تقييم شامل: تجارب واسعة النطاق عبر مجموعات بيانات متعددة (CIFAR-10, Tiny ImageNet, Oxford-Pets) وبنيات مختلفة (ResNet-18, ViT, Swin-T) تثبت أن CPU يحسن جودة النسيان دون التأثير بشكل كبير على فائدة النموذج في البيانات المتبقية أو بيانات الاختبار.

النتائج التجريبية

تفوق المقياس: في تجارب مع 12 طريقة أساسية للنسيان مختلفة، تغير ترتيب الطرق بشكل كبير عند تقييمها باستخدام CR مقارنة بـ UA. وقد تبين أن الطرق التي أدت أداءً جيداً تحت مقياس UA (مثل Labeling العشوائي) عانت من نسيان زائف تحت مقيال CR، بينما أظهرت طرق أخرى (مثل Salun) قدرات أفضل في النسيان الحقيقي.
أداء إطار العمل: تطبيق إطار CPU على الطرق الموجودة (RT, FT, RL) قلل بشكل كبير من قيمة CR في بيانات النسيان (مما يشير إلى نسيان أفضل) مع الحفاظ على استقرار دقة الاحتفاظ (RA) ودقة الاختبار (TA).
- على سبيل المثال، في مجموعة CIFAR-10 مع ResNet-18، أدى تطبيق CPU على طريقة الضبط الدقيق (FT) إلى تقليل الفجوة في UA مقارنة بأساس إعادة التدريب (RT) من 4.8% إلى 0.7% مع خفض قيمة CR في بيانات النسيان في الوقت نفسه.
الدليل البصري: أكدت تصورات Grad-CAM أنه عندما يتم استبعاد الملصق الحقيقي من مجموعة التنبؤ (كما حققه CPU)، فإن مناطق التنشيط في النموذج تنتقل بعيداً عن الميزات الرئيسية للكائن، على عكس النسيان القياسي حيث تظل الميزات بارزة رغم الخطأ في التصنيف.
الكفاءة: أدت إضافة خسارة CPU إلى عبء حسابي ضئيل، حيث زادت أوقات التدريب بأقل من دقيقة واحدة عبر مختلف مجموعات البيانات.

الأهمية والادعاءات

تدعي الورقة أنها توفر أساساً أكثر صرامة لنسيان الآلة من خلال نقل نموذج التقييم من الدقة البسيطة إلى تقدير عدم اليقين. ويؤكد المؤلفون أن الاعتماد فقط على UA يخلق شعوراً زائفاً بالخصوصية والأمان. ومن خلال ضمان عدم مجرد الخطأ في تصنيف الملصق الحقيقي، بل استبعاده بنشاط من مجموعة التنبؤ المطابقة، فإن مقياس CR المقترح وإطار عمل CPU يقدمان ضماناً أكثر موثوقية بأن البيانات قد نُسيت حقاً. يسلط العمل الضوء على أن طرق النسيان الحالية غالباً ما تفشل في معالجة ثقة التنبؤات، وأن النهج المقترح يسد هذه الفجوة باستخدام مبادئ التنبؤ المطابق والهجمات العدائية.