🤖 AI

Exploring Nonlinear Pathway in Parameter Space for Machine Unlearning

تقترح هذه الورقة البحثية "إلغاء تعلم اتصال النمط" (MCU)، وهو إطار عمل مبتكر يستفيد من اتصال النمط غير الخطي والاستراتيجيات التكيفية للتغلب على تشابك الأوزان في الطرق الحالية، مما يؤدي إلى توليد طيف من نماذج إلغاء التعلم التي توازن بفعالية بين جودة النسيان والأداء التنبؤي مع تقليل العبء الحسابي.

المؤلفون الأصليون: Yingdan Shi, Ren Wang

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yingdan Shi, Ren Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً آلياً (AI) مدرباً تدريباً عالياً، وقد حفظ آلاف الوصفات. فجأة، طلب منه أحد الزبائن "نسيان" وصفة معينة (ربما لأن أحد المكونات أصبح محظوراً، أو لأن الزبون يريد حذف بياناته).

الطريقة القديمة للقيام بذلك كانت تشبه قولك للطباخ: "انسَ تلك الوصفة الواحدة"، والأمل في أنه يمكنه مسح تلك الفكرة تحديداً دون إفساد بقية القائمة. غالباً، لم تكن هذه الطريقة تعمل بشكل جيد؛ فإما أن ينسى الوصفة ويفقد أيضاً القدرة على صنع أطباق مشابهة (أضرار جانبية)، أو يستمر في صنع الطبق المحظور على أي حال.

طريقة قديمة أخرى كانت تشبه محاولة إصلاح عقدة متشابكة من سماعات الرأس بمجرد السحب من أحد طرفيها. تطلق الورقة البحثية على هذا "التحديثات الخطية". والمشكلة هي أن معرفة الطباخ عبارة عن شبكة معقدة ومتشابكة؛ لذا فإن السحب على خيط واحد (الوصفة السيئة) غالباً ما يؤدي بالخطأ إلى شد أو إرخاء خيوط أخرى (الوصفات الجيدة)، مما يتسبب في إفساد القائمة بأكملها.

الحل الجديد: إطار عمل "الاتصال النمطي للنسيان" (MCU)

تقترح هذه الورقة طريقة أكثر ذكاءً ومرونة لعملية "النسيان". فبدلاً من مجرد السحب على خيط أو البدء من الصفر، هم يعاملون معرفة الذكاء الاصطناعي كأنها تضاريس من التلال والوديان.

إليك كيف يعمل أسلوبهم الجديد، مقسماً إلى مفاهيم بسيطة:

1. تشبيه "المسار"

تخيل أن معرفة الذكاء الاصطناعي الحالية هي نقطة على خريطة. وحالة "النسيان المثالي" هي نقطة أخرى على الخريطة.

الطريقة القديمة: حاولت رسم خط مستقيم بين النقطتين. ولكن لأن التضاريس مليئة بالمنحدرات والوديان المخفية (التعقيد غير الخطي)، فإن الخط المستقيم غالباً ما يؤدي إلى كارثة (أداء سيئ).
الطريقة الجديدة (MCU): بدلاً من الخط المستقيم، هم يجدون مساراً منحنياً ومتعرجاً يربط بين النقطتين بأمان. هذا المسار يتجنب المنحدرات ويحافظ على مهارات الطباخ الأخرى سليمة.

الـ 2. "طيف" الحلول

عادةً، عندما تحاول جعل الذكاء الاصطناعي ينسى شيئاً ما، تحصل على نتيجة واحدة فقط: نسخة جديدة من الطباخ.

ابتكار الورقة البحثية: طريقتهم لا تعطيك نتيجة واحدة فحسب، بل تكشف عن طيف كامل من الطباخين على طول ذلك المسار المنحني.
لماذا هذا مهم: تخيل أن لديك نقطة بيانات "منخفضة المخاطر" تريد نسيانها بلطف، ونقطة بيانات "عالية المخاطر" تريد نسيانها تماماً.
- يمكنك اختيار طباخ من بداية المسار لا يزال يتذكر الكثير ولكنه نسي البيانات السيئة المحددة.
- يمكنك اختيار طباخ من نهاية المسار يكون قد نسي البيانات السيئة بشكل تام، حتى لو كان أقل مهارة قليلاً في أشياء أخرى.
- الفائدة: ستحصل على القدرة على اختيار "نكهة" النسيان التي تناسب احتياجاتك دون الحاجة لإعادة تدريب الطباخ بالكامل من البداية.

3. "القناع الذكي" (المُرشّح)

لجعل هذه العملية سريعة وفعالة، يستخدم المؤلفون استراتيجية تصفية.

فكر في دماغ الذكاء الاصطناعي على أنه يحتوي على ملايين الخلايا العصبية. تحديث جميع هذه الخلايا عملية بطيئة ومكلفة.
طريقة الورقة البحثية تضع قناعاً فوق الدماغ. وتقول: "قم بتحديث الخلايا العصبية الضرورية للوصفة السيئة فقط، واترك الخلايا العصبية الخاصة بالوصفات الجيدة دون مساس تماماً".
هذا يشبه قولك للطباخ: "غير فقط طريقة تقطيعك للبصل لهذا الطبق الواحد؛ ولا تلمس طريقة خبزك للخبز". هذا يجعل العملية أسرع بكثير (بنسبة تصل إلى 75% أسرع في اختباراتهم) دون الإضرار بالجودة.

4. العقوبة "ذاتية الضبط"

عادةً، يتعين عليك تخمين مدى قوة المحاولة لجعل الذكاء الاصطناعي ينسى. إذا حاولت بقوة كبيرة، ستكسر النموذج؛ وإذا حاولت بنعومة زائدة، فلن ينسى.

تقدم الورقة البحثية مقبضاً ذاتي الضبط. بينما يتعلم الذكاء الاصطناعي النسيان، يقوم هذا المقبض بتعديل نفسه تلقائياً.
إذا كان الذكاء الاصطناعي ينسى الكثير (يفقد المهارات الجيدة)، فإن المقبض يخفض الضغط. وإذا لم يكن ينسى بما يكفي، فإن المقبض يرفع الضغط. هذا يلغي الحاجة إلى تخمين البشر للإعدادات الصحيحة.

ملخص النتائج

اختبر المؤلفون هذه الطريقة على مهام التعرف على الصور (مثل تمييز القطط عن الكلاب). ووجدوا أن:

طريقتهم تفوقوا بها على جميع تقنيات "النسيان" الموجودة.
كانت أكثر استقراراً، مما يعني أنها لم تكسر بالخطأ قدرة الذكاء الاصطناعي على التعرف على أشياء أخرى.
نجحت حتى عندما كانت محاولة "النسيان" الأولية فوضوية أو غير مثالية.

باختصار: تستبدل هذه الورقة البحثية محاولة الخط المستقيم الخرقاء لحذف البيانات من الذكاء الاصطناعي بمسار منحني وقابل للتعديل وسلس. إنها تمنحنا قائمة كاملة من نماذج "النسيان الجزئي" للاختيار من بينها، مما يضمن إمكانية إزالة بيانات محددة دون تدمير بقية عقل الذكاء الاصطناعي.

ملخص تقني: استكشاف المسار غير الخطي في فضاء المعلمات لتعلم النسيان الآلي

بيان المشكلة

يهدف تعلم النسيان الآلي (Machine Unlearning - MU) إلى إزالة تأثير بيانات تدريب محددة من نموذج مدرب للامتثال للوائح الخصوصية وطلبات المستخدمين. وبينما يعد إعادة التدريب من الصفر هو المعيار الذهبي، إلا أنه مكلف حاسوبياً بشكل كبير. وبناءً على ذلك، ظهرت طرق تقريبية لتعلم النسيان، يعتمد نهجها السائد على الحسابات الخطية للمهام (على سبيل المثال، طرح متجه مهمة النسيان من النموذج الأصلي).

حدد المؤلفون قصورين حرجين في النهج الخطية الحالية:

تشابك الأوزان (Weight Entanglement): تُظهر المصنفات الحديثة خصائص غير خطية عالية الأبعاد. غالباً ما تفشل التحديثات الخطية البسيطة في حصر تأثير بيانات النسيان حصرياً؛ فبدلاً من ذلك، تتداخل متجهات المهام مع البيانات المراد الاحتفاظ بها، مما ينتهك الشروط الضرورية لنجاح التعديل الخطي.
قيد النموذج الواحد: تنتج الطرق الحالية عادةً نموذج نسيان واحداً فقط. ومع ذلك، تختلف نقطة التوقف المثلى للنسيان عبر نقاط بيانات مختلفة ضمن مجموعة النسيان. لا يمكن لنموذج واحد أن يحقق نسياناً مثالياً لجميع النقاط في آن واحد دون إعادة تدريب مكلفة ومتكررة.

يطرح البحث سؤالين مركزيين:

(Q1) هل يمكننا التحرر من قيود التحديث الخطي واستكشاف تعلم النسيان بطريقة غير خطية؟
(Q2) هل يمكننا تحديد طيف من نماذج تعلم النسيان الفعالة بدلاً من نموذج واحد فقط؟

المنهجية: تعلم النسيان عبر اتصال الأنماط (MCU)

يقترح المؤلفون تعلم النسيان عبر اتصال الأنماط (Mode Connectivity Unlearning - MCU)، وهو إطار عمل يستفيد من "اتصال الأنماط" للبحث عن مسار غير خطي لتعلم النسيان في فضاء المعلمات.

1. بناء المسار غير الخطي

بدلاً من الاستكمال الخطي (Linear Interpolation)، يقوم MCU ببناء مسار سلس بين نموذجين نهائيين باستخدام منحنى بيزييه التربيعي (Quadratic Bézier Curve):

$\theta_o$ (النموذج الأصلي): تم تدريبه على مجموعة البيانات الكاملة $D_{train}$ .
$\theta_p$ (نموذج ما قبل النسيان): يتم الحصول عليه بتطبيق أي طريقة موجودة لتعلم النسيان لإزالة تأثير بيانات النسيان $D_f$ . يوفر هذا النموذج إزاحة اتجاهية نحو النسيان.
$\theta_c$ (نموذج التحكم): معلمة قابلة للتعلم تشكل مسار الحركة.
تعريف المسار: يتم تعريف المسار $\phi_{\theta_c}(t)$ كالتالي:
$\phi_{\theta_c}(t) = (1-t)^2\theta_o + 2(1-t)t\theta_c + t^2\theta_p$
حيث $t \in [0, 1]$ . هذا يولد طيفاً مستمراً من نماذج النسيان $\theta_u$ على طول المنحنى.

2. هدف التحسين

يقوم إطار العمل بتحسين نموذج التحكم $\theta_c$ لموازنة أداء النسيان والاحتفاظ بالبيانات. دالة الخسارة هي:
$\mathcal{L}_{mcu} = \mathbb{E}_{t \sim U(0,1)}[\mathcal{L}(D_r; \phi_{\theta_c}(t)) - \beta \cdot \mathcal{L}(D_f; \phi_{\theta_c}(t))]$
حيث $\mathcal{L}$ هي خسارة الإنتروبيا المتقاطعة (Cross-entropy loss)، و $D_r$ هي بيانات الاحتفاظ، و $\beta$ هو معامل عقوبة النسيان.

3. استراتيجية قناع المعلمات (Parameter Mask Strategy)

لتعزيز الكفاءة، يقدم MCU قناع معلمات يقوم بتحديث مجموعة فرعية فقط من المعلمات، متجاوزاً حسابات التدرج للبقية. يتم اشتقاق القناع $m$ عبر:

التصفية ( $m_r$ ): استبعاد المعلمات ذات التأثير العالي على بيانات الاحتفاظ $D_r$ (بناءً على حجم التدرج).
الحفظ ( $m_f$ ): الحفاظ على المعلمات الحرجة لبيانات النسيان $D_f$ .
القناع النهائي: $m = m_r \ \& \ m_f$ .
تؤدي هذه الاستراتيجية إلى تقليل العبء الحسابي بشكل كبير (تم الإبلاغ عن تسريع بنسبة 75.23% في التجارب) مع الحفاظ على الفعالية.

4. عقوبة النسيان التكيفية

لإلغاء الحاجة إلى ضبط المعلمات التجريبية، يقترح المؤلفون استراتيجية $\beta$ التكيفية. يتم تعديل المعامل $\beta$ ديناميكياً عند كل دفعة (batch) بناءً على الفجوة بين الدقة الملحوظة وأهداف المعايرة:

إذا كانت دقة النسيان كافية بالفعل (أو تجاوزت الحد المطلوب)، يتم ضبط $\beta$ لتكون 0.
إذا كان النسيان غير كفي ولكن أداء الاحتفاظ مستقر، يتم تطبيق $\beta$ طفيفة (0.1).
خلاف ذلك، يتم استخدام $\beta$ أقوى (0.5).
يسمح هذا للإطار بالتكيف لموازنة جودة النسيان والأداء التنبئي دون تدخل يدوي.

5. اختيار النموذج

على عكس الطرق التي تنتج نموذجاً واحداً، يحدد MCU نموذج النسيان الأمثل ومنطقة نسيان فعالة على طول المسار. يتم اختيار النموذج الأمثل عن طريق تقليل متوسط الفجوة بين أداء نموذج النسيان والأساس المعاد تدريبه (RT) عبر بيانات النسيان، والاحتفاظ، وبيانات الاختبار.

المساهمات الرئيسية

المنظور غير الخطي: يعد هذا البحث الأول الذي يستقصي تعلم النسيان من منظور غير خطي، معالجاً مشكلة تشابك الأوزان المتأصلة في الحسابات الخطية للمهام.
طيف من النماذج: يقدم مفهوم استكشاف مسارات النسيان، مما يوفر طيفاً من النماذج بدلاً من نقطة واحدة، مما يوفر المرونة لتحديد أولويات المنفعة أو جودة النسيان بناءً على احتياجات محددة.
إطار عمل جاهز للتركيب (Plug-and-Play): تم تصميم MCU ليتكامل بسلاسة مع طرق تعلم النسيان الحالية (مثل +NegGrad و SalUn)، مما يعزز أداءها باستمرار بغض النظر عن جودة نموذج ما قبل النسيان الأولي.
التقنيع الفعال (Efficient Masking): تحقق استراتيجية قناع المعلمات المقترحة فعالية نسيان مماثلة للأقنعة العنصرية (element-wise masks) بينما تقلل وقت التدريب بشكل كبير عبر تجاوز حسابات التدرج للمعلمات المقنعة تماماً.

النتائج التجريبية

تم تقييم إطار العمل في مهام تصنيف الصور (CIFAR-10, ImageNet-100, Tiny-ImageNet) باستخدام بنيات متنوعة (PreResNet, ViT, VGG).

الأداء: حقق MCU والنسخة التكيفية منه ( $\text{MCU}\beta$ ) باستمرار أفضل أداءين إجماليين في سيناريوهات نسيان البيانات العشوائية ونسيان الفئات. وفي نسيان الفئات على ImageNet-100، كان أداء $\text{MCU}\beta$ قريباً جداً من أساس إعادة التدريب (RT).
المقارنة مع الطرق الخطية: أبرزت النتائج تفوق النسيان غير الخطي على الطرق الخطية مثل NegTV. عانت الطرق الخطية من صعوبة في الموازنة بين نقص النسيان والإفراط في النسيان، بينما حافظ MCU على توازن مستقر.
المتانة: أظهر $\text{MCU}\beta$ متانة عبر نماذج ما قبل النسيال المختلفة (بما في ذلك النماذج المتدهورة مثل Gradient Ascent) ومع نسب متفاوتة من بيانات الاحتفاظ (حيث أدى أداءً جيداً حتى مع وجود 10-30% فقط من بيانات الاحتفاظ).
الكفاءة: قللت استراتيجية قناع المعلمات من وقت التشغيل بشكل كبير مقارنة بالنماذج المرجعية، بينما ألغت استراتيجية $\beta$ التكيفية الحاجة إلى البحث عن المعلمات الفائقة.

الأهمية والادعاءات

يدعي البحث أن MCU يقدم حلاً أكثر فعالية ومرونة لتعلم النسيان الآلي من خلال تجاوز قيود التحديثات الخطية. ومن خلال الكشف عن طيف مستمر من نماذج النسيان، فإنه يعالج القصور الجوهري المتمثل في أن النموذج الواحد لا يمكنه خدمة جميع نقاط النسيان بشكل مثالي.

يؤكد المؤلفون أن MCU يعمل كـ إطار عمل جاهز للتركيب يمكن دمجه مع أي طريقة موجودة لتعلم النسيان لتحسين الفعالية. وتتيح القدرة على اختيار نقاط مختلفة على طول المسار للممارسين التكيف مع تقييمات المخاطر المتطورة (على سبيل المثال، عندما تصبح نقطة بيانات أكثر حساسية بمرور الوقت) دون تكلفة إعادة التدريب. يشير العمل إلى أن استكشاف المسارات غير الخطية في فضاء المعلمات هو اتجاه قابل للتطبيق وضروري للتغلب على تشابك الأوزان وتحقيق تعلم نسيان عالي الجودة.