🤖 machine learning

Easy to Learn, Yet Hard to Forget: Towards Robust Unlearning Under Bias

تقدم هذه الورقة البحثية إطار عمل CUPID، وهو إطار عمل جديد لـ "النسيان غير المرغوب فيه" (unlearning) يعالج ظاهرة "النسيان عبر المسارات المختصرة" (shortcut unlearning)—حيث تجد النماذج صعوبة في نسيان العينات المتوافقة مع الانحياز بدلاً من نسيان الانحياز نفسه—وذلك عن طريق تقسيم البيانات بناءً على حدة تضاريس الفقد (loss landscape sharpness) وفك تشابك معاملات النموذج لإجراء تحديثات مستهدفة تخفف بفعالية من الانحيازات غير المقصودة.

المؤلفون الأصليون: JuneHyoung Kwon, MiHyeon Kim, Eunju Lee, Yoonji Lee, Seunghoon Lee, YoungBin Kim

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: JuneHyoung Kwon, MiHyeon Kim, Eunju Lee, Yoonji Lee, Seunghoon Lee, YoungBin Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث بعنوان "سهل التعلم، لكن صعب النسيان" (Easy to Learn, Yet Hard to Forget) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الطالب "المختصر"

تخيل أنك تعلم طالباً (نموذج ذكاء اصطناعي) كيفية التعرف على طيور مائية.

الطريقة الصعبة: تعرض عليه صوراً للطيور، وتشرح له تفاصيل مناقيرها، وأجنحتها، وريشها. هذا يستغرق وقتاً وجهداً، لكنه يتعلم المفهوم الحقيقي للطائر.
طريقة الاختصار: أنت بالخطأ تعرض عليه 995 صورة لطيور مائية فوق الماء، و5 صور فقط لطيور مائية على الأرض. يصبح الطالب كسولاً؛ حيث يدرك قائلاً: "مهلاً، إذا كان هناك ماء، إذن هو طائر مائي!". يتوقف عن النظر إلى الطائر ويركز فقط على الماء.

في عالم الذكاء الاصطناعي، يُسمى هذا تعلم الاختصار (learning a shortcut). فالنموذج يتعلم "ارتباطاً زائفاً" (وجود ماء = طائر) بدلاً من الحقيقة الفعلية.

المشكلة الجديدة: "نسيان الاختصارات"

الآن، تخيل أنك بحاجة لتعليم هذا الطالب كيف ينسى مفهوم "الطائر المائي" تماماً (ربما بسبب قوانين الخصوصية أو لأن البيانات كانت متحيزة). تقول للنموذج: "من فضلك، انسَ كل شيء يتعلق بالطيور المائية".

إليك المفاجأة التي اكتشفتها الورقة البحثية:

ما تتوقعه: ينسى النموذج الطائر، ويتبقى لديك نموذج لا يعرف ماهية الطائر المائي.
ما يحدث في الواقع: ينسى النموذج الماء، لكنه يتذكر الطائر.

لأن النموذج تعلم "الاختصار" (الماء = طائر) بسهء شديدة، فقد أصبح بارعاً جداً في هذه الحيلة تحديداً. عندما تطلب منه النسيان، يصاب بالذعر ويتخلص من أسهل شيء تعلمه (خلفية الماء) لتلبية طلبك. ولكن بما أنه لا يزال يعرف سمات الطائر، فبإمكانه لا يزال تخمين "الطائر المائي" بشكل صحيح، فقط عبر النظر إلى الطائر نفسه!

يسمي المؤلفون هذا "نسيان الاختصارات" (Shortcut Unlearning). الأمر يشبه أن تطلب من شخص أن ينسى كيفية قيادة السيارة، فيقرر نسيان كيفية استخدام عجلة القيادة (الجزء السهل) لكنه يظل متذكراً كيفية الضغط على دواسة الوقود. لا يزال بإمكانه القيادة، ولكن بشكل سيء.

الحل: CUPID (جراح الذكاء الاصطناعي الدقيق)

لإصلاح ذلك، ابتكر المؤلفون طريقة جديدة تسمى CUPID. فكر في CUPID كـ فريق جراحي يقوم بعملية دقيقة جداً على دماغ الذكاء الاصطناعي، بدلاً من ضربه بمطرقة.

يعمل CUPID عبر ثلاث خطوات:

1. فحص "مقياس الألم" (التقسيم الواعي بالحدة - Sharpness-Aware Partitioning)

أولاً، يسأل CUPID الذكاء الاصطناعي: "ما مدى صعوبة تعلم هذه الصورة المحددة بالنسبة لك؟"

الصور السهلة (المسطحة/Flat): هذه هي صور "الاختصار" (طائر فوق الماء). تعلمها الذكاء الاصطناعي فوراً. من الناحية الرياضية، تقع هذه الصور في "وادي مسطح" في مشهد التعلم.
الصور الصعبة (الحادة/Sharp): هذه هي الصور الصعبة (طائر على الأرض). عانى الذكاء الاصطناعي لتعلمها. تقع هذه الصور في "قمة حادة" وشديدة الانحدار.

يقوم CUPID بفصل الصور إلى مجموعتين بناءً على "مقياس الألم" هذا.

2. رسم خريطة الدماغ (تحديد المسار السببي - Causal Pathway Identification)

بعد ذلك، ينظر CUPID داخل دماغ الذكاء الاصطناعي ليرى أي الخلايا العصبية مسؤولة عن كل مجموعة.

يجد "مسار الاختصار": الخلايا العصبية التي تهتم فقط بخلفية الماء.
يجد "المسار السببي": الخلايا العصبية التي تهتم فعلياً بشكل الطائر وريشه.

عادةً ما تكون هذه المسارات متشابكة مثل أسلاك سماعات الرأس الفوضوية. يقوم CUPID بفك هذا التشابك.

3. الجراحة (تحديث المسار المستهدف - Targeted Pathway Update)

أخيراً، يقوم CUPID بإجراء الجراحة.

يخبر مسار الاختصار: "يمكنك الاسترخاء، نحن لا نحتاج إليك".
يخبر المسار السببي: "يجب عليك نسيان الطائر تماماً. نحن نمحو ذاكرتك عن شكل الطائر".

من خلال استهداف الذاكرة الحقيقية (الطائر) وتجاهل الذاكرة السهلة (الماء)، يضمن CUPID أن ينسى النموذج الفئة تماماً، بدلاً من مجرد تغيير استراتيجيته.

لماذا يهم هذا الأمر؟

في العالم الحقيقي، غالباً ما يتم تدريب نماذج الذكاء الاصطناعي على بيانات فوضوية ومنحازة (مثل مثال الطائر المائي). إذا حاولنا جعلها "تنسى" البيانات السيئة باستخدام الطرق القديمة، فقد تتعلم فقط طريقة جديدة ومراوغة لتخمين الإجابة، مما يبقي التحيز قائماً.

CUPID هو أول طريقة تدرك: "لا يمكنك فقط أن تطلب من الذكاء الاصطناعي أن ينسى؛ بل يجب أن تخبره ماذا ينسى".

النتائج

اختبرت الورقة البحثية نظام CUPID على ثلاثة مجموعات بيانات "منحازة" مختلفة.

الطرق القديمة: كان الذكاء الاصطناعي ينسى الخلفية لكنه يحتفظ بالشيء (الطائر). كان لا يزال "يتذكر" الفئة التي كان من المفترض أن ينساها.
CUPID: نجح في محو الفئة تماماً. لم يعد بإمكانه تخمين الإجابة، حتى عند اختفاء الاختصار. لقد حقق أفضل النتائج، مما يثبت أنه يمكنك استئصال المعلومات السيئة جراحياً دون تدمير بقية النموذج.

باختاً: إذا أردت من الذكاء الاصطناعي أن ينسى شيئاً حقاً، عليك أن تمنعه من اتخاذ الطريق السهل. يجبر CUPID الذكاء الاصطناعي على مواجهة الحقيقة الصعبة وحذف الذاكرة الحقيقية، وليس مجرد الاختصار.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "سهل التعلم، لكن يصعب النسيان: نحو نسيان قوي تحت تأثير الانحياز" (Easy to Learn, Yet Hard to Forget: Towards Robust Unlearning Under Bias).

1. بيان المشكلة

تتناول الورقة نمط فشل حرج في "النسيان الآلي" (Machine Unlearning) عند تطبيقه على النماذج المدربة على مجموعات بيانات منحازة.

السياق: يهدف النسيان الآلي إلى إزالة تأثير بيانات محددة (مثل فئة مستهدفة) من نموذج مدرب مسبقاً للامتثال للوائح الخصوصية (مثل "الحق في النسيان").
تحدي الانحياز: في السيناريوهات الواقعية، غالباً ما تتعلم النماذج من مجموعات بيانات تكون فيها تسميات الفئات مرتبطة بشدة بصفات زائفة (اختصارات/Shortcuts). على سبيل المثال، "طائر الماء" (waterbird) يرتبط دائماً تقريباً بخلفية "المياه".
الظاهرة ("نسيان الاختصار"): حدد المؤلفون مفارقة حيث يجد النماذج أنه من السهل تعلم العينات المتوافقة مع الانحياز (حيث يعمل الاختصار)، ولكن من الصعب نسيانها.
- عندما يُطلب من النموذج نسيان فئة معينة، تفشل خوارزميات النسيان القياسية في مسح الميزات السببية (Causal features) للفئة.
- بدلاً من ذلك، تقوم عن غير قصد بمسح الاختصار الزائف (الانحياز).
- النتيجة المفارقة: يؤدي هذا إلى تحسن غير متوقع في الدقة على الفئة المراد نسيانها (تحديداً على العينات المتعارضة مع الانحياز)، لأن النموذج يتوقف عن الاعتماد على الاختصار الذي كان يضلله. النموذج ينسى "الاختصار" ولكنه يحتفظ بـ "الفئة" عبر إزالة الاختصار، مما يفشل هدف النسيان.

2. المنهجية: إطار عمل CUPID

لحل هذه المشكلة، يقترح المؤلفون إطار عمل CUPID (Causal Unlearning via Pathway Identification and Disentanglement - النسيان السببي عبر تحديد وتفكيك المسارات). يستند الإطار إلى هندسة مشهد الخسارة (Loss landscape geometry)، ويفترض أن العينات التي تم تعلمها عبر الاختصارات (السهلة) تشغل مناطق مسطحة في مشهد الخسارة، بينما تشغل العينات التي تم تعلمها عبر الميزات السببية (الصعبة) مناطق حادة ذات انحناء عالٍ.

يعمل CUPID عبر ثلاث مراحل:

المرحلة 1: التقسيم القائم على الحدة (Sharpness-Aware Partitioning)

الهدف: فصل مجموعة النسيان ( $D_f$ ) إلى مجموعات فرعية تقارب العينات المتوافقة مع الانحياز (المعتمدة على الاختصار) والتعارض مع الانحياز (المعتمدة على السببية) دون الحاجة لتسميات حقيقية.
الآلية: تحسب الطريقة حدة الخسارة المحلية ( $\omega_{sharpness}$ $ω_{s ha r p n ess}$ ) لكل عينة. يتم ذلك عن طريق تشويه معاملات النموذج في اتجاه التدرج وقياس الزيادة الناتجة في الخسارة.
- الحدة المنخفضة: تشير إلى أن العينة في منطقة مسطحة (من المرجح أنها تعلمت عبر اختصار قوي).
- الحدة العالية: تشير إلى أن العينة في منطقة حادة (من المرجح أنها تعلمت عبر ميزات سببية).
الإجراء: يتم تقسيم العينات إلى مجموعة تقريب الانحياز ( $D_{bias}$ ) ومجموعة تقريب السببية ( $D_{causal}$ ) بناءً على عتبة الحدة.

المرحلة 2: تحديد المسار السببي (Causal Pathway Identification)

الهدف: فك الارتباط بين معاملات النموذج وتفكيكها إلى مسار سببي ومسار انحياز.
الآلية: يحدد المؤلفون قناعاً سببياً ( $m_c$ $m_{c}$ ) بناءً على عاملين:
1. المقدار (Magnitude): حجم المعامل.
2. الانحناء (Curvature): العنصر القطري لمصفوفة هسيان (Hessian matrix - المشتقة الثانية للخسارة).
الإجراء: يتم تحديد المعاملات ذات المقدار العالي والانحناء العالي (المرتبطة بالعينات السببية "الصعبة") كـ مسار سببي. تشكل المعاملات المتبقية مسار الانحياز.

المرحلة 3: تحديث المسار المستهدف (Targeted Pathway Update)

الهدف: إجراء تحديث "جراحي" لمسح المعلومات السببية مع إدارة مسار الانحياز.
الآلية:
- حساب التدرج للمجموعة السببية ( $g_{causal}$ ) وإجمالي مجموعة النسيان ( $g_f$ ).
- إسقاط التدرج الكلي على الاتجاه السببي لعزل التدرج السببي ( $g_{proj}$ ). المكون المتعامد يُعامل كـ تدرج الانحياز ( $g_{bias}$ ).
- تطبيق التحديثات بشكل انتقائي:
  - المسار السببي: يتم تحديثه باستخدام $g_{proj}$ ، مع وزن يعتمد على حدة العينة (مما يعطي وزناً أكبر للعينات "الأصعب").
  - مسار الانحياز: يتم تحديثه باستخدام $g_{bias}$ .
النتيجة: يضمن هذا أن النموذج يستهدف تحديداً الميزات السببية للفئة المراد نسيانها، مما يمنع النموذج من مجرد "نسيان الاختصار".

3. المساهمات الرئيسية

صياغة "نسيان الاختصار" (Shortcut Unlearning): تحدد الورقة وتعرف نمط فشل جديد حيث تقوم خوارزميات النسيان عن غير قصد بإزالة سمات الانحياز بدلاً من الفئة المستهدفة، مما يؤدي إلى تحسن مفارقة في الدقة على الفئة المنسية.
إطار عمل CUPID: منهجية نسيان مبتية من ثلاث مراحل تستفيد من حدة مشهد الخسارة لتقسيم البيانات وتفكيك المسارات العصبية، مما يسمح بتحديثات مستهدفة دون الحاجة للوصول إلى مجموعة الاحتفاظ (Retain set).
التحقق التجريبي: تجارب شاملة تثبت تفوق CUPID على أفضل الطرق الحالية (SOTA) في كل من مجموعات التدريب شديدة الانحياز ومجموعات الاختبار غير المنحازة.

4. النتائج التجريبية

قيم المؤلفون CUPID على ثلاث مجموعات بيانات منحازة قياسية: Waterbirds، و BAR (التعرف على الأفعال المنحاز)، و Biased NICO++.

الأداء على مجموعات التدريب المنحازة:
- حقق CUPID أدنى دقة نسيان (Forget Accuracy - FA) عبر جميع مجموعات البيانات (على سبيل المثال، 6.91% في Waterbirds مقابل 34.96% لأفضل طريقة تالية، وهي NegGrad)، مقترباً بشدة من المعيار الذهبي النظري وهو "إعادة التدريب من الصفر".
- حقق أصغر فجوة أداء ( $\Delta gap$ ) بين العينات المتوافقة مع الانحياز والعينات المتعارضة مع الانحياز، مما يثبت النسيان المتوازن.
التعميم على مجموعات الاختبار غير المنحازة:
- في مجموعات الاختبار غير المنحازة (بنسبة 50:50)، حافظ CUPID على أداء متفوق، متفوقاً بشكل كبير على الطرق الأخرى التي غالباً ما تفشل في تعميم نسيانها (فجوة $\Delta gap$ كبيرة).
- نجح CUPID في التخفيف من مشكلة "نسيان الاختصار"، مما ضمن أن النموذج قد نسي الفئة حقاً بدلاً من مجرد تغيير الاعتماد من الاختصار إلى الميزات السببية.
الخصوصية: أظهر CUPIC حماية قوية للخصوصية (درجات منخفضة في هجمات استدلال العضوية - MIA)، وهي قابلة للمقارنة مع إعادة التدريب.
التحليل النوعي (Grad-CAM): أظهرت التصورات أن الطرق الأخرى استمرت في التنشط على الميزات الزائفة (مثل خلفيات المياه)، بينما نجح CUPID في تحويل الانتباه بعيداً عن سمات الانحياز هذه، مما أكد إزالة الاعتماد على الاختصار.

5. الأهمية

رؤية نظرية: تتحدى الورقة الافتراض بأن المعلومات المستهدفة يمكن فصلها بوضوح في النماذج المنحازة، وتكشف أن الاختصارات "السهلة التعلم" تخلق تبعيات "صعبة النسيان".
الأثر العملي: يقدم CUPID حلاً قوياً لأنظمة الذكاء الاصطناعي في العالم الحقيقي حيث يسود انحياز البيانات. فهو يسمح بإزالة فعالة للبيانات (للامتثال لـ GDPR/الحق في النسيان) دون المساس بفائدة النموذج أو الفشل بسبب الارتباطات الخفية.
التقدم المنهجي: من خلال استخدام هندسة مشهد الخسارة (الحدة) لتوجيه عملية النسيان، تقدم الورقة نموذجاً جديداً لـ "التعديل الجراحي" للنماذج يتجاوز مجرد عكس التدرج أو تغيير التسميات.

باختصار، تقدم هذه الورقة تصحيحاً حاسماً لمجال النسيان الآلي، حيث توضح أنه بدون مراعاة انحياز البيانات وتعلم الاختصارات، قد تفشل خوارزميات النسيان في تحقيق هدفها الأساسي. يقدم CUPID حلاً مبدئياً قائماً على الهندسة لضمان نسيان النماذج للمعلومات المقصودة حقاً.