🤖 machine learning

Rethinking Federated Unlearning via the Lens of Memorization

تقترح هذه الورقة البحثية تقنية "تقليم الذاكرة الاتحادية" (FedMemPrune)، وهي نهج اتحادي جديد للتعلم غير المكتسب يستفيد من مقياس جديد لـ "تقييم الذاكرة المجمعة" للتمييز بين المعلومات المحفوظة الفريدة وإزالتها مع الحفاظ على الأنماط المتداخلة، مما يحقق تعلماً غير مكتسب فعالاً دون المساس بجدوى النموذج.

المؤلفون الأصليون: Jiaheng Wei, Yanjun Zhang, He Zhang, Leo Yu Zhang, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaheng Wei, Yanjun Zhang, He Zhang, Leo Yu Zhang, Chao Chen, Kok-Leong Ong, Jun Zhang, Yang Xiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "إعادة التفكير في التعلم الاتحادي المنسي من خلال عدسة الذاكرة"، مقسمة إلى مفاهيم بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: "الحق في النسيان" في دردشة جماعية

تخيل مجموعة من الأصدقاء (العملاء) الذين يريدون بناء دليل دراسي واحد فائق الذكاء (نموذج تعلم آلي) معاً. لا يمكنهم مشاركة ملاحظاتهم الخاصة لأنها شخصية للغاية، لذا فهم يشاركون فقط "لحظات الإلهام" والملخصات (تحديثات النموذج) مع معلم مركزي (الخادم). هذا هو التعلم الاتحادي (Federated Learning).

ولكن ماذا يحدث إذا قرر أحد الأصدقاء، ولنسمّه "أليكس"، مغادرة المجموعة وطالب بأن ينسى دليل الدراسة كل ما ساهم به أليكس؟ هذا هو النسيان الاتحادي (Federated Unlearning).

القانون (مثل GDPR) ينص على أن لأليكس "الحق في النسيان". الطريقة السهلة للقيام بذلك هي رمي دليل الدراسة بالكامل والبدء من الصفر مع بقية الأصدقاء. لكن هذا يستغرق وقتاً طويلاً ويستهلك الكثير من الطاقة. تجادل الورقة البحثية بأن الطرق الحالية "السريعة" ترتكب أخطاءً بالفعل.

المشكلة: رمي الطفل مع ماء الاستحمام

يجادل المؤلفون بأن الطرق الموجودة مفرطة في العدوانية. فهي تحاول مسح كل شيء يتعلق بأليكس، حتى الأشياء التي تعلمها أليكس وشاركها الجميع بالفعل.

التشبيه:
تخيل أن المجموعة تتعلم كيفية خبز كعكة.

المعرفة المشتركة: يتفق الجميع على أنك بحاجة إلى الدقيق والبيض. هذه معرفة عامة.
ذاكرة أليكس الفريدة: لدى أليكس حيلة فريدة وغريبة لكسر البيض لا يستخدمها أحد غيره. هذه هي "الذاكرة" (Memorization).

إذا غادر أليكس، تحاول الطرق الحالية إزالة كل المعرفة المتعلقة بالبيض، حتى حقيقة أنك بحاجة إليه. هذا يضر الأصدقاء المتبقين لأنهم لا يزالون بحاجة إلى البيض لخبز الكعكة. يصبح النموذج أسوأ في الخبز للجميع.

تسأل الورقة البحثية: هل يجب أن نزيل المعرفة المشتركة لمجرد أن أليكس رحل؟ الإجابة هي لا. يجب أن نزيل حيل أليكس الفريدة فقط (الذاكرة) مع الحفاظ على القواعد المشتركة (المعلومات المتداخلة).

الحل: "تقليم الذاكرة" (FedMemPrune)

يقترح المؤلفون طريقة جديدة تسمى FedMemPrune. فكر فيها كأنها محرر ذكي لدليل الدراسة.

بدلاً من مسح صفحات كاملة، يبحث المحرر عن الجمل المحددة التي كتبها أليكس وحده ويحذف تلك الجمل فقط.

كيف يعمل (الخطوات الثلاث):

إيجاد الملاحظات "الفائضة":
يبحث النظام في ملاحظات الأصدقاء المتبقين. ويسأل: "ما هي الأجزاء في دليل الدراسة التي لا يتم استخدامها أو تحديثها من قبل الأصدقاء المتبقين؟"
- التشبيه: إذا كان الأصدقاء المتبقون يكتبون جميعاً عن "الدقيق"، ولكن هناك فقرة واحدة تتحدث فقط عن "حيلة أليكس الغريبة لكسر البيض"، فإن هذه الفقرة "فائضة" بالنسبة للمجموعة. ومن المرجح أن هذه هي مكان وجود ذاكرة أليكس الفريدة.
إعادة ضبط الذاكرة:
يأخذ النظام تلك الأجزاء "الفائضة" المحددة من دليل الدراسة وينظفها (يعيد تهيئتها). هو لا يكتفي بحذفها فحسب؛ بل يعيد ضبطها إلى حالة فارغة، مثل مسح سبورة بيضاء.
الضبط الدقيق (Fine-Tuning):
يقوم الأصدقاء المتبقون بمراجعة الدليل بسرعة معاً للتأكد من أن أقسام "الدقيق" و"البيض" لا تزال مثالية. ولأن المعرفة المشتركة لم تُمس، يظل الدليل ممتازاً للجميع.

لماذا هذا أفضل؟

اختبرت الورقة البحثية هذه الطريقة مقابل طرق أخرى ووجدت ثلاثة انتصارات رئيسية:

"نسيان" أفضل: إنها تزيل حيل أليكس الفريدة بشكل أفضل من الطرق الأخرى.
"تذكر" أفضل: تحافظ على المعرفة المشتركة للمجموعة سليمة، بحيث لا يسوء دليل الدراسة للأصدقاء الآخرين.
العدالة: تعامل الأصدقاء المتبقين بإنصاف. بعض الطرق تؤذي بالخطأ الأصدقاء الذين كانت ملاحظاتهم مشابهة جداً لملاحظات أليكس، لكن هذه الطريقة تحميهم.
السرعة: هي أسرع بكثير من البدء من الصفر (إعادة التدريب)، مما يوفر حوالي 50% من الوقت.

"بطاقة تقييم الذاكرة الجماعية"

أدرك المؤلفون أيضاً أننا بحاجة إلى طريقة أفضل للتحقق مما إذا كان النسيان قد نجح. لا يمكنك مجرد النظر إلى الدرجة النهائية؛ بل تحتاج إلى فحص أسئلة محددة.

لقد أنشأوا اختباراً جديداً يسمى تقييم الذاكرة الجماعية (Grouped Memorization Evaluation).

يأخذون الأسئلة التي سُئل عنها أليكس ويصنفونها حسب مدى كونها "فريدة" أو "محفوظة".
يتحققون مما إذا كان دليل الدراسة الجديد يفشل في الأسئلة الفريدة (جيد!) ولكنه لا يزال ينجح في الأسئلة المشتركة (أيضاً جيد!).
هذا يثبت أن النظام لا يقوم بمجرد التخمين؛ بل ينسى الأشياء الصحيحة تحديداً.

الملخص

باختاً، تقول هذه الورقة البحثية: لا تكن فظاً عندما تحتاج إلى النسيان.

إذا كنت تريد إزالة مساهمة شخص ما من مشروع جماعي، فلا تحرق المشروع بأكمله. بدلاً من ذلك، حدد الأجزاء المحددة والفريدة التي عرفها ذلك الشخص وحده، وامسحها، واترك بقية الفريق يصقل الأجزاء المشتركة. هذا يحافظ على قوة المشروع، وعدالته، وسرعته.

ملخص تقني: إعادة التفكير في التعلم الاتحادي غير المتصل (Federated Unlearning) من منظور الحفظ (Memorization)

بيان المشكلة
يتزايد الطلب على دعم "التعلم غير المتصل" (Unlearning) في التعلم الاتحادي (Federated Learning) للامتثال للوائح الخصوصية مثل GDPR وCCPA (الحق في النسيان). وبينما يعد إعادة تدريب النموذج من الصفر بعد إزالة بيانات العميل هو المعيار الذهبي للتعلم غير المتصل، إلا أنه يترتب عليه تكاليف حوسبة واتصال باهظة. تحاول الأساليب الحالية للتعلم الاتحادي غير المتصل تقريب عملية إعادة التدريب هذه عبر تشويه التمثيلات، أو استخدام التحديثات التاريخية، أو تطبيق صعود التدرج (Gradient Ascent). ومع ذلك، يرى المؤلفون أن هذه الأساليب غالباً ما تتجاهل التمييز الحاسم بين المعلومات المتداخلة (الأنماط العامة المشتركة بين العميل المراد حذف بياناته والعملاء المتبقين) ومعلومات الحفظ الفريدة (التفاصيل الخاصة بالعميل). فالخوارزميات الحالية تحاول غالباً إزالة تأثير مجموعة البيانات الكاملة للعميل المراد حذفه، مما يؤدي دون قصد إلى إزالة الأنماط المتداخلة. ويؤدي هذا إلى تعلم غير متصل غير فعال (الفشل في إزالة البيانات المحفوظة المحددة) وعدم عدالة (تدهور أداء العملاء المتبقين الذين يتشاركون أنماطاً مشابهة مع العميل المراد حذفه بشكل غير متناسب).

المنهجية
يقترح البحث إطار عمل قائماً على نظرية المعلومات ومفهوم الحفظ، مما أدى إلى تطوير تقليم الذاكرة الاتحادي (FedMemPrune).

الأساس النظري (تفكيك المعلومات):
صاغ المؤلفون عملية التعلم غير المتصل باستخدام تفكيك المعلومات الجزئي. وقد عرفوا المعلومات التي تعلمها النموذج من اتحاد بيانات العميل المراد حذفه ( $D_u$ ) والبيانات المتبقية ( $D_r$ ) بأنها تتكون من:

المعلومات التآزرية (Synergistic Information): المقدمة بشكل مشترك من $D_u$ و $D_r$ .
المعلومات الزائدة/المتداخلة ( $F_g$ ): المشتركة بين $D_u$ و $D_r$ .
معلومات الحفظ الفريدة ( $F_m$ ): الخاصة بـ $D_u$ .

ويجادل المؤلفون بأن المكون التآزري ضئيل في سيناريوهات التعلم غير المتصل العامة. لذلك، لا ينبغي أن يكون هدف التعلم غير المتصل هو محو جميع المعلومات من $D_u$ ، بل يجب أن يستهدف تحديداً إزالة معلومات الحفظ الفريدة ( $F_m$ ) مع الحفاظ على المعلومات المتداخلة ( $F_g$ ). إن إزالة $F_g$ تضر بالقدرة على التعميم والعدالة، بينما تؤدي إزالة $F_m$ إلى تحقيق "النسيان" المطلوب دون التضحية بالمنفعة.

مقياس التقييم: تقييم الحفظ المجموعاتي (GME):
لمعالجة نقص مقاييس التقييم دقيقة التفاصيل، قدم المؤلفون مقياس GME. يحسب هذا المقياس درجة الحفظ لكل مثال في مجموعة بيانات التعلم غير المتصل، وتُعرف بأنها الفرق في احتمالية التصنيف الصحيح بين نموذج تم تدريبه على $D_u \cup D_r$ ونموذج تم تدريبه فقط على $D_r$ . يتم بعد ذلك تجميع الأمثلة حسب هذه الدرجات (على سبيل المثال: حفظ عالٍ مقابل حفظ منخفض). ويُقاس نجاح التعلم غير المتصل بمدى قرب أداء النموذج "غير المتصل" على هذه المجموعات الفرعية من أداء نموذج إعادة التدريب المرجعي، مع استهداف إزالة أمثلة الحفظ العالية بشكل خاص.
الخوارزمية: FedMemPrune:
هي نهج يعتمد على التقليم من ثلاث مراحل:

المرحلة 1 (تحديد معاملات الحفظ): تحدد الخوارزمية المعاملات الزائدة في النموذج العالمي. وتُعرف هذه المعاملات بأنها تلك التي تتلقى تحديثات تدرج ضئيلة من العملاء المتبقين ( $D_r$ ). والفرضية هي أن المعاملات الحرجة لـ $D_r$ تشفر المعرفة المتداخلة/القابلة للتعميم، بينما تشفر المعاملات الزائدة معلومات الحفظ الفريدة الخاصة بـ $D_u$ .
المرحلة 2 (إعادة الضبط): يتم إعادة تهيئة المعاملات الزائدة المحددة باستخدام استراتيجية التهيئة الأصلية (مثل Kaiming Uniform)، مما يؤدي فعلياً إلى محو المعلومات المحفوظة.
المرحلة 3 (الضبط الدقيق): يتم إجراء ضبط دقيق للنموذج على العملاء المتبقين ( $D_r$ ) لاستعادة أداء التعميم وإعادة بناء التمثيلات المتداخلة.

المساهمات الرئيسية

التحول المفاهيمي: يعيد البحث تعريف التعلم الاتحادي غير المتصل كعملية إزالة للحفظ الخاص بالعميل بدلاً من محو تأثير البيانات بالكامل، مجادلاً بأن المعلومات المتداخلة يجب الحفاظ عليها للحفاظ على منفعة النموذج وعدالته.
مقياس مبتكر: تقديم مقياس GME، الذي يسمح بتقييم على مستوى المثال، مما يميز بين نسيان بيانات "الذيل" (tail data) المحفوظة والحفاظ على بيانات "الرأس" (head data) القابلة للتعميم.
الخوارزمية المقترحة: تطوير FedMemPrune، الذي يستفيد من تكرار المعاملات بالنسبة للبيانات المتبقية لتقليم معلومات الحفظ بشكل انتقائي.

النتائج التجريبية
أُجريت تجارب مكثفة على مجموعات بيانات CIFAR-10 وCIFAR-100 وEMNIST في كل من الإعدادات المتماثلة (IID) وغير المتماثلة (Non-IID)، مع مقارنة FedMemPrune بنماذج مرجعية مثل Halimi et al. (صعود التدرج)، وLiu et al. (مصفوفة معلومات فيشر)، وFedRecovery، وFedAU، وFedOSD، وNoT.

فعالية التعلم غير المتصل: يقترب FedMemPrune بشكل وثيق من أداء نموذج إعادة التدريب المرجعي، لا سيالما ضمن مجموعات الحفظ العالي. على سبيل المثال، في CIFAR-100 (Non-IID)، حققت الطريقة دقة تصنيف في مجموعات الحفظ العالي (مثلاً 27.25% مقابل 21.74% للنموذج المرجعي) كانت أقرب بكثير إلى نموذج إعادة التدريب مقارنة بالنماذج المرجعية الأخرى، والتي غالباً ما فشلت في نسيان البيانات المحفوظة عالية الحفظ أو بالغت في النسيان.
أداء التعميم: من خلال الحفاظ على المعلومات المتداخلة، يحافظ FedMemPrune على دقة اختبار عالية على مجموعة البيانات المتبقية، وغالباً ما يتفوق على نماذج التعلم غير المتصل الأخرى ويقترب من نموذج إعادة التدريب (مثلاً 63.33% على CIFAR-100 IID).
العدالة: تُظهر الطريقة عدالة محلية فائقة، حيث تقلل من تباين التغير في الأداء عبر العملاء المتبقين. وهذا يؤكد أن الحفاظ على المعلومات المتداخلة يمنع التدهور غير المتناسب للعملاء الذين يتشاركون البيانات مع العميل المراد حذفه.
الكفاءة: يحقق FedMemPrune الأداء المستهدف في وقت أقل بنسبة 50% تقريباً مقارنة بإعادة التدريب الكامل، لأنه يتجنب الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر.

الأهمية والادعاءات
يزعم المؤلفون أن عملهم يوفر رؤى نظرية واستراتيجيات عملية لتعزيز التعلم الاتحادي غير المتصل. ومن خلال التمييز بين الحفظ والمعلومات المتداخلة، يجادلون بأن التعلم غير المتصل الفعال يجب أن يستهدف فقط النوع الأول. ويؤكد البحث أن FedMemPrune ينجح في تحقيق تعلم غير متصل قوي وفعال دون التضحية بمنفعة المعرفة المحتفظ بها أو العدالة بين العملاء. يسلط العمل الضوء على أن بروتوكولات التقييم الحالية غير كافية، وأن منظوراً واعياً بالحفظ ضروري لتقييم وتحسين آليات التعلم الاتحادي غير المتصل بدقة. ويشدد المؤلفون على أن نهجهم مناسب بشكل خاص للسيناريوهات التي لا تتوفر فيها مجموعة بيانات التعلم غير المتصل أثناء مرحلة الحذف، حيث يعتمد على تدرجات العملاء المتبقين لتحديد ما يجب تقليمه.