🤖 machine learning

Stable Multimodal Graph Unlearning via Feature-Dimension Aware Quantile Selection

تقترح هذه الورقة إطار عمل FDQ، وهو إطار عمل كمي مدرك لأبعاد الميزات يطبق بشكل تكيفي عتبات كبح تحفظية على طبقات إسقاط المدخلات عالية الأبعاد في الشبكات العصبية الرسومية متعددة الوسائط، مما يحقق نسيانًا مستقرًا وفعالًا مع الحفاظ على فائدة النموذج ضد هجمات استدلال العضوية.

المؤلفون الأصليون: Jingjing Zhou, Yongshuai Yang, Qing Qing, Ziqi Xu, Xikun Zhang, Renqiang Luo, Ivan Lee, Feng Xia

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jingjing Zhou, Yongshuai Yang, Qing Qing, Ziqi Xu, Xikun Zhang, Renqiang Luo, Ivan Lee, Feng Xia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (رسم بياني متعدد الوسائط) تنظم المعلومات باستخدام كل من النصوص (مثل أوصاف الكتب) والصور (مثل أغلفة الكتب). تم بناء هذه المكتبة بواسطة مهندس معماري محدد للغاية (شبكة عصبية رسومية - GNN) تعلم كيفية ترتيب كل شيء بشكل مثالي من خلال دراسة مجموعة هائلة من الكتب.

تخيل الآن أن مستخدماً جاء وقال: "أريد أن أنسى أنني قرأت هذا الكتاب تحديداً". لديهم "حق قانوني في النسيان". يجب على المكتبة إزالة كل أثر لهذا الكتاب وتأثيره دون الحاجة إلى هدم المبنى بأك ولإعادة بنائه من الصفر (لأن ذلك سيكون بطيئاً ومكلفاً للغاية). تسمى هذه العملية "نسيان الرسم البياني" (Graph Unlearning).

المشكلة: خطأ "الإفراط في التصحيح"

تشير الورقة البحثية إلى خلل رئيسي في كيفية تعامل المكتبات الحالية مع هذا الطلب.

فكر في مهندس المكتبة المعماري على أن لديه نوعين من الأدوات:

الباب الأمامي (طبقة المدخلات): هذا هو المكان الذي تدخل منه الصور عالية الدقة والنصوص الطويلة. ولأن الصور والنصوص مفصلة للغاية (عالية الأبعاد)، فإن هذا الباب الأمامي ضخم ويحتوي على قدر هائل من "معرفة" المهندس بكيفية فهم العالم.
القاعات الداخلية (الطبقات الأعمق): هذه هي الممرات حيث يربط المهندس بين الأفكار ويتخذ القرارات النهائية.

الطريقة القديمة: عندما يُطلب منها نسيان كتاب ما، تتصرف الطرق الحالية مثل عامل نظافة أخرق. فهي تمسك بمكنسة ضخمة وتكنس في كل مكان بنفس الشدة. إنها تنظف القاعات الداخلية والباب الأمامي بنفس القوة.

النتيجة: لقد مسحت بالخطأ اللوحات الضخمة والدقيقة الموجودة على الباب الأمامي (المعرفة المسبقة للصور والنصوص). أصبحت المكتبة "آمنة" فيما يتعلق بالكتاب المنسي، لكن المبنى بأكه أصبح يبدو متضرراً، ولم تعد قادرة على التعرف على الكتب الجديدة بشكل صحيح. لقد انهارت الفائدة (الأداء).

الحل: FDQ (المرشح الذكي)

تقترح المؤلفة طريقة جديدة تسمى FDQ (الكمي المدرك لأبعاد الميزات). فكر في FDQ كـ مرشح ذكي وقابل للتعديل يعرف تماماً كيف يتعامل مع الطلب.

إليك كيف يعمل، باستخدام تشبيه بسيط:

تحديد المنطقة الحساسة: تنظر FDQ إلى المكتبة وتدرك: "مهلاً، الباب الأمامي ضخم ويحتوي على معرفتنا الثمينة المرسومة مسبقاً. لا يمكننا تنظيفه بقوة شديدة".
تعديل المكنسة: بد instead من استخدام نفس قوة الكنس في كل مكان، تستخدم FDQ لمسة لطيفة ودقيقة على الباب الأمامي (طبقات المدخلات عالية الأبعاد). إنها تزيل فقط الحد الأدنى الضروري من "الطلاء" لنسيان الكتاب المحدد.
التعامل بصرامة في الداخل: وفي الوقت نفسه، تستخدم كنساً أقوى وأكثر شمولاً في القاعات الداخلية (الطبقات الأعمقة). فهذه هي المنطقة التي توجد فيها الروابط المحددة للكتاب المنسي، لذا من الآمن كنس هذه المناطق بقوة أكبر لضمان زوال الذاكرة حقاً.
خدعة "الكميات" (Quantile): تستخدم الورقة مفهوماً إحصائياً يسمى "الكميات" (مثل ترتيب قائمة من العناصر من الأصغر إلى الأكبر واختيار الـ 10% الأدنى). تقوم FDQ بتغيير القواعد للباب الأمامي: فهي تجعل قائمة "الـ 10% الأدنى" أكثر صرامة، مما يعني أنها تختار عدداً أقل من المعلمات (parameters) لتعديلها هناك. أما بالنسبة للقاعات الداخلية، فهي تبقي القائمة قياسية.

لماذا يهم هذا الأمر؟

اختبرت الورقة هذا على بيانات من العالم الحقيقي (مثل عناصر الموضة مع صور وعناوين، وكتب مع أغلفة وأوصاف).

الطريقة القديمة: عندما حاولوا نسيان كتاب ما، انخفضت قدرة المكتبة على التوصية بالكتب الأخرى بشكل كبير. كان الأمر كما لو أن نسيان كتاب واحد جعل أمين المكتبة ينسى كيفية القراءة تماماً.
طريقة FDQ: نجحت المكتبة في نسيان الكتاب المحدد (تم إثبات ذلك من خلال إظهار أن المتسللين لم يستطيعوا معرفة ما إذا كان الكتاب لا يزال في النظام)، لكن ظل أمين المكتبة بارعاً في التوصية بالكتب الأخرى بنفس القدر. ظلت "الفائدة" عالية.

الخلا-صة

تدعي الورقة أنه من خلال الوعي بحجم وأهمية أجزاء مختلفة من الشبكة (تحديداً طبقات المدخلات عالية الأبعاد)، تمنع FDQ "الضرر الكارثي" الذي يحدث عند محاولة نسيان البيانات في الأنظمة متعددة الوسائط المعقدة. فهي تسمح للنظام بنسيان نقاط بيانات محددة بكفاءة دون كسر قدرة النموذج على فهم العالم.

باخت de مختصر: FDQ هي أداة جراحية تزيل ذاكرة محددة دون بتر قدرة الدماغ على الرؤية والقراءة.

ملخص تقني: التعلم غير المتزامن المستقر للرسوم البيانية متعددة الوسائط عبر اختيار المئينات المدرك لأبعاد الميزات

1. بيان المشكلة

يعد "التعلم غير المتزامن للرسوم البيانية" (Graph unlearning) أمراً ضرورياً للامتثال للوائح خصوصية البيانات (مثل GDPR) من خلال إزالة تأثير نقاط بيانات محددة (عقد أو حواف) من الشبكات العصبية الرسومية (GNNs) المدربة دون الحاجة إلى إعادة تدريب مكلفة. ومع ذلك، تواجه استراتيجيات التعلم غير المتزامن الحالية قيوداً حرجة عند تطبيقها على الرسوم البيوية متعددة الوسائط (Multimodal graphs).

تدمج الرسوم البيانية متعددة الوسائط ميزات عالية الأبعاد (مثل النصوص والصور المشفرة بواسطة نماذج مثل CLIP أو ImageBind) جنباً إلى جنب مع البيانات الهيكلية. في هذه البنيات، تحتوي طبقات إسقاط المدخلات (Input projection layers) -وهي الطبقة الأولى التي تربط الميزات الخام بالفضاءات الخفية- على حصة مهيمنة من إجمالي معاملات النموذج. وتلاحظ الورقة البحثية أن طرق التعلم غير المتزامن الحالية، التي تطبق استراتيجيات موحدة لاختيار المعاملات وتحريرها عبر جميع الطبقات، تؤدي عند تطبيقها على الرسوم البيانية متعددة الوسائط إلى تعديل غير مدروس لهذه الطبقات المدخلة الحساسة وعالية الأبعاد. هذا "التحرير المفرط" يدمر المعرفة المسبقة للنماذج متداخلة الوسائط (Cross-modal knowledge)، مما يؤدي إلى تدهور كارثي في المنفعة (انخفاض حاد في أداء النموذج) أو إضعاف آلية النسيان للحفاظ على الأداء.

2. المنهجية: إطار عمل FDQ

يقترح المؤلفون إطار عمل FDQ (Feature-Dimension Aware Quantile)، وهو مصمم لتمكين التعلم غير المتزامن المستقر في الرسوم البيانية متعددة الوسائط عالية الأبعاد. يتكامل FDQ مع تقدير الأهمية القائم على مصفوفة معلومات فيشر القطرية (Diagonal Fisher Information Matrix - FIM)، لكنه يقدم آلية مبتكرة لاختيار المئين (Quantile) التكيفي.

الآلية الجوهرية: المئين المدرك لأبعاد الميزات

بدلاً من تطبيق عتبة مئينية عالمية $k$ لاختيار المعاملات المراد كبتها عبر الشبكة بأكملها، يقوم FDQ بتكييف قوة الاختيار بناءً على دور الطبقة وأبعاد الميزات المدخلة $d$ :

تقسيم الطبقات: يتم تقسيم معاملات النموذج إلى طبقات إسقاط المدخلات ( $\theta_{in}$ )، التي تعالج الميزات الخام عالية الأبعاد، والطبقات الأعمق ( $\theta_{deep}$ ).
العتبة التكيفية: يحدد FDQ عامل قياس خاص بكل طبقة $\alpha^{(\ell)}$ $α^{(ℓ)}$ . بالنسبة لطبقات المدخلات حيث يتجاوز بُعد الميزة $d$ $d$ عتبة $\tau$ $τ$ ، يتم تشديد (تقليل) المئين الفعال $k^{(\ell)}_{eff}$ $k_{e f f}^{(ℓ)}$ بواسطة عامل $\rho$ $ρ$ (حيث $\rho < 1$ $ρ < 1$ ).
- الصيغة: $k^{(\ell)}_{eff} = \alpha^{(\ell)} \cdot k$ .
- التأثير: ينتج عن ذلك اختيار أكثر تحفظاً (عدد أقل من المعاملات المعدلة) لطبقات المدخلات الحساسة، بينما يسمح للطبقات الأعمق بالبقاء قابلة للتحرير بموجب العتبات القياسية.
بناء مجموعة الكبت (Suppression Set):
- نسيان العقد (Node Unlearning): يقوم إطار العمل بحساب درجات الأهمية القائمة على FIM لمجموعة التدريب، ومجموعة النسيان، ومجموعة الجيران (لالتقاط تأثيرات تمرير الرسائل). ويتم اشتقاق درجتي كبت ( $b_1$ و $b_2$ ) لتحديد المعاملات المتخصصة في مجموعة النسيان.
- نسيان الحواف (Edge Unlearning): يتم استخدام تقريب للمجموعة المتأثرة لتقدير تأثير إزالة الحافة.
- الاختيار والقياس: يتم اختيار المعاملات إذا كانت درجات الكبت الخاصة بها تقع تحت عتبات المئين المعدلة بواسطة FDQ. ثم يتم تخفيف المعاملات المختارة بنسبة درجتها إلى العتبة، مع وضع حد أقصى لعامل القياس $\gamma$ .

خط العمل (Pipeline)

يعمل خط عمل FDQ في ثلاث خطوات:

حساب مصفوفات FIM القطرية لمجموعات البيانات ذات الصلة (الاحتفاظ، النسيان، والجيران/المتأثرين).
إنشاء درجات كبت لكل معامل بناءً على نسب فيشر.
تطبيق عتبات المئين الموجهة بـ FDQ والخاصة بكل طبقة لاختيار وقياس المعاملات، مع تجنب إعادة بناء البيانات الخام.

3. المساهمات الرئيسية

توضح الورقة ثلاث مساهمات رئيسية:

تحديد قصور حرج: أظهر المؤلفون أن طرق التعلم غير المتزما للرسوم البيانية الحالية تعاني من تدهور شديد في المنفعة على الرسوم البيانية متعددة الوسائط بسبب عدم التوازن الهيكلي في المعاملات، وتحديداً بسبب التحرير المفرط لطبقات إسقاط المدخلات عالية الأبعاد.
اقتراح FDQ: إطار عمل مبتكر يكيف عتبات اختيار المعاملات بناءً على أبعاد الميزات. يتيح التعلم غير المتزامن المستقر من خلال حماية المعرفة الأساسية متعددة الوسائط في طبقات المدخلات مع الحفاظ على فعالية النسيان في الطبقات الأعمقة. كما يدعم نسيان العقد والحواف دون الحاجة لإعادة بناء البيانات الخام.
التحقق التجريبي: أظهرت التجارينات المكثفة على مجموعات بيانات حقيقية متعددة الوسائط (Ele-Fashion و Goodreads-NC) أن FDQ يتفوق باستمرار على الطرق الرائدة في الحفاظ على المنفعة مع الحفاظ على حماية خصوصية فعالة ضد هجمات استدلال العضوية (Membership Inference Attacks).

4. النتائج التجريبية

قيم المؤلفون FDQ على مجموعتي بيانات لتصنيف العقد متعددة الوسائط باستخدام تركيبات مختلفة من المشفرات (مثل CLIP، ImageBind، T5+ViT).

الحفاظ على المنفعة: حقق FDQ باستمرار أعلى درجات F1 للتعلم غير المتزامن عبر كلا المجموعتين من البيانات وجميع تركيبات المشفرات. وفي مجموعة البيانات واسعة النطاق Goodreads-NC، أظهر FDQ مزايا كبيرة مقارنة بالنماذج المرجعية مثل GNNDelete (الذي عانى من أخطاء نفاذ الذاكرة Out-Of-Memory مع ImageBind) والطرق الأخرى التي أظهرت انخفاضات ملحوظة في المنفعة.
حماية الخصوصية: تحت هجمات استدلال العضوية (MIA)، خفض FDQ درجات AUC-ROC إلى ما يقرب من 50% (التخمين العشوائي)، مما يشير إلى فعالية قوية في النسيان. في المقابل، أظهرت النماذج المرجعية مثل GNNDelete قيم AUC أعلى، مما يشير إلى وجود إشارات عضوية متبقية.
المتانة تجاه التسمم: في سيناريوهات نسيان الحواف التي تتضمن حواف مسمومة، حافظ FDQ على أداء عالٍ بعد إزالة التأثير المسموم، بينما أظهرت الطرق الأخرى انخفاضات كبيرة في الأداء.
الكفاءة: أظهر FDQ كفاءة حوسبية عالية، حيث أكمل عملية التعلم غير المتزامن في نطاق أجزاء من الثانية إلى ثوانٍ قليلة، وهو أسرع بكثير من النماذج المرجعية التي تعتمد على إعادة التدريب المكثف أو تقدير التأثير المعقد.
دراسات الاستئصال (Ablation Studies): أدى إزالة الإدراك لأبعاد الميزات (باستخدام مئينات موحدة) أو آلية اختيار ذيل المئين إلى انخفاض في درجات F1، مما يؤكد أن كلا المكونين ضروريان للأداء الأمثل، خاصة في الرسوم البيانية الأكبر والأكثر تعقيداً.

5. الأهمية والادعاءات

تدعي الورقة أن FDQ يوفر حلاً مبدئياً وقوياً للتعلم غير المتزامن الواعي بالخصوصية في أنظمة الرسوم البيانية متعددة الوسائط عالية الأبعاد. تكمن أهميته في معالجة الضعف الهيكلي المحدد للرسوم البيانية متعددة الوسائط (GNNs) حيث تهيمن طبقات المدخلات على مساحة المعاملات. ومن خلال تقديم آلية مدركة لأبعاد الميزات، يحل FDQ المقايضة بين النسيان الفعال ومنفعة النموذج التي تعاني منها استراتيجيات التحرير الموحدة الحالية.

يضع المؤلفون FDQ كأداة عملية لإدارة دورة حياة نماذج الرسوم البيانية متعددة الوسائط، مما يضمن الامتثال للوائح خصوصية البيانات دون المساس بالتمثيلات الغنية المتعلمة من الوسائط النصية والبصرية. كما يقرون بوجود قيد يتعلق بالحساسية تجاه المعلمات الفائقة (hyperparameters) التي تتحكم في قوة التحرير، مشيرين إلى أن هذه المعلمات قد تتطلب ضبطاً في الممارسة العملية.