ملخص تقني: التطهير التنافسي ذاتي الإشراف للشبكات العصبية الرسومية

بيان المشكلة

تعد الشبكات العصبية الرسومية (GNNs) عرضة بشكل كبير للهجمات التنافسية، وخاصة الاضطرابات الهيكلية مثل إدراج الحواف أو حذفها. تتطلب الدفاعات ضد هذه الهجمات عادةً الموازنة بين هدفين متضاربين: الدقة (الأداء على البيانات النظيفة) والمتانة (القدرة على الصمود أمام الهجمات). تحاول طرق التدريب التنافسي التقليدية تحسين هذين الهدفين في آن واحد ضمن إطار مصنف واحد. ومع ذلك، فإن هذا النهج يربط الأهداف ببعضها بشكل جوهري، مما يفرض غالباً مقايضة تؤدي إلى تدهور كبير في الدقة على البيانات النظيفة مع زيادة المتانة. علاوة على ذلك، فإن طرق التطهير التنافسي الموجودة غالباً ما تعتمد على استدلالات محددة مسبقاً (مثل تشابه Jaccard، أو تقريب الرتبة المنخفضة) أو آليات بسيطة للكشف عن الحواف تفتقر إلى القدرة على التكيف وتفشل في التقاط الاختلافات الهيكلية المعقدة بين الرسوم البيانية النظيفة والتنافسية.

المنهجية

يقترح المؤلفون إطار عمل للتطهير التنافسي ذاتي الإشراف يعمل على فك الارتباط بين هدفي الدقة والمتانة من خلال فصلهما إلى وحدتين متميزتين: مصنف (GNN) قياسي ومُطهر (Purifier) مخصص.

1. بنية إطار العمل

• فك الارتباط: يركز المصنف ($f_\psi$) حصرياً على تعلم التمثيلات الدقيقة من الرسوم البيانية النظيفة، بينما يتم تدريب المُطهر ($f_\theta$) بشكل مستقل لإعادة بناء هيكل الرسم البياني النظيف من المدخلات المضطربة. هذا الفصل يمنع التداخل بين أهداف الدقة والمتانة.
• التدريب ذاتي الإشراف: يتم تدريب المُطهر باستخدام استراتيجية ذاتية الإشراف؛ حيث يأخذ رسماً بيانياً مضطرباً $G'$ (يتم أخذ عينات منه من فضاء اضطراب محدود $B(G, \epsilon)$) ويحاول إعادة بناء مصفوفة التجاور $A$. تهدف دالة التدريب إلى تقليل خطأ إعادة البناء دون الاعتماد على تسميات العقد (node labels)، مما يسمح للمُطهر بتعلم اتجاهات تطهير عامة عبر نطاق واسًع من الاضطرابات.

2. نموذج GPR-GAE

المساهمة الجوهرية هي GPR-GAE، وهو مشفر تلقائي رسومي (GAE) مبتكر مصمم خصيصاً لعملية التطهير. يعالج هذا النموذج أوجه القصور في المشفرات التلقائية الرسومية التقليدية، مثل "التنعيم التنافسي" (حيث تعمل الاضطرابات على طمس الفروق بين العقد) والصعوبات في التقاط المعلومات الهيكلية من الرتب العليا.

• مرشحات GPR متعددة: بدلاً من تكديس طبقات GNN ثابتة، يستخدم GPR-GAE عدد $K+1$ من مرشحات صفحة رانك المعممة (GPR) المتميزة. يستخدم كل مرشح معاملات قابلة للتعلم $\gamma$ لوزن المساهمات ديناميكياً من نطاقات الجوار المختلفة (حتى $K$ من القفزات).
• تمثيلات متنوعة: من خلال الاستفادة من مرشحات GPR المتعددة بمقاييس ومعاملات متفاوتة، يلتقط النموذج جوانب هيكلية متنوعة. يمكن لبعض المرشحات أن تثبط جيراناً محددين (مثل نطاق قفزة واحدة 1-hop) بينما تركز على غيرهم (مثل نطاق قفزتين 2-hop)، مما يسمح للنموذج بالتمييز بين المناطق النظيفة والتنافسية بفعالية دون المعاناة من مشكلة التنعيم المفرط (oversmoothing).
• البنية:
  • ترميز العقد: يقوم بدمج مخرجات جميع مرشحات GPR لتشكيل تمثيلات عقد متعددة المقاييس.
  • ترميز وفك ترميز الحواف: يحسب تمثيلات الحواف من تمثيلات العقد المدمجة ويتنبأ باحتمالات الروابط باستخدام خسارة متماثلة لضمان الاتساق.

3. عملية التطهير متعددة الخطوات

أثناء الاستدلال، لا تكون عملية التطهير عملية خطوة واحدة، بل هي عملية صقل تكرارية تقاربية.

• بدءاً من رسم بياني مضطرب $G^{(0)}$، يتنبأ النموذج بمصفوفة تجاور "أكثر نظافة" $\hat{A}^{(t)}$.
• يتم تحديث الرسم البياني بشكل تكراري: $G^{(t+1)} = G^{(t)} + \alpha \cdot (\hat{A}^{(t)} - G^{(t)})$، حيث $\alpha$ هو حجم الخطوة.
• الضمان النظري: يثبت المؤلفون أنه تحت افتراض أن المُطهر يتصرف كدالة مستمرة "ليبشيتز" محلية (بثابت $L < 1$)، فإن هذه العملية التكرارية تتقارب خطياً إلى نقطة استقرار ثابتة. هذا التقارب مضمون بغض النظر عن حجم الخطوة، طالما تم تدريب النموذج ذاتياً.

المساهمات الرئيسية

1. إطار عمل مفكك الارتباط: يقترح البحث إطار عمل يفصل صراحةً بين الدقة والمتانة، من خلال تخصيص مهام لكل منهما لوحدات متخصصة (المصنف والمُطهر) للحد من المقايضة المتأصلة في التدريب التنافسي.
2. بنية GPR-GAE: تقديم مُطهر متخصص يستخدم مرشحات GPR متعددة لالتقاط تمثيلات هيكلية متعددة المقاييس، مما يميز بفعالية بين المناطق النظيفة والتنافسية في الرسم البياني مع تجنب مشكلات التنعيم المفرط التي تعاني منها نماذج GAE التقليدية.
3. تطهير متعدد الخطوات تقاربي: عملية صقل متعددة الخطوات تكرارية لاستعادة الهياكل الرسومية، حيث قدم المؤلفون برهاناً على التقارب بناءً على استمرارية "ليبشيتز" للمُطهر ذاتي الإشراف.
4. دفاع "وصل وشغل" (Plug-and-Play): تعمل الطريقة كوحدة دفاع مستقلة متوافقة مع مختلف المصنفات الرسومية (مثل GCN، GAT، GPRGNN، APPNP)، ولا تتطلب إعادة تدريب المصنف نفسه.

النتائج التجريبية

قيم المؤلفون GPR-GAE عبر مجموعات بيانات متنوعة (Cora, Citeseer, Pubmed, Chameleon, OGB-arXiv) وسيناريوهات هجوم مختلفة (PRBCD, LRBCD).

• المتانة: حقق GPR-GAE متانة هي الأفضل في فئته (SOTA) ضد الهجمات التكيفية. على سبيل المثال، في مجموعة بيانات Cora تحت اضطرابات شديدة ($\epsilon = 0.5$)، أدى اقتران GPR-GAE مع مصنف GPRGNN إلى تحسين دقة الاختبار بمقدار 15.7 نقطة مئوية مقارم بأفضل خط أساس تم تدريبه تنافسياً.
• الحفاظ على الدقة: على عكس التدريب التنافسي، الذي غالباً ما يضحي بالدقة على البيانات النظية مقابل المتانة، حافظ GPR-GAE على دقة نظيفة قريبة من المصنف الأصلي، مما أظهر نجاحاً في تخفيف مقايضة الدقة والمتانة.
• القابلية للتوسع: توسعت الطريقة بكفاءة لتشمل مجموعات بيانات كبيرة مثل OGB-arXiv باستخدام معالجة الدفعات الصغيرة (mini-batch)، بينما واجهت الطرق الأخرى (مثل GOOD-AT و SVD-GCN) قيوداً في الذاكرة أو فشلت في التوسع.
• الهجمات غير التكيفية: في إعدادات الهجمات الانتقالية، تفوق GPR-GAE باستمرار على طرق التطهير القائمة على الاستدلال (Jaccard-GCN, SVD-GCN) وبنيات GNN القوية (EvenNet, SoftMedianGDC).
• التحقق التجريبي: أكدت التجارب أن ثابت "ليبشيتز" للمُطهر المدرب هو أقل تماماً من 1، مما يدعم ادعاءات التقارب النظرية. وأظهر تصوير المعاملات المتعلمة أن GPR-GAE يتعلم أنماط مرشحات متنوعة مدفوعة بالبيانات بغض النظر عن تجانس الرسم البياني (homophily).

الأهمية والادعاءات

يزعم البحث أن GPR-GAE يمثل تقدماً كبيراً في الدفاع عن الشبكات العصبية الرسومية من خلال إعادة تصميم آلية الدفاع بشكل جذري. فمن خلال الانتقال من نموذج التدريب التنافسي "الشامل" إلى نهج التطهير ذاتي الإشراف، تنجح الطرح في:

• كسر المقايضة: نجح في فك الارتباط بين الدقة والمتانة، مما يسمح للمصنف بأن يظل دقيقاً على البيانات النظيفة بينما يتولى المُطهر مهمة المتانة.
• التعميم: يعمل كدفاع متعدد الاستخدامات، يمكن وصله وتشغيله مباشرة لتعزيز متانة مختلف بنيات GNN دون الحاجة لتغييرات هيكلية في المصنفات.
• التكيف: من خلال التدريب ذاتي الإشراف المستند إلى البيانات ومرشحات GPR متعددة المقاييس، يتكيف مع هياكل الرسوم البيانية المتنوعة وأنماط الاضطراب المعقدة بشكل أكثر فعالية من الطرق الاستدلالية أو الثابتة.

يخلص المؤلفون إلى أن هذا الإطار يقدم حلاً قوياً، وقابلاً للتوسع، وذا أساس نظري لتأمين الشبكات العصبية الرسومية ضد الهجمات التنافسية الهيكلية.