Implicit Regularization of Mini-Batch Training in Graph Neural Networks

ملخص تقني: التنظيم الضمني للتدريب بنظام الدفعات الصغيرة في الشبكات العصبية الرسومية

بيان المشكلة
يتطلب تدريب الشبكات العصبية الرسومية (GNNs) على الرسوم البيانية واسعة النطاق عادةً التدريب باستخدام الدفعات الصغيرة (mini-batch training) لإدارة قيود الذاكرة والحوسبة. وبخلاف التدريب على بيانات مستقلة ومتماثلة التوزيع (i.i.d.)، فإن التدريب بالدفعات الصغيرة في الشبكات العصبية الرسومية يختلف جوهرياً: فعملية أخذ عينات من رسم بياني فرعي تغير طوبولوجيا الرسم البياني، وتُدخل تأثيرات حدودية، وتغير التفاعلات المتاحة للنموذج. وبالتالي، فإن اختيار طريقة أخذ العينات ليس مجرد تفصيل تنفيذي، بل هو ما يحدد التدرجات العشوائية ومشكلة التعلم الفعلية. ركزت الأعمال السابقة على تطوير أخذ عينات "واعٍ بالبنية" (مثل: Neighborhood Sampling، وClusterGCN، وGraphSAINT) للحفاظ على الاتصال المحلي لتقليل تباين التضمين. ومع ذلك، لا يزال الفهم النظري لما يتم تحسينه فعلياً عند التدريب على هذه الرسوم البيانية الفرعية المأخوذة عينات منها غير مكتمل. وتحديداً، من غير الواضح كيف تؤثر استراتيجية أخذ العينات على التنظيم الضمني لعملية التحسين.

المنهجية والإطار النظري
يتقصى المؤلفون طريقة أخذ عينات العقد العشوائية (RNS)، وهي مخطط بسيط حيث يتم أخذ عينات العقد عشوائياً وبشكل موحد، ويتم التدريب على الرسم البياني الفرعي الناتج. وبينما تتجاهل RNS البنية المحلية وتنشئ "جيراناً غير مكتملين" مقارنة بالرسم البيئي الكامل، إلا أن الورقة تثبت فعاليتها المفاجئة.

ولتفسير ذلك، يطبق المؤلفون تحليل الخطأ العكسي (backward error analysis) على خوارزمية الانحدار الاشتقاقي العشوائي (SGD) للدفعات الصغيرة في الشبكات العصبية الرسومية. يفسر هذا التقنية مسار التحسين المنفصل ليس كتقريب لتدفق التدرج المستمر، بل كتدفق دقيق لنظام معدل.

• الهدف المعدل: يثبت التحليل أن التدريب على الرسوم البيانية الفرية المأخوذة عينات منها يقلل ضمناً من دالة خسارة معدلة:
  $$\tilde{L}_{\text{Sampl}}(w) = \bar{L}_{\text{Sampl}}(w) + \frac{\epsilon}{4} \|\nabla \bar{L}_{\text{Sampl}}(w)\|^2 + R(w)$$
  حيث $\bar{L}_{\text{Sampl}}$ هي متوسط الخسارة المأخوذة عينات منها عبر الحقبة (epoch)، و $R(w)$ هو منظم يتناسب مع تباين تدرجات الدفعات الصغيرة.
• التبعية لأخذ العينات: يتم تشكيل الحد $R(w)$ مباشرة بواسطة أخذ العينات. يوضح المؤلفون أنه بينما تتجاهل RNS بنية الرسم البياني، فإنها تنتج دفعات صغيرة تكون خسارتها المتوقعة أقرب إلى خسارة الرسم البياني الكامل (تحيز منخفض) وتظهر تدرجاتها لكل دفعة تبايناً أقل بكty بشكل ملحوظ مقارنة بالبدائل الواعية بالبنية.
• الميزة النظرية: على عكس أخذ العينات القائم على البنية (مثل: ClusterGCN وGraphSAINT)، الذي يُدخل تحيزاً من خلال اختيار العقد غير الموحد أو تشويه الدرجة، تحافظ RNS على توزيع درجات "قانون القوة" (power-law) للرسم البياني الأصلي في كل دفعة صغيرة. ويرتبط هذا الحفاظ الهيكلي بحد تنظيم تباين التدرج الذي يكون أصغر بعدة مراتب من طريقة أخرى، مما يؤدي إلى هدف ضمني أكثر استقراراً.

المساهمات الرئيسية

1. التحليل النظري: تقدم الورقة تحليلاً للخطأ العكسي لتدريب الدفعات الصغيرة في الشبكات العصبية الرسومية، مما يثبت أن أخذ العينات ينظم الهدف ضمنياً عبر عقوبة تباين التدرج. كما تثبت أن RNS تسبب تحيزاً محكوماً بالنسبة لخسارة الرسم البياني الكامل وتحداً أدنى لترميز تباين التدرج.
2. القياس التجريبي: يقارن المؤلفون خمس استراتيجيات لأخذ العينات (RNS، وNeighborhood Sampling، وClusterGCN، وGraphSAINT، وLADIES) عبر ثلاثة مجموعات بيانات واسعة النطاق (OGBN-ARXIV، وOGBN-PRODUCTS، وPOKEC) وأربعة بنيات للشبكات العصبية الرسومية (GCN، وGraphSAGE، وGAT، وSGFormer).
3. الأثر العملي: تُقدم RNS كبديل "جاهز للاستخدام" للتدريب على الرسم البياني الكامل، حيث تتطلب فقط معاملاً فائقاً واحداً صحيحاً ($m$، عدد الدفعات).

النتائج

• الأداء: تضاهي RNS أو تتفوق على التدريب على الرسم البياني الكامل في 8 من أصل 10 اختبارات مرجعية (عبر أحجام وكثافات ومستويات تجانس مختلفة). في OGBN-PRODUCTS، تحقق RNS دقة بنسبة 83.11% مقارنة بـ 80.42% للتدريب على الرسم البياني الكامل. وفي OGBN-ARXIV وPOKEC، تتفوق RNS أيضاً على النماذج المرجعية للرسم البياني الكامل.
• الكفاءة: تحقق RNS تسريعاً في وقت التنفيذ (wall-clock speedups) يتراوح بين 2 إلى 12 ضعفاً مقارنة بالتدريب على الرسم البياني الكامل، وتخفض ذروة استخدام ذاكرة وحدة معالجة الرسومات (GPU) بمقدار يصل إلى 3 أضعاف. ويُعزى ذلك إلى معالجة عدد أقل من الحواف لكل حقبة (تقريباً $|E|/m$) وإجراء $m$ من خطوات المحسن لكل حقبة.
• التعميم: تتعمم الطريقة عبر بنيات تمرير الرسائل المختلفة (GCN، GraphSAGE) ومجموعات بيانات متنوعة من تصنيف GraphLand. كما تظهر متانة في أنظمة الإشراف الشحيحة (Random Low) والوفيرة (Random High).
• الدراسة الاستقصائية (Ablation): تؤكد التجارب أن مكسب الأداء يعتمد على كل من تحيز أخذ العينات وتحديثات الدفعات الصغيرة المتسلسلة (حد $R(w)$). إن إزالة تأثير التسلسل (تجميع التدرجات قبل التحديث) يقلل من فائدة الأداء، مما يؤكد صحة الاشتقاق النظري.

الأهمية والادعاءات
تدعي الورقة أن RNS يجب اعتبارها نموذجاً افتراضياً قوياً ومبنياً على أسس نظرية للتدريب التحويلي (transductive) القابل للتوسع في الشبكات العصبية الرسومية. وتكمن الأهمية في إعادة صياغة اختيار أخذ عينات الرسم البياني كشكل من أشكال التنظيم الضمني. ويجادل المؤلفون بأن بساطة RNS ليست عيباً بل ميزة: فمن خلال تجنب الاستدلالات المعقدة للحفاظ على البنية، فإنها تتجنب عن غير قصد تقليل تباين المنظم الضمني، مما يؤدي إلى مشهد تحسين أكثر استقراراً وفعالية.

ويبدي المؤلفون تواضعاً فيما يتعلق ببعض الجوانب:

• محسن Adam: تم اشتقاق تحليل الخطأ العكسي لـ SGD التقليدي. وبينما تظهر النتائج التجريبية أن RNS تعمل جيداً مع Adam، فإن التمديد الرسمي لنظرية التنظيم الضمني للمحسنات التكيفية يظل سؤالاً مفتوحاً بسبب اللاخطية التي يفرضها التطبيع حسب الإحداثيات.
• الحساسية للمعاملات الفائقة: تم تحديد عدد الدفعات لكل حقبة ($m$) كمعامل فائق حرج. وبينما تعد RNS أبسط في الضبط من الطرق التي تحتوي على معاملات أخذ عينات متعددة (مثل fanout وwalk length)، إلا أنه يجب اختيار $m$ بعناية، حيث يمكن أن تكون الدقة حساسة لقيمته، خاصة فيما يتعلق بقطر الرسم البياني الفرعي.
• حدود البنية: أثبتت الطريقة فعاليتها لنماذج تمرير الرسائل القياسية (GCN، GraphSAGE). ومع ذلك، بالنسبة للنماذج ذات آليات الانتباه العالمي (مثل SGFormer)، قد يكون أداء RNS أقل كفاءة إذا تم قطع التفاعلات العالمية بواسطة أخذ عينات العقد العشوائية، مما يشير إلى أن الطريقة ليست مستقلة عن البنية بشكل عالمي دون مزيد من البحث.

ختاماً، تثبت الورقة أن استراتيجية أخذ العينات "الأبسط"، والتي غالباً ما تُستبعد لتجاهلها البنية المحلية، توفر في الواقع هدفاً ضمنياً متفوقاً لتدريب الشبكات العصبية الرسومية من خلال تقليل تباين التدرج، مما يقدم بديلاً عملياً وفعالاً لطرق أخذ العينات المعقدة الواعية بالبنية.