Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

ملخص تقني: شبكات كولموغوروف-أرنولد الغاوسية ذات تقسيم الوحدة (PU-GKAN)

1. بيان المشكلة

برزت شبكات كولموغوروف-أرنولد (KANs) كبديل قوي للشبكات العصبية متعددة الطبقات (MLPs) من خلال وضع دوال أحادية المتغير قابلة للتعلم على الحواف بدلاً من التنشيطات الثابتة على العقد. وبينما تُعد دوال القاعدة الشعاعية الغاوسية (Gaussian RBFs) أساساً جذاباً لشبكات KAN نظراً لسلاستها ومحليتها، إلا أنها تعاني من نقطة ضعف كلاسيكية كبيرة: الحساسية المفرطة لمعامل المقياس ($\epsilon$).

• $\epsilon$ صغيرة: تؤدي إلى قواعد محلية للغاية تفشل في التقاط الاتجاهات العالمية.
• $\epsilon$ كبيرة: تؤدي إلى ميزات مترابطة للغاية وشبه مسطحة، مما يسبب سوء حالة عددية (numerical ill-conditioning) وفقدان الرتبة (loss of rank).
  يسعى البحث إلى معالجة عدم الاستقرار هذا وتحسين دقة التقريب لشبكات KAN القائمة على غاوس من خلال تقنية تطبيع ذات أساس رياضي.

2. المنهجية

يقدم المؤلف شبكة PU-GKAN (الغاوسية ذات تقسيم الوحدة). الابتكار الجوهري هو تطبيق تطبيع نوع شيبارد (Shepard-type normalization) مباشرة على دوال القاعدة الغاوسية داخل كل حافة في شبكة KAN.

• البناء الرياضي: بدلاً من استخدام الدوال الغاوسية الخام $\phi_g(t)$، يستخدم النموذج دوال قاعدة مُطبعة $e\phi_g(t)$:
  $$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$$
  حيث $c_g$ هي مراكز ثابتة و $G$ هو عدد المراكز. يضمن هذا أن $\sum e\phi_g(t) = 1$، مما يخلق تقسيماً للوحدة (partition of unity).
• منظور الميزات المحدودة والنواة: يقدم البحث اشتقاقاً دقيقاً يوضح أن كلاً من GKAN القياسية و PU-GKAN يمكن اعتبارهما طبقات ذات ميزات محدودة. يسمح هذا للمؤلف بتعريف النوى المضافة المستحثة ومصفوفات الميزات التجريبية بشكل صريح، والتي تُستخدم لتحليل حالة النموذج (conditioning).
• قاعدة اختيار المقياس: للتخفيف من حساسية $\epsilon$، يقترح المؤلف فاصل مرجعي عملي لمعامل المقياس:
  $$\epsilon \in \left[ \frac{1}{G-1}, \frac{2}{G-1} \right]$$
  يضمن الحد الأدنى وجود تداخل كافٍ بين المراكز المتجاورة، بينما تم اشتقاق الحد الأعلى من عتبة الحالة العددية لمنع عدم الاستقرار العددي.

3. المساهمات الرئيسية

• الابتكار المعماري: تقديم PU-GKAN، التي تحقق تطبيع نوع شيبارد دون تعقيد تقسيم النطاق أو الشبكات الفرعية الإضافية. وهي تحافظ على بنية KAN الأصلية مع إضافة خاصية إعادة إنتاج الثوابت بدقة عند مستوى الحافة.
• الإطار النظري: صياغة KAN كتركيبة من طبقات الميزات المحدودة، مما يوفر رابطاً واضحاً بين بنية الشبكة ونظرية التقريب الكلاسيكية للنواة/RBF.
• اختيار مقياس قوي: وضع استدلال مبني على الحالة العددية لاختيار $\epsilon$، مما يقلل الحاجة إلى عمليات المسح الشاملة للمعلمات الفائقة (hyperparameter sweeps).
• القدرة على التعميم: إثبات أن مبدأ التطبيع ليس حصرياً على الدوال الغاوسية ويمكن تطبيقه على دوال RBF أخرى، مثل دوال ماتيرن (Matérn functions).

4. النتائج

قام البحث بتقييم PU-GKAN عبر مجموعة متنوعة من الاختبارات:

• تقريب الدوال: بالنسبة للأهداف السلسة والمتوسطة غير السلسة ($F_1$–$F_6$)، تفوقت PU-GKAN باستمرار على GKAN القياسية، وغالباً ما قللت من جذر متوسط مربع الخطأ (RMSE) بنسبة تتراوح بين 30% إلى 78%.
• المتانة تجاه المعلمات الفائقة: أظهرت PU-GKAN حساسية أقل بكثير تجاه معامل المقياس $\epsilon$ وأدت أداءً أفضل عبر أحجام العينات ($N$) المتغيرة وأعداد المراكز ($G$).
• الأبعاد العالية: استمرت الفوائد في الإعدادات عالية الأبعاد ($d=1$ إلى $d=4$)، مع الحفاظ على أخطاء دنيا أقل ومناطق "خطأ منخفض" أوسع في مشهد $\epsilon$.
• التعلم المستند إلى الفيزياء (PINNs): في حل معادلة هلمهولتز و معادلة الموجة أحادية البعد، أظهرت PU-GKAM تقارباً فائقاً وأخطاء تحقق نهائية أقل مقارنة بـ GKAN القياسية، مما يثبت فائدتها في الحوسبة العلمية الآلية.
• الاستثناء: بالنسبة للأهداف شديدة الانقطاع ($F_7$)، كان التحسن أقل انتظاماً، حيث تعاني دوال RBF السلسة بطبيعتها مع الانقطاعات.

5. الأهمية

يوفر هذا العمل آلية تثبيت بسيطة ولكنها عميقة رياضياً لشبكات KAN القائمة على RBF. من خلال تحويل القاعدة الغاوسية إلى تقسيم للوحدة، نجح المؤلف فعلياً في تنظيم توزيع الإحداثيات الداخلي وتحسين حالة مصفوفات الميزات. وهذا يجعل شبكات Gaussian KAN أكثر موثوقية، وأسهل في التدريب، وأكثر دقة للمهام الحسابية العلمية المعقدة، بما في ذلك حل المعادلات التفاضلية الجزئية (PDEs).