Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

ملخص تقني: Adaptive RBF-KAN

بيان المشكلة
تقدم شبكات كولموغوروف-أرنولد (KANs) بديلاً للشبكات العصبية متعددة الطبقات (MLPs) من خلال وضع دالات أحادية المتغير قابلة للتعلم على حواف الشبكة بدلاً من استخدام دالات تنشيط ثابتة عند العقد. وبينما يستخدم تطبيق KAN الأصلي قواعد B-spline، فإن هذا النهج يتسبب في تكاليف حوسبية باهظة أثناء التدريب. ويعالج FastKAN هذه المشكلة باستبدال الـ splines بدوال الأساس الشعاعي الغاوسي (RBFs)، مما يحسن الكفاءة بشكل كبير. ومع ذلك، يعتمد FastKAN القياسي على معامل شكل ($h$) ثابت. ويعد اختيار هذا المعامل أمراً حاسماً: فالقيم الصغيرة قد تؤدي إلى الإفراط في التخصيص (overfitting)، بينما تؤدي القيم الكبيرة إلى التنعيم المفرط (oversmoothing). كما أن صيغة FastKAN القياسية تقتصر على النواة الغاوسية، مما قد يحد من المرونة التمثيلية للدالات غير الناعمة أو الموضعية للغاية.

المنهجية
يقترح المؤلفون Adaptive RBF-KAN (يُشار إليه أيضاً باسم adaptive FastKAN) الذي يقدم تحسينين أساسيين للإطار الحالي:

1. التهيئة القائمة على LOOCV: بدلاً من استخدام معامل شكل ثابت أو مهيأ عشوائياً، يقوم المؤلفون بتقدير مقياس النواة الأولي ($h_{opt}$) باستخدام التحقق المتقاطع "ترك واحد خارج المجموعة" (LOOCV). يتم إجراء ذلك على نموذج استكمال RBF أحادي البعد مساعد تم بناؤه من بيانات المدخلات. ولضمان الاستقرار العددي، تمت إضافة حد تنظيم صغير ($\lambda = 10^{-9}$) إلى مصفوفة الاستكمال. ويتم إيجاد $h$ الأمثل عبر بحث ثنائي المرحلة (خشن ودقيق) يقلل من أقصى خطأ في LOOCV.
2. تعلم معامل الشكل التكيفي: للسماح للشبكة بصقل مقياس النواة أثناء التدريب، تمت إعادة صياغة معامل الشكل في الفضاء اللوغاريتمي ($\theta = \ln(h)$). يضمن هذا بقاء $h = e^\theta$ موجباً تماماً، مما يمنع عدم الاستقرار العددي (القسمة على صفر أو النمو الأسي) أثناء التحسين القائم على التدرج. يتم تحديث المعامل $\theta$ جنباً إلى جنب مع معاملات الـ spline عبر الانتشار العكسي (backpropagation).
3. عائلة النواة الموسعة: تم توسيع الإطار ليتجاوز النواة الغاوسية ليشمل عائلة أوسع من دوال الأساس الشعاعي. وتحديداً، قدم المؤلفون نوى Matérn (M2, M4, M6) و Wendland (W2, W4, W6) في بنية KAN لأول مرة. توفر هذه النوى درجات متفاوتة من النعومة والدعم المدمج، مما يسمح للشبكة بالتكيف بشكل أفضل مع الدوال ذات الخصائص الهيكلية المختلفة.

المساهمات الرئيسية

• أول دمج بين LOOCV والـ KAN العميقة: حسب علم المؤلفين، تعد هذه أول دراسة تدمج تقدير مقياس النواة القائم على LOOCV مع تدريب بنيات KAN العميقة.
• دمج نواة مبتكر: يقدم البحث نوى Matérn و Wendland في إطار KAN، متجاوزاً نهج الاعتماد على Gaussian فقط الموجود في FastKAN القياسي.
• استراتيجية تهيئة قائمة على البيانات: توفر الطريقة المقترحة تهيئة مبدئية قائمة على البيانات لمقياس النواة، مما يقلل من الاعتماد على البحث المكلف عن المعلمات الفائقة (hyperparameters) مع السماح بمزيد من الصقل أثناء التدريب.
• تقييم شامل: تقيم الدراسة الطريقة المقترحة مقابل MLPs، و KAN القياسية، و EfficientKAN، و Chebyshev KAN، و KAF، و FastKAN القياسي عبر أربع دالات مرجعية متميزة تمثل السلوكيات الناعمة، والمتقطعة، والمتذبذبة، والمنفردة.

النتائج
كشفت التجارب العددية على نطاق المربع الموحد $[0, 1]^2$ عما يلي:

• اختيار النواة أمر جوهري: لا توجد نواة واحدة مثالية لجميع أنواع الدوال.
  • الدوال الناعمة (Franke): أدت النواة الغاوسية (GA) أفضل أداء، وهو ما يتوافق مع قابلية اشتقاقها اللانهائية.
  • الانقطاعات: تفوقت نواة Matérn C2 (M2) بشكل كبير على GA، حيث التقطت القفزات الحادة بخطأ أقل وتعتيم أقل.
  • الأنماط المتذبذبة: فشلت النواة الغاوسية في التقاط التذبذبات عالية التردد، بينما أعادت نواة Wendland C2 (W2) بناء النمط بدقة.
  • التفردات (Singularities): قللت نواة Wendland C6 (W6) الخطأ بنسبة 52% تقريباً مقارنة بأساس GA للقمم الموضعية.
• التكيف يحسن الأداء: يتفوق Adaptive RBF-KAN باستمرار على FastKAN القياسي ذي معامل الشكل الثابت. على سبيل المثال، في الدالة المتذبذبة، انخفض الخطأ من $4.54 \times 10^{-1}$ (GA ثابت) إلى $6.24 \times 10^{-2}$ (W2 التكيفي).
• المقايضة بين الكفاءة والدقة: بينما توفر KAN القياسية (القائمة على spline) دقة عالية، إلا أنها مكلفة حوسبياً (أوقات تدريب ~60 ثانية مقابل ~3-5 ثوانٍ لمتغيرات RBF). يحافظ Adaptive RBF-KAN على الكفاءة الحوسبية لـ FastKAN مع تحقيق دقة تنافسية أو متفوقة عبر جميع حالات الاختبار. وُجد أن MLPs كانت فعالة حوسبياً ولكنها عانت في الدقة مع الأنماط المعقدة، حيث غالباً ما قامت بتنعيم الميزات عالية التردد بشكل مفرط.

الأهمية والادعاءات
يزعم البحث أن الجمع بين التهيئة القائمة على LOOCV وتعلم النواة التكيفي يوفر استراتيجية عملية ومرنة لتحسين نماذج RBF-KAN. ويؤكد المؤلفون أن عملهم يمثل أول محاولة لربط تقدير المقياس القائم على LOCC مع تدريب KAN العميق. ويفترضون أن الطريقة المقترحة تعالج قيود اختيار النواة الثابتة ومعاملات الشكل الثابتة، مما يمكن الشبكة من تكييف تمثيل أساسها بشكل أفضل مع الخصائص الهيكلية المحددة للدالة المستهدفة (النعومة، الانقطاع، التذبذب، أو التفرد). وتخلص الدراسة إلى أنه بينما تظهر النوى المختلفة مزايا لأنواع مختلفة من الدوال، فإن الإطار التكيفي يقدم حلاً قوياً يوازن بين الكفاءة الحوسبية لـ FastKAN والدقة المطلوبة لتحديات التقريب المتنوعة. ويُقترح في العمل المستقبلي استقصاء التطبيقات في المسائل ذات الأبعاد الأعلى، والبيانات الواقعية المشوبة بالضجيج، ومهام الحوسبة العلمية مثل حل المعادلات التفاضلية الجزئية.