KANs need curvature: penalties for compositional smoothness

ملخص تقني: شبكات KAN بحاجة إلى الانحناء: عقوبات السلاسة التركيبية

بيان المشكلة
تقدم شبكات كولموغوروف-أرنولد (KANs) بديلاً مقنعاً للشبكات العصبية التقليدية عبر استبدال الدوال غير الخطية الثابتة بدوال تنشيط أحادية المتغير قابلة للتعلم على الحواف، مما يعد بدقة عالية وقابلية للتفسير في آن واحد. ومع ذلك، فإن عيباً جوهرياً يحد من فائدتها العملية في التعلم الآلي العلمي: غالباً ما تطور شبكات KANs "تذبذبات ذات انحناء عالٍ بشكل مرضي" في دوال التنشيط الخاصة بها. وبينما تحقق هذه النماذج دقة عالية في مطابقة البيانات، فإن هذه التذبذبات التي تشبه "النتوءات" تجعل الدوال المتعلمة غير قابلة للقراءة وصعبة التفسير. يجادل المؤلفون بأن عقوبات التنظيم القياسية المستخدمة في KANs (تحديداً عقوبات المقدار والاعتلاج المقترحة من قبل Liu et al.) عاجزة بنيوياً عن منع ذلك. فهذه العقوبات القياسية تعتمد فقط على متوسط مقدار التنشيطات، ولا تحمل أي معلومات عن المشتقات؛ وبالتالي، فإن الدالة التي تتذبذب بجنون ستتحمل نفس العقوبة التي تتحملها دالة سلسة إذا تساوى متوسط مقدارهما.

المنهجية
لمعالجة غياب السلاسة، يقترح المؤلفون عقوبة انحناء مستقلة عن الأساس مشتقة من نظرية الـ P-splines (الشرائح المُنظمة بالجزاء).

1. اشتقاق عقوبة الحافة:
   يعرف المؤلفون انحناء دالة التنشيط أحادية المتغير $\phi_e$ بوصفه طاقة الانحناء من نوع $L_2$، وهي $\int (\phi_e''(z))^2 dz$. ومن خلال استبدال صيغة تنشيط KAN (وهي مزيج خطي من دالة أساسية، عادةً SiLU، وB-splines)، يشتقون عقوبة مغلقة الصيغة تعمل مباشرة على معاملات النموذج:
   $$R(f) = \sum_{e} \left( \|D_2(\beta_e c_e)\|^2 + K_{\text{silu}} \alpha_e^2 \right)$$
   هنا، $D_2$ هي مصفوفة الفرق الثاني التي تعمل على معاملات الـ spline، و$\beta_e$ يمثل مقياس الـ spline، و$\alpha_e$ يمثل مقياس الدالة الأساسية. هذه العقوبة تُطبق على مستوى كل حافة وهي مستقلة عن توزيع بيانات التدريب.

2. التحليل النظري للانحناء التركيبي:
   إدراكاً منهم بأن سلاسة الحواف لا تضمن تلقائياً سلاسة الدالة المركبة الكاملة، يجري المؤلفون تحليلاً تركيبياً. حيث يشتقون مصفوفة "هيسيان" (Hessian) للدالة الشبكية الكاملة باستخدام قاعدة السلسلة، مستفيدين من البنية الخاصة لـ KANs حيث تكون مصفوفات هيسيان الطبقات قطرية (بسبب الحواف أحادية المتغير).
   لقد أثبتوا النظرية 1، التي تؤسس أن عقوبة الحافة المقترحة $R(f)$ تعمل كـ حد علوي صارم لانحناء التركيب الحقيقي $\mathcal{R}(f)$ (المُعرف كمتوسط مربع معيار فروبينيوس لهيسيان المدخلات). يعتمد هذا الإثبات على ثلاثة افتراضات بنيوية تتعلق بأوزان المسارات، وكثافة التنشيط، وتباعد العقد، مما يوضح أن تقليل عقوبة الحافة يقلل فعلياً من حد أعلى للانحناء العالمي.

3. الامتداد الموزون:
   يقترح المؤلفون أيضاً "عقوبة موزونة أكثر ثراءً" تدميد أوزان المسارات المتوقعة ($\bar{w}_e$) المستمدة من تفكيك قاعدة السلسلة. هذا المتغير يدرج مقياساً لعقوبة كل حافة بناءً على تأثيرها المتوقع على هيسيان النموذج العالمي، رغم أنه يعيد إدخال الاعتماد على توزيع بيانات التدريب.

المساهمات الرئيسية

1. القصور البنيوي للعقوبات الحالية: يوضح البحث أن عقوبة KAN القياسية لا يمكنها فرض السلاسة لأنها تفتقر إلى معلومات المشتقة، مما يجعل من المستحيل التمييز بين الدوال السلسة والمتذبذبة ذات المقدار المتساوي.
2. عقوبة انحناء مستقلة عن الأساس: اشتق المؤلفون عقوبة انحناء مغلقة الصيغة تعتمد على المعاملات، يمكن تطبيقها على أي أساس ثابت ذي مشتقات ثانية قابلة للتكامل التربيعي (مثل B-splines).
3. الحد العلوي النظري: من خلال التحليل التركيبي، يثبت البحث أن عقوبة الحافة توفر حداً علوياً لانحناء الشبكة الكاملة، مما يوفر تبريراً نظرياً لاستخدام العقوبات المحلية للتحكم في السلاسة العالمية.
4. التحقق التجريبي: تظهر الدراسة أن نماذج KAN المعاقبة بالانحناء تحقق تنشيطات أكثر سلاسة بشكل ملحوظ مع الحفاظ على دقة تضاهي النماذج غير المعاقبة أو المعاقبة قياسياً عبر تقريب الدوال، واختبار Feynman للتحليل الرمزي، وفي الأنظمة ذات المعلمات الزائدة.

النتائج

• تقريب الدوال: في تجارب تقريب دوال مثل $f(x, y) = \sin(x + y^2)$ و $f(x, y) = \exp(\sin(\pi x) + y^2)$، أنتجت نماذج KAN المعاقبة بالانحناء دوال تنشيط تتوافق بصرياً مع المكونات الحقيقية (مثل منحنيات الجيب والمنحنيات متعددة الحدود السلسة)، بينما أظهرت النماذج غير المعاقبة تذبذبات عالية التردد.
• اختبار Feynman: في 14 معادلة من اختبار Feynman للتحليل الرمزي، حققت نماذج KAN المعاقبة بالانحناء أدنى إجمالي لانحناء الحافة في جميع الحالات الـ 14. ومن حيث الدقة (Test RMSE)، فقد طابقت أو تفوقت على عقوبة KAN القياسية في 9 من أصل 14 معادلة، وكانت ضمن عامل ضِعف من أفضل دقة في جميع الحالات.
• الاستقرار في الأنظمة ذات المعلمات الزائدة: حققت عقوبة الانحناء استقراراً كبيراً في تدريب KANs ذات المعلمات الزائدة (حجم شبكة $G$ مرتفع). وخلافاً لعقوبة KAN القياسية التي وصلت إلى حالة الثبات مبكراً، استمرت النماذج المعاقبة بالانحناء في التحسن عبر 3000 حقبة (epoch). علاوة على ذلك، مكنت العقوبة من التدريب المستقر مع شبكات عالية الدقة ($G=200$) دون الحاجة إلى "توسيع الشبكة" (عملية تدريب متعددة المراحل تبدأ بـ $G$ منخفض)، محققة قيم RMSE اختبارية تقارب $10^{-3}$ حيث فشلت النماذج غير المعاقبة فشلاً ذريعاً.
• الاستقلال عن المُحسن (Optimizer): لوحظت فوائد عقوبة الانحناء مع كل من مُحسني Adam و L-BFGS.
• العقوبة الموزونة: أظهرت مقارنة مكونة من 10 بذور (seeds) أن عقوبة الانحناء الموزونة (التي تدمج أوزان المسارات) قللت متوسط RMSE الاختبار بمقدار 2.2 ضعف مقارنة بالعقوبة الموحدة للحافة.

الأهمية والادعاءات
يدعي البحث أن عقوبة الانحناء توفر "رافعة سلاسة واحدة ومبدئية" لشبكات KAN. وتكمن أهميتها في ثلاثة مجالات:

1. القابلية للتفسير: من خلال فرض تنشيطات سلسة، تجعل العقوبة التمثيلات الداخلية لـ KANs قابلة للقراءة ومتوافقة مع الحدس العلمي بأن القوانين الفيزيائية عادة ما تكون سلسة، مما يعزز مكانة KANs كأداة للتعلم الآلي العلمي.
2. استقرار التدريب: إنها تعالج عدم الاستقرار في تدريب شبكات KAN عالية الدقة، مما يسمح بتحسين أحادي المرحلة وشامل (end-to-end) دون الحاجة إلى بروتوكولات توسيع الشبكة المعقدة متعددة المراحل. وهذا أمر بالغ الأهمية لدمج KANs في أنظمة أوسع مثل البحث عن بنية الشبكات العصبية (NAS) أو التعلم التلوي (Meta-learning).
3. الميزة الهيكلية: يسلط التحليل الضوء على أن البنية القطرية لمصفوفات هيسيان KAN (الناتجة عن الحواف أحادية المتغير) هي ميزة هيكلية فريدة تسمح بنسب الانحناء التركيبي لكل حافة بشكل قابل للتفسير، وهي خاصية غير موجودة في شبكات MLP القياسية.

يخلص المؤلفون إلى أن السلاسة ليست مجرد ميزة مضافة، بل هي خاصية قابلة للتحكم متأصلة في بنية KAN، وأن إدارة هذه الخاصية عبر عقوبات الانحناء أمر ضروري لتحقيق الإمكانات الكاملة لشبكات KAN في الاكتشاف العلمي القائم على التفسير.