FI-KAN: Fractal Interpolation Kolmogorov-Arnold Networks

إليك ملخص تقني مفصل لورقة البحث: "شبكات كولموغوروف-أرنولد ذات الاستيفاء الكسري (FI-KAN): الاستيفاء الكسري لشبكات كولموغوروف-أرنولد".

1. بيان المشكلة

تعتمد بنيات تقريب الدوال العصبية القياسية، بما في ذلك الإدراك متعدد الطبقات (MLPs) وشبكات كولموغوروف-أرنولد (KANs)، على دوال أساس سلسة (مثل ReLU أو SiLU أو B-splines). وبينما تُعد هذه الدوال مثالية تقريباً للأهداف السلسة (فضاءات سوبوليف أو بيسوف ذات الانتظام العالي)، إلا أنها تعاني من عدم تطابق في الانتظام (Regularity Mismatch) عند تقريب الدوال غير السلسة.

العديد من الأهداف العلمية والهندسية — مثل حقول الاضطراب (Turbulence)، والسلاسل الزمنية المالية، وأسطح الكسور، وحلول المعادلات التفاضلية الجزئية (PDEs) ذات الزوايا المفردية أو المعاملات الخشنة — تظهر انتظام هولدر (Hölder regularity) ($\alpha < 1$) أو تشابهاً ذاتياً كسرياً (Fractal self-similarity). إن تقريب مثل هذه الدوال باستخدام أسس سلسة يتطلب زيادة أسية في عناصر الأساس ($O(h^{-1/\alpha})$) لتحقيق دقة معينة، مما يجعل البنيات القياسية غير فعالة وعرضة للتقليل من التقدير (Underfitting) أو التنعيم المفرط (Over-smoothing).

المشكلة الجوهرية التي تعالجها الورقة هي غياب بنية عصبية قادرة على تعلم الانتظام الهندسي للدالة المستهدفة، وتحديداً القدرة على التكيف من الهياكل السلسة إلى الهياكل الكسرية أثناء التدريب.

2. المنهجية: بنية FI-KAN

قدم المؤلفون بنية FI-KAN (Fractal Interpolation KAN)، والتي تدمج دوال الاستيفاء الكسري (FIFs) المستمدة من نظرية أنظمة الدوال المتكررة (IFS) ضمن إطار عمل KAN.

الآلية الجوهرية

بدلاً من استخدام أسس B-spline الثابتة، تستخدم FI-KAN أسساً كسرية قابلة للتعلم. الابتكار الرئيسي هو التعامل مع معاملات الانكماش الرأسي ($d_i$) لنظام الـ IFS كـ معاملات قابلة للتدريب.

• التحكم في البعد الكسري: البعد الصندوقي ($dim_B$) لدوال الأساس هو دالة قابلة للتفاضل لمعاملات الانكماش $d$.
  • عندما يكون $d = 0$، يتقلص الأساس إلى دوال "قبعة" خطية مجزأة قياسية (سلسة، $dim_B = 1$).
  • مع زيادة $|d|$، يكتسب الأساس بنية ذاتية التشابه (Self-affine) وكسرية ($dim_B > 1$).
• القابلية للتفاضل: يعتمد تقييم دوال FIF على تكرار Read–Bajraktarević (RB) المبتور، وهو قابل للتفاضل بالكامل، مما يسمح بالتحسين عبر التدرج (Gradient-based optimization) من البداية إلى النهاية.

نموذجان

تقترح الورقة بنيتين بناءً على أطر رياضية مختلفة:

1. Pure FI-KAN (إطار عمل Barnsley):

   • البنية: تستبدل B-splines تماماً بدوال FIF.
   • الدالة: $\phi(x) = \sum w_m \phi_m(x; d)$.
   • السلوك: متخصصة للغاية للأهداف الخشنة/الكسرية. وتواجه صعوبة في الأهداف السلسة لأنها لا تستطيع إعادة إنتاج كثيرات الحدود عالية الدرجة بكفاءة دون تعلم $d \approx 0$، مما يحد من قدرتها التقريبية للانحناءات السلسة.

2. Hybrid FI-KAN (إطار عمل Navascués):

   • البنية: تنفذ تحليلاً كسرياً من نوع $\alpha$: $f^\alpha_b = b + h$.
     • $b$ (الأساس): مسار B-spline قياسي (المُقرب الكلاسيكي).
     • $h$ (التصحيح): مسار FIF موازٍ يعمل كبقايا كسرية (Fractal residual).
   • الدالة: $\phi(x) = \text{Spline}(x) + \sum w_m \phi_m(x; d)$.
   • السلوك: قوية عبر كامل الطيف. فهي تتحول إلى KAN قياسية عندما يكون $d=0$، وتتعلم التصحيحات الكسرية فقط حيثما تتطلب البيانات ذلك.

التنظيم (Regularization)

تم تقديم منظم البعد الكسري (Fractal Dimension Regularizer) لفرض عقوبة على التعقيد الكسري غير الضروري:
$$R_{frac}(d) = (\dim_B(d) - 1)^2$$
يعمل هذا كـ "موس أوكام" (Occam's razor) مدرك للهندسة، حيث يشجع الشبكة على تعلم أسس سلسة ($dim_B \approx 1$) ما لم تقدم البيانات دليلاً قوياً على وجود بنية كسرية.

3. المساهمات الرئيسية

1. هندسة الأساس القابلة للتعلم: أول بنية عصبية يكون فيها الانتظام الهندسي (البعد الكسري) لدوال الأساس معاملاً مستمراً وقابلاً للتعلم مشتقاً من نظرية IFS.
2. الأساس النظري: تثبت الورقة أن دوال FIF يمكنها تمثيل الأهداف ذاتية التشابه بدقة باستخدام $O(N)$ من المعاملات، بينما تتطلب B-splines مقدار $O(\epsilon^{-1/\alpha})$. كما تثبت أن Pure FI-KAN تعاني من تباين كلي لانهائي على الأهداف السلسة، مما يفسر انخفاض أدائها.
3. البنية الهجينة (Hybrid Architecture): توضح أن (Hybrid FI-KAN) تتفوق على كل من النهجين (السلس والنقي الكسري)، مما يوفر مُقرباً شاملاً للانتظام المختلط.
4. القابلية للتفسير: توفر معاملات الانكماش المتعلمة تشخيصاً مباشً لانتظام الهدف؛ حيث يرتبط $dim_B$ المتعلم ارتباطاً رتيباً مع أس هولدر الحقيقي للهدف.

4. النتائج التجريبية

تحقق المؤلفون من صحة FI-KAN عبر مهام الانحدار أحادية وثنائية الأبعاد، والمتانة تجاه الضجيج، وحلول المعادلات التفاضلية الجزئية (PDE) غير السلسة.

• مسح انتظام هولدر: على الأهداف $f_\alpha(x) = |x|^\alpha$ ($\alpha \in [0.2, 2.0]$)، تفوق Hybrid FI-KAN على KAN في كل المستويات، مع تحسينات تتراوح بين 1.3 إلى 33 ضعفاً (في تقليل MSE).
• الأهداف الكسرية: على دوال Weierstrass وTakagi-Landsberg، حققت Hybrid FI-KAN انخفاضاً في MSE يصل إلى 6.3 ضعفاً مقارنة بـ KAN. كما تفوقت Pure FI-KAN أيضاً على KAN في هذه الأهداف المحددة، لكنها فشلت في الأهداف السلسة.
• حلول الـ PDE غير السلسة:
  • الانتشار ذو المعاملات الخشنة: حققت Hybrid FI-KAN تحسناً بمقدار 65 إلى 79 ضعفاً عن KAN.
  • النطاق على شكل حرف L (Singularity الزاوية): تحسن بمقدار 3.5 ضعفاً في تقريب مفردة $r^{2/3}$.
  • المعادلة الحرارية العشوائية: تحسن يصل إلى 25 ضعفاً في الحلول التي تشوبها الضوضاء.
• المتانة تجاه الضجيج: تعمل FI-KAN كمزيل ضجيج متعدد المقاييس ضمني، حيث حافظت على تفوق يتراوح بين 4.7 إلى 6.1 ضعفاً على KAN حتى عند نسب إشارة إلى ضجيج (SNR) منخفضة (5 dB).
• كفاءة المعاملات: حتى عند مطابقة عدد المعاملات، تفوقت Hybrid FI-KAN على KAN، مما يثبت أن المكسب ناتج عن البنية وليس مجرد السعة.

5. الأهمية والآثار المترتبة

• مطابقة الانتظام المبدئية: تؤكد الورقة أن هندسة الأساس يجب أن تطابق انتظام الهدف. إن التباين بين النسختين (Pure و Hybrid) يقدم دليلاً محكماً على أن مجرد زيادة عدد المعاملات ليس كافياً؛ بل إن شكل دوال الأساس هو الأمر الحاسم.
• الحوسبة العلمية: تقدم FI-KAN حلاً مبدئياً للمشكلات التي تكون فيها عدم السلاسة متأصلة (مثل ديناميكا السوائل، علوم المواد، الجيوفيزياء)، مما يعالج فجوة تفشل فيها نماções PINNs و KANs القياسية بسبب افتراضات السلاسة.
• التعقيد القابل للتفسير: توفر القدرة على تعلم وتنظيم البعد الكسري بعداً جديداً من التفسير في الشبكات العصبية، مما يسم يسمح للنموذج بـ "اكتشاف" خشونة العمليات الفيزيائية الكامنة.
• القيود: تفرض الطريقة عبئاً حسابياً (حوالي 2.5 ضعف لكل عملية Forward Pass عند $K=2$) بسبب التكرار المتسلسل. وهي أكثر فعالية للـ خشونة المهيكلة (الناتجة عن عمليات حتمية أو معادلات تفاضلية) وليست للضجيج العشوائي غير المهيكل.

في الختام، تمثل FI-KAN تحولاً كبيراً من التقريب العصبي القائم على "السلاسة أولاً" إلى التقريب المتكيف مع الانتظام، مستفيدة من الهندسة الكسرية لحل مشكلات كانت مستعصية على البنيات التقلية للتعلم العميق.