🤖 machine learning

Kolmogorov-Arnold Fourier Networks

تقدم هذه الورقة شبكات كولموغوروف-أرنولد فورير (KAF)، وهي بنية مبتكرة تتغلب على مشكلات انفجار المعلمات ومحدودية الترددات العالية التي تعاني منها شبكات KAN التقليدية عبر استبدال شرائح B-spline المحلية بتمثيل طيفي عالمي وتكيفي باستخدام ميزات فورير العشوائية القابلة للتدريب وآلية تنشيط هجينة، محققةً بذلك أداءً وكفاءةً رائدين في مختلف المهام.

المؤلفون الأصليون: Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang, Wenhao Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "شبكات كولموغوروف-أرنولد فورييه" (KAF) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: الآلة "المبالغ في هندستها"

تخيل أنك تحاول تعليم روبوت التعرف على قطة في صورة.

الطريقة القديمة (MLP): تعطي الروبوت مجموعة أدوات قياسية. إنها سريعة وبسيطة، لكنها أحياناً تفقد التفاصيل الدقيقة مثل ملمس الفراء أو الحافة الحادة للأذن.
الطريقة "الجديدة" (KAN): قبل بضع سنوات، اخترع الباحثون مجموعة أدوات جديدة تسمى KAN (شبكة كولموغوروف-أرنولد). من الناحية النظرية، هذه المجموعة عبقرية؛ إذ يمكنها وصف أي شكل أو نمط بدقة مثالية. ومع ذلك، من الناحية العملية، الأمر يشبه محاولة بناء منزل باستخدام مليون طوبة صغيرة ومصنوعة خصيصاً.
- المشكلة 1 (ثقيلة جداً): تتطلب عدداً هائلاً من المعلمات (الطوب) مما يجعلها ثقيلة جداً وبطيئة في التدريب. الأمر يشبه محاولة حمل حقيبة ظهر مليئة بطوب الذهب؛ إنه وزن زائد يصعب على الروبوت التعامل معه بكفاءة.
- المشكلة 2 (رؤية ضبابية): لأن KAN تستخدم منحنيات "ناعمة" (تسمى B-splines) لبناء أشكالها، فإنها تعاني في رؤية التفاصيل الحادة أو "عالية التردد". الأمر يشبه النظر إلى صورة عبر مرشح (فلتر) ناعم التركيز؛ تبدو القطة جميلة، لكن شواربها تبدو ضبابية.

الحل: KAF (الترقية "الطيفية")

يقترح المؤلفون بنية جديدة تسمى KAF (شبكة كولموغوروف-أرنولد فورييه). هم لم يكتفوا بتعديل KAN القديمة، بل غيروا بشكل جذري طريقة "تفكيرها" في البيانات.

فكر في KAF كأنها تأخذ مجموعة أدوات KAN الثقيلة والضبابية وتستبدل الطوب بـ النوتات الموسيقية.

1. استبدال الطوب بالموسيقى (إعادة تمثيل طيفي)

بدلاً من بناء الأشكال من ملايين القطع الصغيرة المحلية (B-splines)، تقوم KAF ببنائها باستخدام ميزات فورييه العشوائية (RFF).

التشبيه: تخيل أنك تريد رسم موجة معقدة.
- KAN تحاول رسمها عن طريق توصيل آلاف النقاط الصغيرة والناعمة. هذا يستغرق وقتاً طويلاً ويستهلك الكثير من الحبر.
- KAF تدرك أن أي موجة هي مجرد مزيج من موجات جيبية بسيطة (مثل النوتات الموسيقية). بدلاً من رسم النقاط، تقوم فقط بضبط بعض "المقابض" لتعديل حدة ونغمة هذه النوتات.
النتيجة: هذا يقلل بشكل كبير من عدد "الطوب" (المعلمات) المطلوبة. يصبح الروبوت أخف وزناً وأسرع، ومع ذلك لا يزال بإمكانه بناء أشكال معقدة.

2. المحرك "الهجين" (تنشيط GELU-Fourier)

تقدم KAF محركاً خاصاً يعمل بنوعين من الوقود في نفس الوقت:

الوقود (أ) (GELU): هذا هو الوقود "الناعم". وهو يتعامل مع الأجزاء الكبيرة والسهلة من الصورة (مثل الشكل العام للقطة).
الوقود (ب) (Fourier/RFF): هذا هو الوقود "الحاد". وهو يتعامل مع التفاصيل الصعبة وعالية التردد (مثل الشوارب وملمس الفراء).
السحر: يمتلك الروبوت مفتاحاً ذكياً (معاملات قابلة للتعلم) يقرر مقدار كل نوع من الوقود لاستخدامه. في بداية التدريب، يستخدم معظم الوقود الناعم لضبط الأساسيات بشكل صحيح. ومع تقدمه في التعلم، يقوم تدريجياً برفع مستوى "الوقود الحاد" لالتقاط التفاصيل الدقيقة. الأمر يشبه الطاهي الذي يبدأ بمرق أساسي ثم يضيف التوابل ببطوح لإتقان النكهة.

3. ضبط الراديو (استراتيجية التهيئة)

تذكر الورقة البحثية رقماً محدداً، وهو 1.64، يُستخدم لإعداد "محطات الراديو" (الترددات) التي يستمع إليها الروبوت.

التشبيه: إذا ضبطت الراديو بعيداً جداً جهة اليسار، فلن تسمع سوى "الباص" (الترددات المنخفضة). وإذا ضبطته بعيداً جداً جهة اليمين، فلن تسمع سوى التشويش (الترددات العالية).
الإصلاح: حسب المؤلفون أن ضبط "مستوى صوت" الترددات عند 1.64 هو التوازن المثالي. هذا يضمن أن يستمع الروبوت إلى المزيج الصحيح من الأصوات منذ البداية، حتى لا يرتبك أو يفقد الإشارات المهمة.

ماذا أثبتوا؟

اختبر المؤلفون هذا "الروبوت الموسيقي" الجديد (KAF) مقابل الروبوتات القديمة (MLP و KAN) في عدة مجالات:

الرؤية (الإبصار): في مهام مثل التعرف على الأرقام المكتوبة بخط اليد أو الصور المعقدة (CIFAR، ImageNet)، كانت KAF أكثر دقة واستخدمت موارد أقل من غيرها.
اللغة (القراءة): عند استخدامها داخل نموذج لغوي (GPT-2)، تعلمت KAF التنبؤ بالنصوص بشكل أفضل وأسرع من النسخة القياسية.
العلوم (حل المعادلات): طلبوا من الروبوت حل معادلات فيزيائية معقدة (مثل كيفية انتشار الحرارة أو كيفية حركة الموجات). كانت KAF أفضل بكثير في التقاط التغيرات الحادة والمفاجئة في هذه المعادلات مقارنة بـ KAN الضبابية.
مطابقة الأشكال: عندما طُلب منها رسم موجة جيبية مثالية (منحنى ناعم يصعد ويهبط)، رسمت KAF شكلاً مثالياً تقريباً، بينما ارتكبت الأنظمة الأخرى أخطاءً عند الحواف.

الخلاصة

تدعي الورقة البحثية أن KAF تحل أكبر مشكلتين للشبكة "العبقرية" السابقة (KAN):

إنها خفيفة الوزن (معلمات أقل، تدريب أسرع).
تمتلك رؤية حادة (يمكنها رؤية التفاصيل عالية التردد التي تفقدها الأنظمة الأخرى).

من خلال استبدال "الطوب" الناعم والثقيل الخاص بالماضي بمنهج "فورييه" الموسيقي والمرن، نجحت KAF في أن تكون فعالة وقوية في آن واحد، مما يجعلها مرشحاً قوياً للجيل القادم من الذكاء الاصطناي.

ملخص تقني: شبكات كولموغوروف-أرنولد فورييه (KAF)

بيان المشكلة
بينما توفر شبكات كولموغوروف-أرنولد (KANs) قدرة تعبيرية نظرية قوية من خلال استبدال دوال التنشيط الثابتة بدوال أساس "B-spline" القابلة للتعلم، إلا أنها تواجه عائقين حرجين أمام الاعتماد العملي في المهام عالية الأبعاد:

انفجار المعلمات (Parameter Explosion): تتسبب بنية المصفوفة المزدوجة (مصفوفة دالة التنشيط ومصفوفة معاملات B-spline) في ارتفاع عدد المعلمات بشكل كبير مقارنة بالشبكات العصبية متعددة الطبقات التقليدية (MLPs)، مما يؤدي إلى تكاليف تخزين وحوسبة عالية.
القيود الطيفية (Spectral Limitations): تحد النعومة المتأصلة في دوال الأساس "B-spline" من القدرة على التقاط الميزات عالية التردد، مما يؤدي إلى أداء دون المستوى في البيانات ذات الخصائص الطيفية الغنية، مثل الصور الطبيعية، والصوت، والمعادلات التفاضلية المعقدة.

المنهجية
يقترح المؤلفون شبكة كولموغوروف-أرنولد فورييه (KAF)، والتي تعيد تعريف نموذج KAN بشكل جوهري من خلال إعادة تمثيل طيفي (Spectral Reparameterization). تعيد البنية الأساسية تعريف نموذج KAN عبر استبدال التمثيل المحلي القائم على الشبكة (grid-based) لـ B-spline بتمثيل طيفي عالمي وتكيفي.

المكونات المنهجية الرئيسية تشمل:

إعادة التمثيل الطيفي (Spectral Reparameterization): تدمج KAF المصفوفات الكبيرة لـ KAN باستخدام خاصية الدمج في ضرب المصفوفات، مما يقلل من تعقيد المعلمات من $O(d_{in} \times d_{out} \times (G + K + 3))$ إلى $O(d_{in} \times d_{out})$ .
ميزات فورييه العشوائية القابلة للتعلم (Trainable Random Fourier Features - RFF): بدلاً من B-splines، تستخدم KAF ميزات RFF قابلة للتعلم لتعيين المدخلات إلى فضاء هيلبرت التكراري (RKHS). يتم تهيئة مصفوفة التردد $W$ عبر استراتيجية محاذاة طيفية (تحديداً $\sigma = 1.64$ ) مشتقة من نظرية الحد المركزي والتحليل الفورييه لدالة تنشيط GELU. تعمل هذه التهيئة على محاذاة طيف RFF مع المعرفة المسبقة للإشارات الطبيعية، مما يقلل من التسرب الطيفي.
تنشيط هجين (GELU-Fourier): تستخدم الشبكة آلية تنشيط ديناميكية محددة بـ $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$ . المعاملات $\alpha$ و $\beta$ هي معاملات قياس قابلة للتعلم. أثناء التدريب، تعطي $\alpha$ الأولوية للنعومة منخفضة التردد في البداية، بينما تنمو $\beta$ تدريجياً (حيث تبدأ بقيمة صغيرة مثل $10^{-2}$ ) لالتقاط المكونات عالية التردد، مما يسمح بانتقال تلقائي من التنشيط الثابت إلى التمثيلات الهجينة (Fourier-symbolic).

المساهمات الرئيسية

تحويل الأساس (Basis Transformation): انتقال من B-splines المحلية إلى تمثيلات طيفية عالمية وتكيفية، مما يقلل من تعقيد المعلمات مع الحفاظ على القدرة التعبيرية.
تهيئة المحاذاة الطيفية (Spectral Alignment Initialization): استراتيجية تهيئة RFF ( $\sigma = 1.64$ ) التي تكسر قيود النعومة للأنوية (kernels) الثابتة، مما يسمح بالتقاط دقيق للمكونات عالية التردد.
التنشيط الهجين التكيفي (Adaptive Hybrid Activation): آلية توازن ديناميكياً بين النعومة منخفضة التردد والتمثيل عالي التردد أثناء التدريب، مما يضمن الاستقرار والكفاءة.

النتائج التجريبية
أُجريت تجارب شاملة عبر مهام الرؤية الحاسوبية (CV)، ومعالجة اللغات الطبيعية (NLP)، والصوت، والحوسبة العلمية:

أداء المعايير القياسية: في مجموعات بيانات الرؤية (MNIST, CIFAR-10/100, SVHN)، حققت KAF باستمرار دقة أعلى من MLPs و KANs و FAN و GPKAN تحت ميزانيات معلمات مماثلة.
النماذج واسعة النطاق: عند دمجها في ResNet-18 و ViT-Tiny و MLP-Mixer، حسنت KAF دقة Top-1 (على سبيل المثال، 91.72% على CIFAR-10 لـ ResNet-18 مقابل 91.19% لـ MLP) مع الحفاظ على تكاليف حوسبة معقولة.
نمذجة اللغة: في بنيات GPT-2، أدى استبدال الشبكة المغذية للأمام (FFN) بـ KAF إلى تقليل الارتباك (Perplexity - PPL) في WikiText (180.85 مقابل 184.53 لـ MLP) و OpenWebText، مع تقليل وقت التدريب بشكل كبير مقارنة بـ KAN، التي عانت من عدم الاستقرار والعبء الهائل للمعلمات.
تقريب الدوال والمعادلات التفاضلية الجزئية (PDEs): أظهرت KAF قدرات فائقة في مطابقة الدوال المعقدة (بما في ذلك مجموعات التردد العالي والدوال غير المستمرة) وحققت أخطاء أقل في حل المعادلات التفاضلية الجزئية (Poisson, Heat, Burgers) مقارنة بـ MLPs وغيرها من النماذج المرجعية.
دراسات الاستئصال (Ablation Studies): أكدت التجارب ضرورة التنشيط الهجين (GELU-RFF) والتهيئة المحددة لـ $\sigma = 1.64$ ، حيث أظهرت أن إزالة أي من المكونين يؤدي إلى تدهور الأداء.

الأهمية
يزعم البحث أن KAF نجحت في سد الفجوة بين القابلية للتفسير النظري لشبكات كولموغوروف-أرنولد وبين الكفاءة في المعلمات المطلوبة للتعلم العميق القابل للتوسع. ومن خلال معالجة "التناقض بين النظرية والتطبيق" المتأصل في KANs، تقدم KAF بديلاً عملياً يحافظ على منظور تقريب الدوال الخاص بـ KAN مع تحقيق أداء متطور بكفاءة محسنة. يضع المؤلفون KAF كبديل قابل للتطبيق لكل من مكونات KAN و MLP في البنيات العصبية الحديثة، لا سيما للمهام التي تتطلب استخراج الميزات عالية التردد.