🤖 AI

TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions

تقدم هذه الورقة البحثية TruKAN، وهي بنية شبكة كولموغوروف-أرنولد (Kolmogorov-Arnold Network) مبتكرة تستبدل قواعد B-spline بدوال القدرة المبتورة (truncated power functions) لتحقيق توازن فائق بين الدقة، والكفاءة الحسابية، والقابلية للتفسير، مما يظهر مكاسب أداء كبيرة مقارنة بمتغيرات KAN الحالية عند دمجها في أطر عمل EfficientNet-V2 لمهام الرؤية الحاسوبية.

المؤلفون الأصليون: Ali Bayeh, Samira Sadaoui, Malek Mouhoub

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ali Bayeh, Samira Sadaoui, Malek Mouhoub

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت التعرف على صور القطط، والكلاب، والسيارات. وللقيام بذلك، يحتاج الروبوت إلى "دماغ" مكون من طبقات رياضية يمكنها رصد الأنماط.

لفترة طويلة، كان الدماغ القياسي لهذه المهام يسمى MLP (المدرك متعدد الطبقات). فكر في الـ MLP كخط تجميع في مصنع حيث يستخدم كل عامل (عصبون) نفس الأداة المحددة مسبقًا (دالة تنشيط ثابتة مثل ReLU) لأداء عمله. إنه سريع وموثوق، لكنه جامد نوعًا ما.

ثم ظهر نوع جديد من الأدمغة يسمى KAN (شبكة كولموغوروف-أرنولد). إن الـ KANs تشبه فريقًا من الحرفيين المهرة؛ فبدلاً من استخدام أداة محددة مسبقًا، يتعلم كل عامل أداة فريدة ومخصصة له (spline) لحل المشكلة المحددة التي يواجهها. هذا يجعل الـ KANs ذكية للغاية وسهلة الفهم (قابلة للتفسير) لأن يمكنك النظر إلى أدواتهم ورؤية كيفية عملها بالضبط.

ومع ذلك، هناك عقبة: تعلم هذه الأدوات المخصصة بطيء ومكلف. الأمر يشبه مطالبة كل عامل بنحت مطرقته الخاصة من الصفر في كل مرة يبدأ فيها مهمة جديدة. وتسمي الورقة البحثية هذا بـ "عنق الزجاجة الحسابي".

دخول TruKAN: الاختصار الذكي

قدم المؤلفون، علي بايه، سميرة صداوي، ومالك مهوب، بنية جديدة تسمى TruKAN. كان هدفهم هو الحفاظ على مزايا الـ KANs (التي تشبه الحرفيين المهرة) ولكن جعل عملية التدريب سريعة وفعالة مثل خط التجميع القياسي.

إليك كيف فعلوا ذلك، باستخدام تشبيه بسيط:

1. استبدال "الخشب المنحوت" بـ "قطع الليغو"

تستخدم الـ KANs القياسية ما يسمى بـ B-splines لبناء أدواتها المخصصة. تخيل الـ B-splines كقطع خشبية منحنية ومعقدة تتطلب عملية نحت متكررة محددة للغاية (خوارزمية de Boor-Cox) لتشكيلها. إنها دقيقة ولكنها بطيئة.

يقوم TruKAN باستبدالها بـ دوال القدرة المبتورة (Truncated Power Functions).

التشبيه: فكر في الـ B-splines كوصلات خشبية منحوتة يدويًا. وفكر في دوال القدرة المبتورة كـ قطع الليغو.
بدلاً من نحت منحنى من الصفر، يقوم TruKAN ببناء منحنياته عن طريق تركيب قطع بسيطة ومحددة مسبقًا (متعددات الحدود) وإضافة "عُقد" (نقاط اتصال) حيث يحتاج الشكل إلى الانحناء.
هذا مكافئ رياضي للطريقة القديمة (يمكنهم بناء نفس الأشكال)، ولكنه أسرع بكثير في التجميع لأنه لا يتطلب خوارزمية النحت المتكررة المعقدة.

2. المخطط "المشترك مقابل الفردي"

تستكشف الورقة طريقتين لترتيب قطع الليغو هذه:

العُقد المشتركة (Shared Knots): تخيل طاقم بناء يستخدم جميعًا نفس نقاط الاتصال المقاسة مسبقًا. هذا فعال ويحافظ على تنسيق الفريق.
العُقد الفردية (Individual Knots): تخيل أن كل عامل يحصل على مجموعة خاصة به من نقاط الاتصال. هذا أكثر مرونة ولكنه يستهلك مساحة ووقتًا أكبر للتنظيم.

وجد الباحثون أن العُقد المشتركة كانت تعمل بشكل أفضل غالبًا، حيث قدمت نقطة توازن مثالية بين السرعة والدقة.

3. "المثبّت" (التطبيع/Normalization)

نظرًا لأن هذه الدوال الشبيهة بالليغو يمكن أن تصبح أحيانًا غير مستقرة (غير مستقرة عدديًا) عند تكديسها عاليًا، فقد أضاف الباحثون "مثبّتًا" يسمى تطبيع الطبقة (Layer Normalization).

التشبيه: إنه مثل إضافة ممتص صدمات للسيارة. فهو يعمل على تنعيم المطبات في الطريق (عملية التدريب) حتى لا تتحطم السيارة (تنفجر في الخطأ) عندما تسير بسرعة. وجدوا أن إضافة هذا المثبّت جعلت TruKAN أكثر دقة بشكل ملحوظ.

النتائج: السرعة والذكاء

اختبر الفريق TruKAN على أربع مجموعات بيانات شهيرة للتعرف على الصور (CIFAR-10، CIFAR-100، Oxford-Pets، و STL-10). وقارنوه بكل من:

MLP: خط التجميع القياسي.
Standard KAN: الحرفيون المهرة الذين ينحتون يدويًا ببطء.
SineKAN: نسخة تستخدم الموجات الجيبية (مثل آلة موسيقية مختلفة).

النتائج:

الدقة: غالبًا ما كان TruKAN هو الفائز أو في المركز الثاني بفارق ضئيل. لقد طابق أو تفوق على الـ MLPs القياسية، وسحق متغيرات KAN الأخرى.
السرعة: تدرب TruKAN بشكل أسرع بكثير من الـ KANs القياسية. في بعض الاختبارات، كان أسرع بـ 3 إلى 4 مرات لكل خطوة.
الذاكرة: استخدم TruKAN ذاكرة حاسوبية (RAM) أقل بكثير من الـ KANs القياسية. استخدم أحد الإصدارات أقل من 120 ميجابايت، بينما استخدمت الـ KANs القياسية أكثر من 500 ميجابايت.
القابلية للتفسير: تمامًا مثل الـ KAN الأصلي، يظل TruKAN "شفافًا". لا يزال بإمكانك النظر إلى النموذج ورؤية كيف يقوم بثني البيانات لاتخاذ قرار، على عكس طبيعة "الصندوق الأسود" لـ MLPs القياسية.

الخلاصة

تجادل الورقة بأن TruKAN هو الأفضل من العالمين. فهو يحافظ على الطبيعة "القابلة للتفسير" و"الذكية" لـ KANs، ولكنه يستبدل الرياضيات البطيئة المنحوتة يدويًا بطريقة بناء أسرع تشبه الليغو.

من خلال استخدام دوال القدرة المبتورة (قطع الليغو) والعُقد المشتركة (المخطط الفعال)، يسمح TruKAN لأجهزة الكمبيوتر بتعلم المهام البصرية المعقدة (مثل تحديد الحيوانات الأليفة أو السيارات) بشكل أسرع بكثير وبذاكرة أقل، دون فقدان القدرة على فهم كيف يفكر الكمبيوتر.

ما لا تدعي الورقة البحثية القيام به:

هي لا تدعي أن هذا يعمل للتشخيص الطبي أو السيارات ذاتية القيادة بعد (رغم أنها ذكرت هذه كمجالات محتملة في المستقبل).
هي لا تدعي أن TruKAN مثالي لكل مهمة؛ فقد حقق أفضل أداء في مجموعات بيانات الصور المحددة التي اختبروها.
هي لا تدعي أنها حلت جميع المشكلات؛ حيث أشاروا إلى أن بعض المتغيرات (مثل العُقد الفردية بدون تثبيت) لا تزال تعاني في التعميم.

ملخص تقني لـ "TruKAN: نحو شبكات كولموغوروف-أرنولد أكثر كفاءة باستخدام دوال القدرة المبتورة"

بيان المشكلة

برزت شبكات كولموغوروف-أرنولد (KANs) كبديل واعد للنماذج متعددة الطبقات (MLPs)، حيث توفر قدرة فائقة على التفسير والقدرة على تعلم الدوال أحادية المتغير عند الحواف. ومع ذلك، تعتمد شبكات KAN القياسية على دوال أساس B-spline للوظائف القابلة للتعلم. يتطلب تقييم هذه الـ B-splines استخدام خوارزمية de Boor–Cox التكرارية، وهي عملية مكلفة حوسبياً، مما يؤدي غالباً إلى جعل تدريب KAN أبطأ بمقدار 10 أضعاف مقارنة بـ MLPs المكافئة لها. علاوة على ذلك، فإن الاعتماد على خوارزميات spline معقدة وهياكل شبكية ثابتة يمكن أن يؤدي إلى مشكلات في القابلية للتوسع في المسائل عالية الأبعاد والبنى العميقة، والتي تتميز بتدرجات ضوضائية وتحسين غير مستقر. وبينما تحاول المتغيرات الحديثة مثل SineKAN وFourierKAN معالجة هذه المشكلات، إلا أنها غالباً ما تفرض مقايضات جديدة فيما يتعلق بالتفسير أو تظل محدودة بالمعايير الاصطناعية والمجموعات البيانية البسيطة مثل MNIST.

المنهجية

يقترح المؤلفون TruKAN، وهو بنية جديدة تحتفظ بتوبولوجيا KAN القياسية والتنشيطات القابلة للتعلم، ولكنها تستبدل أساس B-spline بعائلة من دوال القدرة المبتورة (truncated power functions) المستمدة من نظرية spline من الرتبة $k$ .

المكونات الهيكلية الأساسية:

أساس القدرة المبتورة: بدلاً من B-splines، تستخدم TruKAN دوال القدرة المبتورة على شكل $(x - t_j)^k_+$ . نظرياً، الفضاء الذي تشغله هذه الدوال متطابق مع فضاء B-splines، لكن تقييمها الحوسبي يختلف. بينما تمتلك B-splines دعماً مدمجاً (مما يتطلب تعقيد $O(k^2)$ لكل فترة عبر التكرار)، فإن دوال القدرة المبتورة لها دعم عالمي. ومع ذلك، يجادل المؤلفون بأنه من الناحية العملية، لا تكون الشبكات عالية الدقة ضرورية دائماً، مما يسمح لـ TruKAN بالعمل بكفاءة مع عدد قليل من العُقَد (knots).
هيكل الطبقة الهجين: تدمج كل طبقة في TruKAN مكونين:
- مكون القدرة المبتورة لالتقاط اللاخطية الموضعية والجزئية.
- مكون متعدد الحدود (polynomial component) (الاتجاه العالمي) ليحل محل تنشيط SiLU المساعد المستخدم في KAN القياسية. يوفر هذا الحد متعدد الحدود خارطة عالمية سلسة وقابلة للاشتقاق، مما يعوض غياب اللاخطية العالمية الصريحة مثل SiLU.
تكوينات العُقَد (Knot Configurations): يقدم البحث متغيرين فيما يتعلق بوضع العُقَد:
- العُقَد المشتركة (Shared Knots): مجموعة واحدة من مواقع العُقَد يتم مشاركتها عبر جميع قنوات المخرجات.
- العُقَد الفردية (Individual Knots): كل قناة مخرجات لها مجموعتها الخاصة من مواقع العُقَد القابلة للتعلم.
- تم استكشاف كل من استراتيجيات العُقَد الثابتة (فترات محددة مسبقاً) والقابلة للتعلم (التي يتم تحسينها أثناء التدريب مع قيود للترتيب والإيجابية).
إطار التدريب:
- التحسين: لمعالجة عدم استقرار تدريب الشبكات العميقة باستخدام دوال القدرة المبتورة (والتي قد تعاني من انفجار التدرج بسبب النمو أو التضاؤل الأسي)، يستخدم المؤلفون استراتيجية تحسين هجينة باستخدام AdamW مغلف بـ LookAhead. هذا يستبدل L-BFGS القياسي المستخدم في دراسات KAN السابقة ليتناسب بشكل أفضل مع التدريب العشوائي للمجموعات الصغيرة (stochastic mini-batch).
- التطبيع (Normalization): تدرس الدراسة تأثير تطبيع الطبقة (Layer Normalization) (وتطبيع الدفعة Batch Normalization) داخل رؤوس المصنف، حيث أظهرت تقنيات التنظيم التقليدية مثل dropout نتائج مختلطة في KANs.
- العمود الفقري (Backbone): تم دمج النماذج في إطار عمل EfficientNet-V2، باستبدال رأس المصنف القياسي بطبقات MLP أو KAN أو SineKAN أو TruKAN.

المساهمات الرئيسية

الابتكار الهيكلي: إن استبدال B-splines بدوال القدرة المبتورة، مقترناً بحد عالمي متعدد الحدود، يخلق نموذجاً يحافظ على قدرة التعبير لـ KAN مع تبسيط تقييم دالة الأساس.
تعزيز التفسير: من خلال استخدام دوال القدرة المبتورة، يصبح مساهمة كل عقدة صريحاً. يشير المعامل غير الصفر عند عقدة $t_j$ مباشرة إلى انحناء متعمد من الرتبة $k$ عند تلك النقطة تحديداً، مما يوفر شفافية أكبر من الدعم المتداخل لـ B-splines.
القابلية للتوسع والكفاءة: يوضح البحث أن TruKAN يمكن توسيعها بفعالية إلى البنى العميقة ومهام الرؤية المعقدة، متجاوزة حدود البيانات الاصطناعية لدراسات KAN السابقة.
التقييم الشامل: قدم المؤلفون تقييماً صارماً عبر أربع مجموعات بيانات للرؤية الحاسوبية (CIFAR-10, CIFAR-100, Oxford-IIIT Pets, STL-10) باستخدام تكوينات شبكية صغيرة وعميقة، مع ضمان مقارنة عادلة عبر مطابقة أعداد المعلمات.

النتائج التجريبية

أُجري التقييم على أربع مجموعات بيانات باستخدام هياكل EfficientNet-V2 مع تغيير أحجام المصنفات (بنى صغيرة وكبيرة).

الدقة ودرجة F1:
- البنى الصغيرة: تفوقت متغيرات TruKAN، وخاصة تلك التي تستخدم تطبيع الطبقة والعُقَد المشتركة (TruKAN-SN)، باستمرار على نماذج KAN وSineKAN الأساسية أو تساوت معها. في CIFAR-10، حققت TruKAN-IN أعلى دقة (0.8927)، متفوقة على أفضل نموذج MLP أساسي. وفي STL-10، حققت TruKAN-SN دقة 0.9341، ولم تتخلف إلا بفارق ضئيل عن نموذج MLP المُنظم.
- البنى الكبيرة: أظهرت نماذج TruKAN قابلية توسع فائقة. في CIFAR-10، حققت TruKAN-IN دقة 0.8932، متفوقة على خط الأساس MLP-N رغم استخدام معلمات أقل. سيطرت متغيرات TruKAn باستمرار على نماذج KAN وSineKAN الأساسية عبر جميع مجموعات البيانات، وغالباً ما حققت نتائج مماثلة أو أفضل من أقوى نماذج MLP.
- تأثير التطبيع: ثبت أن تطبيع الطبقة كان حاسماً لأداء TruKAN، حيث حسن التعميم بشكل كبير، خاصة لتكوينات العُقد الفردية التي كانت تعاني لولا ذلك من الإفراط في التخصيص (overfitting).
الكفاءة الحوسبية:
- وقت التدريب: حققت نماذج TruKAN ذات العُقد المشتركة (TruKAN-FS) أوقات خطوة تدريب بلغت ~0.0024 ثانية، مما يمثل تحسناً بمقدار 3-4 أضعاف مقارنة بنماذج KAN القياسية (0.0087s - 0.0099s).
- استخدام الذاكرة: استهلكت TruKAN-FS فقط 118.04 ميجابايت من ذروة ذاكرة وحدة معالجة الرسومات (GPU)، وهو أقل بكثير من KAN-PBT (570.84 MB) و KAN-PBF (691.79 MB). ومع ذلك، تحملت متغيرات العُقد الفردية (TruKAN-FI) تكاليف ذاكرة عالية (~2.6 GB) بسبب توسع تخزين العُقَد.
- المعلمات: حققت نماذج TruKAN عموماً أداءً مماثلاً أو أفضل بمعلمات قابلة للتعلم أقل من نظيراتها من KAN وSineKAN.

الأهمية والادعاءات

يزعم البحث أن TruKAN تعالج بنجاح المقايضة بين الكفاءة الحوسبية والالتزام بمبادئ KAN. من خلال استبدال خوارزمية B-spline التكرارية بدوال القدرة المبتورة وحد متعدد الحدود عالمي، تحقق TruKAN ما يلي:

كفاءة فائقة: تقليل كبير في وقت التدريب واستخدام الذاكرة مقارنة بنماذج KAN القياسية، مما يجعلها قابلة للتطبيق في مهام الرؤية المعقدة.
الحفاظ على القدرة التعبيرية: يحافظ النموذج على قدرات التقريب النظرية لـ KAN مع تحسين الدقة في مجموعات البيانات الواقعية.
تحسين التفسير: تسمة الطبيعة الصريحة لدوال القدرة المبتورة فحص مساهمات كل عقدة بوضوح أكبر مقارنة بـ B-splines أو الطرق الطيفية العالمية مثل SineKAN.

يخلص المؤلفون إلى أن TruKAN توفر مساراً عملياً لمستقبل KAN، حيث أظهرت مزايا تتجاوز الإعدادات المقيدة للدراسات السابقة. ويقرون بأنه على الرغم من تحسين الاستقرار، لا تزال هناك تحديات تتعلق بدمج تقنيات التنظيم الأخرى (مثل dropout) وإمكانية استخدام التدريب مختلط الدقة (mixed-precision training) لتعزيز الكفاءة بشكل أكبر. كما يُقترح كعمل مستقبلي استكشاف هذه المجالات وتطبيق TruKAN في التعلم التعزيزي والتنبؤ بالسلاسل الزمنية.