On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators

تخيل أنك تحاول تعليم حاسوب التنبؤ بالطقس. العالم فوضوي، حيث تتفاعل درجة الحرارة، والرطوبة، وسرعة الرياح، والضغط بطرق معقدة. في عالم تعلم الآلة، يسمى هذا "الانحدار غير المعلمي" (nonparametric regression). إنه فن العثور على نمط خفي في بحر من البيانات دون إجبار البيانات على الدخول في صندوق بسيط ومعد مسبقاً مثل الخط المستقيم. لعقود من الزمن، استخدم العلماء أداتين رئيسيتين لهذا الغرض. الأولى هي "الشبكة العصبية"، وهي دماغ رقمي مكون من طبقات يمكنها تعلم أي شيء تقريباً، ولكنها غالباً ما تكون "صندوقاً أسود" — نحن نعرف أنها تعمل، لكن لا يمكننا بسهولة رؤية كيف تعمل أو لماذا تعطي الإجابة الصحيحة. الأداة الثانية هي "السبلاين" (spline)، وهي أداة رياضية تناسب المنحنيات السلسة عبر النقاط، مثل مسطرة مرنة. تتميز الـ "سبلاين" بالشفافية وسهولة الفهم، لكنها تعاني عندما تصبح البيانات معقدة للغاية أو تحتوي على أبعاد كثيرة جداً (مثل إضافة المزيد من متغيرات الطقس).

مؤخراً، ظهر نوع جديد من الشبكات العصبية يسمى "شبكة كولموغوروف-أرنولد" (Kolmogorov–Arnold Network)، أو KAN. فكر في KAN كـ "هجين ذكي": فهي تمتلك الهيكل الطبقي للشبكة العصبية، ولكن بدلاً من التوصيلات الغامضة والمتشابكة، تقوم ببناء تنبؤاتها عن طريق تكدير منحنيات بسيطة أحادية البعد (splines) فوق بعضها البعض. إنها تشبه بناء ناطحة سحاب من ألواح زجاجية صافية بدلاً من الخرسانة المعتمة. السؤال الكبير الذي واجه العلماء هو: "هل هذه الناطحة الزجاجية تعمل حقاً بجودة ناطحات الخرسانة القديمة، وهل يمكننا إثبات ذلك رياضياً؟" هذا البحث يغوص في هذا السؤال، ليس فقط من خلال إجراء التجارب، بل من خلال بناء برهان رياضي صارم لإظهار مدى سرعة ودقة تعلم هذه الشبكات.

ناطحة السحاب الزجاجية مقابل الجدار الخرساني

سعى مؤلفو هذا البحث لإثبات أن شبكات KAN ليست مجرد فكرة رائعة، بل هي طريقة مثالية رياضياً للتعلم من البيانات. لقد ركزوا على نوع محدد من KAN تكون فيه اللبنات الأساسية هي "B-splines" (تلك المساطر المرنة التي ذكرناها سابقاً). اكتشافهم الرئيسي هو وجود "حد سرعة" للتعلم. لقد أثبتوا أنه إذا كانت البيانات التي يحاولون التنبؤ بها تمتلك مستوى معيناً من النعومة (لنسمها "النعومة $r$")، فإن KAN تتعلم بسرعة تقارب $O((\log n/n)^{2r/(2r+1)})$.

لأجل وضع هذا في سياق حياتي يومي، تخيل أنك تحاول تخمين شكل جسم مخفي عن طريق لمسه بأصابعك. إذا كان الجسم ناعماً جداً (مثل رخامة مصقولة)، فستحتاج إلى لمسات أقل لمعرفة شكله. أما إذا كان متعرجاً ووعراً، فستحتاج إلى لمسات أكثر بكثير. يوضح البحث أن KAN تصبح أفضل في تخمين الشكل بمعدل يعتمد فقط على مدى نعومة الجسم، وليس على عدد أبعاده. وهذا أمر بالغ الأهمية. عادةً، عندما تضيف المزيد من الأبعاد (المزيد من المتغيرات لتتبعها)، يصبح التعلم أصعب بشكل أسّي — وهي مشكلة تُعرف باسم "لعنة الأبعاد" (curse of dimensionality). إنه يشبه محاولة العثور على إبرة في كومة قش تزداد حجماً في كل مرة تضيف فيها غرفة جديدة إلى الحظيرة. وجد المؤلفون أنه نظراً لأن KAN مبنية من قطع بسيطة أحادية البعد، فإنها تتجنب هذه اللعنة تماماً. فهي تتعلم بنفس السرعة سواء كانت البيانات ذات 5 أبعاد أو 20 بعداً، بشرط أن تتبع البيانات بالفعل هيكل KAN المحدد.

الهفوة اللوغاريتمية وعامل الـ "log"

ومع ذلك، فإن القصة ليست سلسة تماماً. وجد المؤلفون أن سرعة تعلم KAN أبطأ قليلاً من الأفضل نظرياً بمقدار ضئيل يتضمن لوغاريتم (تحديداً، عامل قدره $(\log n)^{2r/(2r+1)}$). وقد أرجعوا هذه "الهفوة" ليس إلى بنية KAN نفسها، بل إلى حقيقة أن الشبكة غير خطية.

فكر في الأمر بهذه الطريقة: إذا كنت تحاول العثور على كتاب معين في مكتبة حيث الكتب مرتبة في خط مستقيم مثالي (نظام خطي)، يمكنك العثود إليه فوراً. ولكن إذا كانت الكتب مرتبة في متاهة معقدة وملتوية (نظام غير خطي)، فسيتعين عليك القيام بقدر أكبر من البحث، مما يضيف ذلك التأخير "اللوغاريتمي" الصغير. أظهر المؤلفون أنه إذا بسطنا KAN بحيث تعمل كخط مستقيم، فإن هذا التأخير الإضافي يختفي. وهذا يشير إلى أن KAN ليست "صعبة" بطبيعتها للتعلم؛ بل إن رياضيات التنقل في التواءاتها غير الخطية تضيف فقط قدراً ضئيلاً من العبء الإضافي.

لغز المكونات الخفية

أحد أكثر الأجزاء إثارة للاهتمام في البحث هو ما يحدث عندما تحاول النظر داخل KAN لرؤية القطع الفردية التي استخدمتها لبناء الإجابة. أثبت المؤلفون أنه لا يمكنك تحديد هذه القطع الفردية بشكل فريد بمجرد النظر إلى الإجابة النهائية. إنه يشبه محاولة معرفة المكونات الدقيقة لكعكة بمجرد تذوق المنتج النهائي. إذا كان لديك كعكة طعمها مثل "الفانيليا"، فلا يمكنك التأكد مما إذا كان الخباز قد استخدم كوباً واحداً من مستخلص الفانيليا وكوبين من الدقيق، أو كوبين من الفانيليا وكوباً واحداً من الدقيق، لأن الوصفة تسمح بوجود "مجموعة قياس" (scale group) — وهي طريقة لتبادل الكميات بين المكونات دون تغيير الطعم النهائي.

لقد أظهروا أن مجرد "توسيط" البيانات (التأكد من أن المتوسط هو صفر) ليس كافياً لحل هذا اللغز. لا تزال الشبكة قادرة على إعادة توزيع الأوزان بطريقة تغير المكونات الداخلية ولكن تترك التنبؤ النهائي كما هو تماماً. وهذا يعني أنه بينما تعد KAN رائعة في التنبؤ بالنتيجة، لا يمكنك دائماً الوثوق بـ "الأجزاء الداخلية" لإخبارك بالسبب الحقيقي الكامن وراءها ما لم تضف قواعد إضافية لضبطها.

العُقد والقدرة على التكيف

لجعل هذه الشبكات تعمل، تحتاج إلى تحديد عدد "العُقد" (النقاط التي تنحني عندها المسطرة المرنة) التي ستستخدمها. إذا كانت قليلة جداً، فستكون المسطرة صلبة للغاية بحيث لا تتبع المنحنى؛ وإذا كانت كثيرة جداً، فستبدأ في التذبذب بجنون وتتحفظ على الضجيج بدلاً من النمط. استنتج المؤلفون قاعدة مثالية لهذا: يجب أن ينمو عدد العقد تقريباً مثل $n^{1/(2r+1)}$، حيث $n$ هو كمية البيانات التي تملكها.

والأروع من ذلك، أنهم أظهروا أنك لست بحاجة لمعرفة "النعومة" ($r$) للبيانات مسبقاً للقيام بذلك بشكل صحيح. لقد ابتكروا طريقة حيث يمكن لـ KAN اختيار العدد الصحيح من العقد تلقائياً عن طريق اختبار خيارات مختلفة، تماماً مثل متسلق يحاول طرقاً مختلفة ليجد الطريق الذي يوصله إلى القمة بأسرع ما يمكن. وفي محاكاتهم، عملت هذه الطريقة "التكيفية" بشكل جيد تماماً كما لو كانوا يعرفون الإجابة منذ البداو.

اختبار النظرية في المختبر

أخيراً، لم يكتفِ المؤلفون بالرياضيات فقط؛ بل وضعوها قيد الاختبار. لقد أنشأوا بيانات وهمية ذات مستويات نعومة معروفة وراقبوا كيف تتعلم KAN. كانت النتائج دقيقة تماماً:

• السرعة: تعلمت KAN بالسرعة المتوقعة، حيث تزداد دقتها مع إضافة المزيد من البيانات.
• الأبعاد: عندما زادوا عدد المتغيرات من 5 إلى 20، حافظت KAN على سرعتها، بينما تباطأت الطرق القياسية الأخرى (مثل k-nearest neighbors) بشكل حاد، مما أكد أن KAN تتجنب حقاً "لعنة الأبعاد".
• العُقد: تطابق العدد الأمثل للعقد الذي وجدوه في التجارب مع تنبؤهم الرياضي تماماً.

يخلص البحث إلى أن شبكات KAN هي أداة قوية وسليمة رياضياً. فهي تقدم أفضل ما في العالمين: قوة التعلم للشبكات العصبية العميقة وشفافية الـ "سبلاين". وبينما لا تزال هناك بعض الأسئلة المفتوحة حول كيفية تحديد الأجزاء الداخلية للشبكة بشكل مثالي، فإن البرهان على أنها تتعلم بالمعدل الأمثل (حتى ذلك العامل اللوغاريتمي الضئيل) يعد خطوة كبيرة للأمام. إنه يخبرنا أنه عندما تمتلك البيانات بنية معينة، فإن KAN ليست مجرد خدعة ذكية، بل هي الطريقة الأكثر كفاءة لتعلمها.