Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality
تقدم هذه الورقة شبكات كولموغوروف-أرنولد المقيدة هندسياً (Banach-KANs)، والتي تستبدل تنشيطات الحواف الثابتة بدوال قابلة للتعلم مشتقة من خرائط ثنائية باناخ (Banach duality maps) يتم التحكم فيها بواسطة أس قياسي ، محققةً أداءً فائقاً أو تنافسياً في الانحدار الرمزي، ومظهرةً متانة معززة تجاه الضجيج وأحجام العينات الصغيرة مقارنة بشبكات KAN التقليدية ذات القواعد الثابتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الاكتشافات العلمية، تصف العديد من القوانين الطبيعية كيف تتغير كمية ما استجابةً لكمية أخرى. فتأرجح البندول يعتمد على زاويته؛ وسرعة السيارة تعتمد على كثافة حركة المرور؛ وسطوع النجم يعتمد على درجة حرارته. لعقود من الزمن، استخدم العلماء نماذج رياضية لتجسيد هذه العلاقات، لكن نهجاً أحدث قد ظهر، يعامل النموذج نفسه ككيان مرن وقابل للتعلم. هذا النهج، المعروف باسم "شبكة كولموغوروف-أرنولد" (Kolmogorov–Arnold Network)، يعمل عن طريق تقسيم المشكلة المعقدة إلى العديد من الأجزاء الصغيرة والبسيطة. وبدلاً من إجبار النظام بأكمله على تعلم قاعدة واحدة جامدة، فإنه يبني شبكة تكون فيها كل علاقة بين نقطتين محكومة بدالتها الفريدة والقابلة للتعلم. التحدي المركزي لهذه الشبكات كان دائماً هو تحديد الشكل الذي يجب أن تتخذه تلك الدوال. تقليدياً، كان على الباحثين اختيار شكل محدد مسبقاً — مثل منحنى سلس أو موجة متكررة — والالتزام به طوال المشكلة. هذا يشبه إلى حد كبير محاولة إصلاح آلة معطلة باستخدام نوع واحد فقط من المفاتيح؛ فهو يعمل جيداً مع بعض البراغي لكنه يفشل فشلاً ذريعاً مع أخرى.
اقترح باحث في "إمبريال كوليدج لندن" طريقة مختلفة للتفكير في هذه المشكلة. فقد أدرك أن القضية الحقيقية ليست في شكل الدالة نفسها، بل في "الهندسة" الأساسية أو الفضاء الذي تعيش فيه تلك الدالة. في الرياضيات، تحدد الهندسة كيفية قياس المسافات وكيف يمكن للمنحنى أن يكون حاداً أو سلساً. طور الباحث نوعاً جديداً من الشبكات حيث لا تكون الهندسة ثابتة قبل بدء عملية التعلم. بدلاً من ذلك، تتعلم الشبكة أفضل هندسة لكل اتصال فردي مباشرة من البيانات. وقد حققوا ذلك من خلال إدخال رقم واحد قابل للتعديل لكل اتصال في الشبكة. يعمل هذا الرقم كقرص تحكم يغير سلوك الاتصال من كونه حاداً وشبيهاً بالعتبة إلى كونه سلساً وخطياً، أو حتى مسطحاً ومشبعاً. ومن خلال ترك البيانات تقرر أين تضبط هذا القرص، يمكن للشبكة أن تكيف هيكلها الداخلي ليتناسب مع الخصائص الفريدة للمشكلة التي تحلها.
اختبر الباحث هذه الفكرة على خمسين مشكلة رياضية مختلفة، تتراوح من معادلات الفيزياء القياسية إلى تحديات اصطناعية صُممت لاختبار قدرة النظام. وقام بمقارنة شبكاته الجديدة المتكيفة هندسياً مقابل النماذج القديمة التي تعتمد على أشكال ثابتة، مثل "السبلاينز" (splines) (وهي تشبه المساطر المرنة المستخدمة لرسم المنحنيات السلسة) أو كثيرات الحدود. وأظهرت النتائج أن النماذج ذات الشكل الثابت عانت عندما احتوت البيانات على قفزات مفاجئة أو زوايا حادة، حيث أنتجت غالباً نتائج متذبذبة وغير دقيقة لأن أشكالها الجامدة لم تكن قادرة على الانحناء بما يكفي لتناسب البيانات. وفي المقابل، نجحت الشبكات الجديدة، التي يمكنها تعديل هندستها الخاصة، في مطابقة أو التفوق على أداء كل النماذج المرجعية ذات الشكل الثابت. وعلى مجموعة أساسية مكونة من ثماني عشرة معادلة صعبة، حققت الطريقة الجديدة أفضل تصنيف متوسط، وعلى المجموعة الكاملة المكونة من خمسين معادلة، كان أداؤها يضاهي أقوى الطرق التقليدية.
ربما كانت النتيجة الأكثر أهمية هي كيفية تعامل هذه الشبكات الجديدة مع الضجيج. في العالم الحقيقي، نادراً ما تكون القياسات مثالية؛ فهي غالً ما تحتوي على أخطاء عشوائية أو "تشويش". وعندما أضاف الباحث كميات متزايدة من الضجيج إلى بياناتهم، انهارت النماذج التقليدية بسرعة. فقد زادت معدلات الخطأ لديها بمقدار واحد وعشرين ضعفاً أو أكثر مع زيادة الضجيج. أما الشبكات الجديدة المتكيفة هندسياً فكانت أكثر متانة بكثير؛ فحتى مع ارتفاع مستوى الضجيض، زادت معدلات الخطأ لديها بمعامل أصغر بكثير، وغالباً ما كان أقل من أربعة أضعاف الخطأ الأصلي. يشير هذا إلى أنه من خلال تعلم الهندسة الصحيحة، يمكن للشبكة تجاهل التشويش العشوائي والتركيز على الإشارة الحقيقية، وهي قدرة تفتقر إليها النماذج ذات الشكل الثابت.
كما كشونت الدراسة أن الشبكة لا تتعلم مجرد هندسة موحدة واحدة لكل شيء. بدلاً من ذلك، تعلمت اتصالات مختلفة داخل نفس الشبكة إعدادات مختلفة لقرص الهندسة الخاص بها. فقد تعلمت بعض الاتصالات أن تكون حادة جداً للتعامل مع التغيرات المفاجئة، بينما تعلمت أخرى أن تكون سلسة للتعامل مع الاتجاهات التدريجية. حدث هذا التخصص بشكل متسق عبر مختلف أنواع المعادلات وأبعاد المدخلات. فعلى سبيل المثال، عندما تضمنت المشكلة متغيرات أكثر، مالت الشبكة إلى تعلم هندسات أكثر حدة في كثير من الأحيان. يوفر هذا السلوك نوعاً من القابلية للتفسير: فمن خلال النظر إلى الإعدادات التي اختارتها الشبكة، يمكن للباحثين رؤية إشارة تعكس البنية الأساسية للمشكلة. الشبكة تخبرنا جوهرياً: "هذا الجزء من المشكلة يحتاج إلى حافة حادة، بينما يحتاج ذلك الجزء إلى منحنى سلس".
استكشف الباحث أيضاً ما يحدث عندما تتوفر كمية قليية جداً من البيانات. في سيناريوهات العينات الصغيرة هذه، تفوقت الشبكات الجديدة مرة أخرى على النماذج ذات الشكل الثابت، والتي تتطلب عادةً كميات كبيرة من البيانات للتعلم بفعالية. إن القدرة على تكييف الهندسة سمحت للشبكات الجديدة بتقريب الإجابات الصحيحة بعدد أقل بكثير من الأمثلة. ومع ذلك، أشارت الدراسة أيضاً إلى وجود حدود لهذا النهج. فبينما يتفوق الأسلوب الجديد في المشكلات منخفضة إلى متوسطة الأبعاد، فإنه ليس بديلاً للشبكات العصبية العميقة والضخمة المستخدمة في مهام مثل التعرف على الصور. في الواقع، عند اختبار الطريقة على مجموعات بيانات الصور، لم تطابق الطريقة الجديدة أداء الشبكات القياسية إلا إذا مُنحت عشرين إلى ثلاثين ضعف عدد المعلمات (parameters)، مما يشير إلى أن قوتها تكمكمن في الكفاءة والقدرة على التكيف لمشكلات الانحدار من نوع معين، وليس في الحجم الخام.
في نهاية المطاف، ينقل هذا العمل التركيز من اختيار الأداة المناسبة إلى بناء أداة يمكنها تغيير شكلها بنفسها. لقد أثبت الباحث أن المفتاح لحل مشكلات الانحدار المعقدة ليس في الأساس الرياضي المحدد المستخدم لتمثيل البيانات، بل في الفضاء الهندسي الذي تعيش فيه تلك التمثيلات. ومن خلال جعل هذا الفضاء بارامتراً قابلاً للتعلم، أنشأ نظاماً أكثر متانة تجاه الضجيج، وأكثر كفاءة مع مجموعات البيانات الصغيرة، وأكثر قدرة على التقاط الطبيعة الحقيقية للعلاقات التي يحاول نمذجتها. وتشير النتائج إلى أنه في المستقبل، قد لا تكون النماذج الأكثر فعالية هي تلك ذات البنى الأكثر تعقيداً وثباتاً، بل تلك التي يمكنها تعلم الهندسة الخاصة بالمشكلة التي تحلها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.