ملخص تقني: شبكات كولموغوروف-أرنولد الهندسية (GeoKAN)

بيان المشكلة

تعمل نماذج التعلم العميق القياسية، بما في ذلك الإدراك متعدد الطبقات (MLPs) وشبكات كولموغوروف-أرنولد (KANs) الحديثة، عادةً ضمن نظام إحداثيات إقليدي ثابت. وبينما تعمل شبكات KAN على تحسين مرونة التقريب من خلال استبدال الأوزان القياسية الثابتة بدوال أحادية المتغير قابلة للتعلم، إلا أنها لا تزال تقوم بتقييم هذه الدوال مباشرة على إحداثيات المدخلات الأصلية. ويصبح هذا القصور حرجاً في تعلم الآلة العلمي وحل المعادلات التفاضلية، حيث تظهر الدوال المستهدفة غالباً سلوكاً غير منتظم للغاية: تكون سلسة في بعض المناطق ولكنها تتغير بسرعة بالقرب من الصدمات، أو الواجهات الرقيقة، أو القمم الحادة، أو طبقات الحدود. في مثل هذه السيناريوهات، تؤدي تمثيلات الإحداثيات الثابتة إلى تخصيص قدرة النموذج بشكل غير فعال، حيث تبالغ في حل المناطق السلسة بينما تعجز عن حل مناطق التباين السريع.

المنهجية

يقدم المؤلفون شبكات كولموغوروف-أرنولد الهندسية (GeoKANs)، وهي عائلة من النماذج التي تكيف هندسة فضاء المدخلات جنباً إلى جنب مع دالة التقريب. الآلية الجوهرية تتمثل في تعلم مقياس ريماني قطري $g(u)$ يعمل على تشويه إحداثيات المدخلات قبل التوسع في القواعد وخلط الميزات.

الآلية الجوهرية

بدلاً من تقييم دوال القاعدة على المدخلات الخام $x$، تقوم GeoKAN أولاً بحساب الإحداثيات المشوهة:
$$\xi_i = x_i \sqrt{g_i(x)}$$
حيث $g_i(x) > 0$ هو مكون المقياس الذي يتم تعلمه. يعمل هذا التشويه على تمديد المناطق ذات التباين السريع (زيادة الدقة الفعالة) وضغط المناطق الأكثر سلاسة. ثم يبني النموذج الميزات في هذه الإحداثيات المتكيفة هندسياً.

المتغيرات

يقترح البحث ثلاثة متغيرات رئيسية لـ GeoKAN، تختلف في كيفية تمثيل المقياس وكيفية بناء ميزات ما بعد التشويه:

1. GeoKAN-NNMetric: يستخدم مقيساً مقترناً يتم تعلمه من التمثيل الوارد الكامل عبر شبكة عصبية (MetricNet). ويجمع هذا مع قاموس موجي محلي (موجات المكسيك - Mexican-hat wavelets) وحد مصطلح ملخص للحجم ($\log \det g$).
2. GeoKAN-$\gamma$: يستخدم مقيساً مهيكلاً وقابلاً للفصل، حيث يتعلم كل إحداثي مقياسه الخاص بشكل مستقل. وبدلاً من قاموس ما بعد التشويه، يقوم ببناء ميزات هندسية صريحة مشتقة من المقياس، بما في ذلك الإحداثي المشوه، والمشتق اللوغاريتمي المحلي للمقياس، ومقدار المقياس.
3. LM-KAN (الكان ذو المقياس المتعلم): مصمم خصيصاً لإعدادات الفيزياء المعلوماتية. يستخدم مقيساً مقترناً متعلماً (مثل GeoKAN-NNMetric) ولكنه يسمح باختيار قاعدة ما بعد التشويه بناءً على بنية المشكلة: الموجات (LM-KAN-Wav)، أو الدوال الشعاعية الأساسية (LM-KAN-RBF)، أو فوريه (LM-KAN-Fourier).

التعلم المستند إلى الفيزياء

في إعدادات الفيزياء المعلوماتية، يستخدم المؤلفون متغير LM-KAN كنموذج بديل ضمن إطار عمل الشبكة العصبية المستندة إلى الفيزياء (PINN) القياسي. تظل دالة الخسارة المستهدفة دالة قائمة على البواقي تتضمن المعادلة التفاضلية الحاكمة، والشروط الأولية، والشروط الحدودية. تكمن الجدة حصرياً في البنية: حيث يتعلم النموذج البديل مقيساً يعتمد على المهمة ويقيم تمثيل قاعدته الموضعية في إحداثيات متكيفة مع المقياس، بدلاً من تغيير الصيغة التباينية للخسارة.

المساهمات الرئيسية

1. التحيز الاستقرائي الهندسي: يقدم البحث إطاراً لا يتعلم فيه النموذج التقريب الوظيفي فحسب، بل يتعلم أيضاً الهندسة الأساسية لفضاء التمثيل، مما يوفر آلية لإعادة تخصيص دقة التمثيل اعتماداً على المهمة.
2. ثلاث بنيات متميزة: يوفر تطوير GeoKAN-NNMetric وGeoKO- $\gamma$ وLM-KAN طيفاً من النماذج يتراوح بين مناهج المقياس المقترن المرنة ونماذج الميزات المقياسية خفيفة الوزن.
3. تكيف القاعدة: يتيح دمج عائلات قواعد محددة (الموجات، RBF، فوريه) ضمن التشويه الهندسي للنموذج تكييف تحيزه الاستقرائي مع أنواع محددة من المشكلات (مثل فوريه للمشكلات التي تتسم بالتذبذب مثل معادلة هيلمهولتز).
4. التقييم الشامل: يقيم العمل هذه النماذج في نظامين متميزين:
   • التقريب الوظيفي الخاضع للإشراف: باستخدام اختبارات مطابقة السعة لعزل مزايا التقريب الجوهرية.
   • التعلم المستند إلى الفيزياء: حل معادلات تفاضلية متنوعة (Allen–Cahn، Burgers'، Lorenz system، Helmholtz) لاختبار أدائها في سياقات الحوسبة العلمية.

النتائج

التقريب الوظيفي الخاضع للإشراف

في اختبارات السعة المطابقة (حوالي $2 \times 10^4$ معلمة)، أظهرت متغيرات GeoKAN أداءً متفوقاً على MLPs وEfficient-KAN على الأهداف ذات الهياكل غير المنتظمة:

• الأهداف عالية التردد والموضعية: حققت GeoKAN-NNMetric وLM-KAN-Wav أدنى متوسط خطأ تربيعي (MSE) على الجيوب عالية التردد، والانقطاعات الخطوية، والإبر الضيقة، والجيوب متعددة المقاييس المعدلة بغلاف.
• إشارات التشيرب (Chirp signals): تفوق LM-KAN-RBF على المتغيرات الأخرى في أهداف التشيرب، مما يشير إلى أن قواعد RBF أفضل ملاءمة للترددات المحلية المتغيرة بسلاسة.
• التفسير: تؤكد النتائج أن المقياس المتعلم يوزع الدقة بفعالية، حيث يمدد المناطق الصعبة ويضغط المناطق السلسة، مما يؤدي إلى مطابقة أدق دون زيادة في عدد المعلمات.

التعلم المستند إلى الفيزياء

تمت مقارنة أداء LM-KAN مع خطوط الأساس PIKAN (Efficient-KAN وWav-KAN) عبر عدة معادلات تفاضلية:

• معادلة ألين-كاين (الحالة 1): حقق كلا النموذجين دقة عالية. وصل PIKAN إلى خسارة نهائية أقل قليلاً، لكن LM-KAN تدرب بشكل أسرع بكثير (315 ثانية مقابل 539 ثانية) مع عدد أقل من المعلمات.
• معادلة ألين-كاين (الحالة 2 - الصلبة/Stiff): في النظام الأكثر تحدياً مع واجهات أكثر حدة، قدم LM-KAN إعادة بناء أفضل للحل وبواقي PDE أقل، وإن كان بتكلفة حوسبية أعلى (4760 ثانية مقابل 1281 ثانية).
• معادلة بورغرز (Burgers' Equation): حقق LM-KAN خسارة نهائية مطابقة تقريباً لـ PIKAN ولكن في وقت أقل بكثير (206 ثانية مقابل 295 ثانية)، رغم امتلاكه لمعلمات أكثر، مما يشير إلى تحسن الكفاءة الحوسبية في حل التدرجات الحادة.
• نظام لورينز (Lorenz System): حقق LM-KAN خسارة نهائية أقل من PIKAN، مما يثبت أن التكيف الهندسي يستفيد من المعادلات التفاضلية العادية غير الخطية المقترنة، وإن كان ذلك مع أوقات تدريب أطول.
• معادلة هيلمهولتز (Helmholtz Equation): في هذا النظام عالي التذبذب، تفوق LM-KAN (باستخدام قواعد فوريه) بشكل كبير على خط الأساس Efficient-KAN. فقد وصل إلى خسارة نهائية أقل (انخفاض بنسبة 45% تقريباً) وتدرب بسرعة تزيد عن الضعف (76 ثانية مقابل 166 ثانية)، رغم تماثل عدد المعلمات تقريباً. أثبت التكيف الهندسي فعالية خاصة في الحفاظ على دقة الطور وهيكل الموجة مع تناقص الأطوال الموجية.

الأهمية والادعاءات

يزعم البحث أن GeoKAN توفر آلية تمثيل أكثر مرونة وغالباً أكثر فعالية لتعلم الآلة العلمي، خاصة للمشكلات التي تتميز بالانتقالات الحادة، أو الهياكل الموضعية، أو التعقيد التذبذبي.

• بنيوي مقابل تبايني: يؤكد المؤلفون أن التحسن هو تحسن بنيوي. يظل إطار التدريب (الخسارة القائمة على البواقي) قياسياً؛ وتأتي المكاسب من قدرة النموذج البديل على تعلم نظام إحداثيات متكيف هندسياً.
• الدقة المعتمدة على المهمة: تكمن الأهمية الأساسية في القدرة على "وضع السعة حيث تشتد الحاجة إليها". من خلال تعلم مقياس يمدد المناطق الصعبة، تتجنب GeoKAN عدم كفاءة التمثيلات ذات الشبكة الثابتة التي يجب أن تحل الميزات المحلية عالمياً.
• ادعاءات متواضلة: يقر المؤلفون بأن GeoKAN ليست متفوقة بشكل موحد في كل المقاييس. في بعض الحالات (مثل ألين-كاين الحالة 1)، يحقق PIKAN القياسي خسارة نهائية أقل أو تدريباً أسرع. تظهر ميزة GeoKAN بشكل أوضح في الأنظمة التي تتسم بعدم الانتظام القوي، أو الصلابة، أو التذبذبات عالية التردد.
• الاتجاهات المستقبلية: يقترح البحث استكشاف مقاييس غير قطرية (anisotropic) للمعادلات التفاضلية ذات الأبعاد الأعلى، وزيادة التكيف في اختيار القواعد.

باختدال، توسع GeoKAN نموذج KAN من خلال تعلم هندسة مجال المدخلات، مما يوفر نهجاً قوياً للتعامل مع عدم الانتظام المتأصل في العديد من المشكلات العلمية والمعادلات التفاضلية.