🤖 machine learning

Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

تقدم هذه المساهمة "الدوائر الوظيفية الزمنية" (Temporal Functional Circuits)، وهو إطار عمل قائم على شبكات كولموغوروف-أرنولد (KANs) المتبقية ذات البوابات، والذي يحول دوال الحواف الصريحة إلى تفسيرات موثوقة ومؤصلة زمنياً للتنبؤ بالسلاسل الزمنية، محققاً بذلك أداءً تنافسياً ومبرهناً على القيمة التنبؤية لأشكال الـ "spline" المتعلمة.

المؤلفون الأصليون: Naveen Mysore

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Naveen Mysore

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بحالة الطقس لغدٍ ما. لديك نموذج حاسوبي فائق الذكاء يحلل البيانات الماضية ليقدم تنبؤه. عادةً ما تكون هذه النماذج مثل "الصناديق السوداء": فهي تقدم إجابة، ولكن إذا سألتها لماذا اختارت هذه الإجابة، فإنها تكتفي بالقول: "لقد عالجت الكثير من الأرقام".

يقدم هذا المقال طريقة جديدة لبناء نماذج التنبؤ هذه باستخدام ما يسمى شبكات كولموغوروف-أرنولد (KANs). وبدلاً من أن تكون صندوقاً أسود، فإن الـ KAN تشبه آلة شفافة حيث يحمل كل سلك فيها ملصقاً توضيحياً.

إليك تفصيل ما أنجزه المقال، باستخدام تشبيهات بسيطة:

1. المشكلة: "الصور الجميلة" ليست كافية

في الماضي، حاول الباحثون شرح شبكات KAN عبر رسم صور للوظائف الرياضية الموجودة داخل الأسلاك (المعروفة باسم "السبلاينز" أو الدوال المنكسرة). الأمر يشبه النظر إلى مخطط لمحرك سيارة والقول: "انظروا إلى هذه المنحنيات؟ هكذا تعمل!".

لكن المقال يجادل بأن مجرد رؤية المنحنى لا يكشف ما إذا كان المحرك يعمل بالفعل أو ما إذا كان ضرورياً أصلاً. أحياناً، يرسم النموذج منحنى مزخرفاً على سلك ما لكنه يتجاهله تماماً. يطلق المقال على هذا الأمر اسم "الواقعية البصرية" مقابل "الموثوقية". فمجرد كون الرسم البياني يبدو وكأنه يشرح التنبؤ، لا يعني أنه هو من تسبب في التنبؤ.

2. الحل: "المفتاح الذكي" (Gated Residual KAN)

لإصلاح ذلك، بنى المؤلفون نموذجاً جديداً يحتوي على مفتاح ذكي (بوابة).

الجزء الخطي (القاعدة): تخيل آلة حاسبة بسيطة وموثوقة تتعامل مع الأجزاء المباشرة من التنبؤ (مثل "الجو يكون دافئاً عادة في الصيف").
جزء الـ KAN (التصحيح): تخيل فناناً مبدعاً يضيف التفاصيل المعقدة والمتموجة (مثل "لكن اليوم هناك جبهة عاصفة غريبة").
البوابة: هذا هو المفتاح الذي يقرر لكل نقطة بيانات على حد/ ما إذا كان مسموحاً للفنان بالعمل أم يجب أن نكتفي بالآلة الحاسبة فقط.

إذا كانت البيانات بسيطة، يظل المفتاح مغلقاً، ويعتمد النموذج على الآلة الحاسبة البسيطة. وإذا كانت البيانات فوضوية ومعقدة، يفتح المفتاح، ويأتي دور الفنان (الـ KAN) للقيام بالتصحيح.

3. "الدائرة الوظيفية الزمنية" (عمل المحقق)

يقدم المقال إطار عمل يسمى الدوائر الوظيفية الزمنية. فكر في هذا كحقيبة أدوات للمحقق مخصصة للنموذج. بدلاً من مجرد النظر إلى الأسلاك، يطرح المحقق ثلاثة أسئلة محددة لكل سلك في الشبكة:

مع من يتحدث هذا السلك؟ (تعيين التأخير الزمني): هل يهتم هذا السلك بما حدث قبل 3 ساعات أم قبل 3 أيام؟ يقوم المقال بربط السلك مباشرة بنقاط زمنية محددة.
ما مدى أهمية هذا السلك؟ (الأهمية): يقوم المقال بتصنيف الأسلاك. هناك أسلاك "نجوم" تقوم بالعمل الشاق؛ وأخرى مجرد زينة. وقد وجدوا أن الأسلاك ذات "نطاق الحركة" الأكبر (الأكثر تعقيداً في منحنياتها) هي عادة الأكثر أهمية.
ماذا يحدث إذا قطعنا السلك؟ (التدخل): هذا هو الجزء الأهم. قام الباحثون حرفياً بـ "قطع" (ضبط القيمة إلى صفر) للأسلاك العليا وراقبوا التنبؤ.
- النتيجة: عندما قطعوا الأسلاك العليا، ساء التنبؤ. وهذا يثبت أن هذه الأسلاك كانت تقوم بالعمل فعلياً ولم تكن مجرد زينة.
- اختبار "السبلاين": حاولوا أيضاً إزالة الجزء "الغني بالمنحنيات" فقط من السلك مع الإبقاء على الجزء المستقيم. ظل التنبؤ سيئاً. وهذا يثبت أن شكل المنحنى المحدد هو المهم، وليس مجرد وجود السلك.

4. ما الذي وجدوه؟

اختبر الباحثون هذا على ثماني مجموعات بيانات مختلفة من العالم الحقيقي (مثل الطقس، الطاقة الشمسية، واستهلاك الكهرباء) بالإضافة إلى سيناريوهات "معقدة" مبتكرة.

لا يوجد مقاس واحد يناسب الجميع: بالنسبة لبعض مجموعات البيانات (مثل أنماط الطقس البسيطة)، أبقى "المفتاح الذكي" جزء الـ KAN مغلقاً في الغالب لأن الآلة الحاسبة البسيطة كانت كافية. أما بالنسبة لمجموعات البيانات الأخرى (مثل الإشارات المعقدة التي تتغير فيها الأنظمة)، فقد فُتح المفتاح على مصراعيه، وأنقذ جزء الـ KAN الموقف، حيث قلل الأخطاء بنسبة تقارب 60% مقارنة بالنماذج البسيطة.
البوابة تعرف الأفضل: حدد "المفتاح الذكي" تلقائياً متى تكون البيانات معقدة جداً على النموذج البسيط، ومتى تكون بسيطة بما يكفي لتجاهل الجزء المعقد.
إثبات العمل: من خلال قطع الأسلاك ورؤية فشل التنبؤ، أثبتوا أن النموذج لم يكن يحفظ البيانات فحسب؛ بل كان يستخدم بالفعل أشكالاً رياضية محددة ومعقدة لفهم السلاسل الزمنية.

الملخص

يقول هذا المقال: "لا تكتفوا فقط بالنظر إلى الرسوم البيانية الجميلة داخل الشبكة العصبية. ابنوا نموذجاً يحتوي على مفتاح يعرف متى يستخدم الرياضيات المعقدة، ثم أثبتوا نجاحه عن طريق قطع الأسلاك ومراقبة ما إذا كان النموذج سينهار".

لقد أظهروا أن طريقتهم الجديدة لا تقل دقة عن أفضل النماذج الموجودة، ولكن على عكس تلك النماذج، يمكنها في الواقع الإشارة إلى نقاط زمنية محددة وأشكال رياضية معينة تشرح لماذا قدمت تنبؤاً معيناً. إنها تحول الخدعة السحرية إلى عملية شفافة ومفهومة.

خاتمة تقنية: الدوائر الوظيفية الزمنية في التنبؤ باستخدام شبكات KAN

بيان المشكلة
أثبتت نماذج التنبؤ بالسلاسل الزمنية طويلة المدى (LTSF) مؤخرًا أن النماذج الخطية البسيطة تتفوق على البنيات المعقدة مثل "المحولات" (Transformers) في المعايير القياسية، مما أثار تساؤلات حول ضرورة التعقيد الإضافي للنماذج. وبينما برزت شبكات كولموغوروف-أرنولد (KANs) كبديل واعد للنماذج متعددة الطبقات (MLPs) نظرًا لـ "قابلية تفسيرها المتأصلة" عبر دوال الحواف القابلة للتعلم (عادةً ما تكون B-splines)، فإن التطبيقات الحالية غالبًا ما تعتمد على تصور أشكال هذه الدوال كدليل على قابلية التفسير. يجادل هذا العمل بأن تصور أشكال الـ "spline" الكامنة ليس مساويًا لتقديم تفسيرات أمينة ومرتبطة زمنيًا. وتحديدًا، فإن دالة الحافة $\phi_e(z)$ في شبكة KAN لا تكشف بطبيعتها عن أي الخطوات الزمنية للمدخلات هي التي قامت بتنشيطها، أو ما إذا كان النموذج قد استخدم الحافة بالفعل، أو ما إذا كان حذفها سيغير التنبؤ. علاوة على ذلك، تشير التحقيقات السابقة إلى أنه لا يوجد نواة تنبؤ واحدة (خطية، أو KAN، أو انتباه) تهيمن عالميًا عبر جميع مجموعات البيانات، مما يستوجب وجود إطار عمل لتحديد متى تكون شبكات KAN مفيدة ولماذا.

المنهجية
يقدم هذا العمل الدوائر الوظيفية الزمنية (Temporal Functional Circuits)، وهو إطار عمل يهدف إلى تحويل دوال حواف KAN إلى تفسيرات أمينة من خلال مزيج من التصميم المعماري والتحقق القائم على التدخل في تصورات القيم الكامنة.

بنية KAN ذات المتبقي المبوّب (Gated Residual KAN Architecture):
يقترح المؤلفون بنية تنبؤ محددة بـ $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$ .

التفكيك: يتم تفكيك إشارة المدخلات إلى مكونات الاتجاه (trend) والمتبقي (residual) باستخدام مرشح المتوسط المتحرك.
الفروع: يتعامل الفرع الخطي ( $f_{lin}$ ) مع الأنماط الخطية، بينما يلتقط فرع KAN ( $f_{KAN}$ ) المتبقيات غير الخطية.
البوابة (Gating): تتحكم بوابة $g(x) \in [0, 1]^C$ منظمة بـ $L_1$ في مساهمة فرع KAN لكل قناة. وهذا يسمح للنموذج بتعلم متى يجب كبح التصحيح الخاص بـ KAN (للعودة إلى الخطية) ويوفر مقياسًا قابلًا للقياس لاستخدام KAN وهو ( $U_{KAN}$ ).
بنية KAN: تستخدم فرع KAN دوال "splines" على الحواف، وتُعرف بـ $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$ .

الدوائر الوظيفية الزمنية (TFC):
لكل حافة $e$ في KAN، يبني إطار العمل زوجًا تفسيريًا $E_e = (\phi_e, A_e, I_e, \Delta_e)$ :

$\phi_e$ : الدالة أحادية المتغير المتعلمة.
$A_e$ (تعيين التأخير - Lag Assignment): طريقة تعيين مدركة للمخرجات تربط الحواف بخطوات زمنية محددة للمدخلات عبر حساب التدرجات من خلال تضمين الرقعة (patch embedding) والطبقات اللاحقة، مع مراعاة حالة البوابة.
$I_e$ (الأهمية): مقياس ترتيب يعتمد على المساهمة المتوقعة للحافة في التنبؤ، حيث يجمع بين سعة مخرج الحافة والحساسية اللاحقة. كما يستخدم العمل نطاق التنشيط ( $R_e$ ) لشبكة B-spline كمؤشر مستقل عن البيانات للأهمية.
$\Delta_e$ (الأثر التدخلي): التغير في خسارة التنبؤ عند التدخل في الحافة. تشمل التدخلات تصفير الحافة، أو استبدالها بمتوسطها، أو إزالة الـ spline (الاحتفاظ بمصطلح SiLU الأساسي مع إزالة مكون B-spline المتعلم).

التحقق من الأمانة (Faithfulness Validation):
يتحقق إطار العمل من التفسيرات من خلال:

منحنيات استئصال الحواف (Edge Ablation Curves): الإزالة التدريجية لأعلى الحواف ترتيبًا (بناءً على $R_e$ ) وقياس تدهور MSE. يجب أن يظهر الترتيب الأمين أن $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$ .
استعادة الآليات الاصطناعية: اختبار النموذج على أنظمة اصطناعية ذات تعقيد متزايد (خطي، متعدد الترددات، عتبة AR، تبديل الأنظمة) للتحقق مما إذا كان استخدام البوابة يرتبط بتعقيد الإشارة.
اختبارات التدخل: اختبار ما إذا كانت صيغة الـ spline المتعلمة نفسها تحمل قيمة تنبؤية من خلال مقارنة التصفير الكامل مقابل إزالة الـ spline.

النتائج الرئيسية

الأداء: عبر ثمانية معايير (بما في ذلك Weather، ETT، Solar، وPPG)، تعد شبكة Gated KAN منافسة للنماذج الخطية، ونماذج الانتباه، وبدائل MLP. وقد حققت أفضل أو مساوٍ لأفضل قيمة MSE في 4 من أصل 8 مجموعات بيانات. والجدير بالذكر أن Gated KAN حققت MSE أقل بنسبة 59% من النماذج الخطية البحتة في الإشارات ذات تبديل الأنظمة (regime-switching).
استخدام البوابة: يرتبط مقياس استخدام البوابة ( $U_{KAN}$ ) بتعقيد الإشارة. في التجارب الاصطناعية، يزدัง $U_{KAN}$ بشكل رتيب من الإشارات الخطية (0.49) إلى إشارات تبديل الأنظمة (0.72). وفي البيانات الحقيقية، تكون $U_{KAN}$ منخفضة لمجموعات البيانات الخطية غالبًا (مثل ETTh1) وأعلى للمجموعات الأكثر تعقيدًا (مثل Solar).
أمانة التفسيرات:
- منحنيات الاستئصال: إزالة أعلى الحواف ترتيبًا (بواسطة نطاق التنشيط $R_e$ ) تؤدي باستمرار إلى تدهور الأداء بشكل أكبر من الإزالة العشوائية أو إزالة الحواف الأدنى ترتيبًا. في مجموعة بيانات Weather، أدت إزالة أعلى 50 حافة إلى زيادة MSE بمقدار $2.20 \times 10^{-4}$ ، بينما كان للإزالة العشوائية تأثير ضئيل.
- قيمة الـ spline: أدت إزالة مكون B-spline فقط (مع الاحتفاظ بـ SiLU الأساسي) إلى تدهور التنبؤات وحملت ما يصل إلى 41% من تأثير التصفير الكامل في مجموعة بيانات Weather. يوفر هذا دليلًا على أن صيغة الـ spline المتعلمة ليست مجرد أثر ملائم (fitting artifact) بل هي مكون وظيفي يحمل قيمة تنبؤية تتجاوز التنشيط الأساسي.
- استعادة التأخير (Lag Recovery): في الإشارات الاصطناعية ذات التأخيرات السببية المعروفة، استعاد نظام تعيين الحافة إلى التأخير المقترح ( $A_e$ ) التأخيرات الحقيقية بـ AUPRC قدره 0.44 (أعلى بـ 6 مرات من العشوائي) وحدد حواف KAN المحددة المسؤولة عن تبعيات التأخير.
المقارنة مع MLP: بينما يمكن لـ Gated MLP تحقيق دقة شبكة Gated KAN، إلا أنه لا يمكنه توفير دوال الحافة الصريحة والقابلة للتحقق المطلوبة لتحليل الدوائر الوظيفية الزمنية.

الأهمية والادعاءات
يزعم هذا العمل أن قابلية تفسير KAN تتطلب أكثر من مجرد تصور مخططات الـ spline؛ فهي تتطلب تأصيلًا زمنيًا وأمانة مختبرة بالتدخل.

الرؤية الميكانيكية: يوضح إطار العمل أن شبكات KAN يمكن تفكيكها إلى دوائر وظيفية حيث ترتبط حواف معينة بتأخيرات مدخلات محددة ويتم التحقق منها من خلال الإزالة.
الفائدة التشخيصية: توفر البنية المبوّبة تشخيصًا قابلًا للقياس ( $U_{KAN}$ ) يشير إلى متى يكون التصحيح غير الخطي ضروريًا، مما يفسر لماذا تساعد شبكات KAN في بعض مجموعات البيانات (المعقدة، ذات تبديل الأنظمة) وليس غيرها (الخطية غالبًا).
قيمة الـ splines: يقدم العمل دليلًا تجريبيًا على أن صيغة B-spline المتعلمة ليست مجرد أثر ملائم، بل هي مكون وظيفي، حيث إن إزالتها تضعف الأداء بشكل كبير.
النطاق المتواضع: يقر المؤلفون بأن تدخلاتهم تثبت الآثار داخل النموذج، وليس الادعاءات السببية حول عملية توليد البيانات. كما يشيرون إلى أنه بينما تعد Gated KAN منافسة، إلا أنها ليست متفوقة باستمرار، وأن إطار العمل هو خطوة نحو فهم متى وكيف تساهم شبكات KAN في التنبؤ، وليس ادعاء التفوق العالمي.

1. المشكلة: "الصور الجميلة" ليست كافية

2. الحل: "المفتاح الذكي" (Gated Residual KAN)

3. "الدائرة الوظيفية الزمنية" (عمل المحقق)

4. ما الذي وجدوه؟

الملخص

أبحاث مشابهة