Spatially-Enhanced Temporal Fusion Transformer: Interpretable Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs
تقدم هذه الورقة البحثية نموذج "محول الاندماج الزمني المعزز مكانياً" (SE-TFT)، وهو نموذج تعلم عميق متعدد المخرجات وقابل للتفسير، يتنبأ بدقة بالديناميكيات غير الخطية المعقدة للأنظمة البارامترية ذات المدخلات المتغيرة زمنياً، وذلك من خلال التقاط الارتباطات الزمنية والتفاعلات المكانية بين استجابات المخرجات المتعددة في آن واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بمستقبل آلة معقدة، مثل نظام طقس أو شبكة كهربائية ضخمة. في عالم العلوم، تُوصف هذه الآلات غالبًا بمعادلات رياضية ضخمة ومعقدة تسمى المعادلات التفاضلية. فكر في هذه المعادلات على أنها "الوصفة" التي تحدد كيفية سلوك الآلة. المشكلة هي أن هذه الوصفات ضخمة ومفصلة للغاية لدرجة أن حلها يتطلب حاسوبًا فائق القدرة ويستغرق وقتًا طويلًا، خاصة إذا أردت رؤية ما سيحدث عند تعديل بعض المكونات (مثل درجة الحرارة أو الضغط) أو تغيير القوى الخارجية (مثل هبة ريح مفاجئة). لقد حاول العلماء بناء "نماذج بديلة" (surrogate models) — وهي نسخ أبسط وأسرع من هذه الوصفات — لعقود من الزمن.
مؤخرًا، برز نوع من الذكاء الاصطناعي يسمى "المحول" (Transformer) بفضل قدرته على قراءة القصص الطويلة وفهم كيفية ارتباط الكلمات ببعضها البعض عبر الزمن. قد تعرف هذه النماذج من خلال روبوتات الدردشة أو أدوات الترجمة. هذه النماذج بارعة في رصد الأنماط في البيانات الزمنية، مثل التنبؤ بالكلمة التالية في جملة أو سعر السهم التالي. ومع ذلك، فإن معظم هذه النماذج صُممت للتنبؤ بشيء واحد فقط في كل مرة، مثل درجة الحرارة في مدينة واحدة. لكن الآلات في العالم الحقيقي عادة ما تتكون من أجزاء متحركة عديدة تؤثر في بعضها البعض في آن واحد. فإذا غيرت سرعة مروحة، فقد يؤدي ذلك إلى تغيير درجة الحرارة والضغط ومستوى الضوضاء في وقت واحد. السؤال الكبير كان: هل يمكننا تعليم "المحول" أن ينظر إلى كل هذه الأجزاء المختلفة معًا، ويفهم كيف ترقص مع بعضها البعض، ويتنبأ بالعرض بأكلِه في خطوة واحدة دون أن يصاب بالارتباك؟
يقدم هذا البحث نموذجًا جديدًا للذكاء الاصطناعي يسمى "المحول الاندماجي الزمني المعزز مكانيًا" (SE-TFT). أخذ المؤلفون، وهم باحثون من معهد ماكس بلانك، نموذجًا موجودًا يُعرف باسم "المحول الاندماجي الزمني" (TFT) — والذي كان جيدًا بالفعل في التنبؤ بنتائج فردية بناءً على البيانات الماضية والمدخلات المستقبلية — وقاموا بتطويره بشكل كبير. فقد أدركوا أنه للتنبؤ بالأنظمة المعقدة ذات المخرجات المتعددة (مثل درجة الحرارة والضغط والسرعة جميعًا في آن واحد)، يحتاج الذكاء الاصطناعي ليس فقط لمعرفة متى تحدث الأشياء (الزمن)، بل وأيضًا أين تقع بالنسبة لبعضها البعض (المكان).
فكر في النموذج الأصلي كطالب بارع في حفظ خط زمني واحد للأحداث، ولكنه يشعر بالارتباك إذا طُلب منه تتبع ثلاث قصص مختلفة تحدث في نفس الوقت. أما نموذج SE-TFT فهو مثل نفس الطالب، ولكن لديه الآن دفتر ملاحظات خاص يحتوي على شبكة. فبدلاً من مجرد كتابة قائمة، يمكنه رؤية كيف ترتبط قصة "درجة الحرارة" بقصة "الضغط" في كل لحظة. حقق المؤلفون ذلك من خلال إنشاء تقنية "قناع" (masking) جديدة. في عالم المحولات، "القناع" هو بمثابة قاعدة تخبر الذكاء الاصطناعي بما يُسمح له بالنظر إليه. عادةً، يُسمح للذكاء الاصطناعي بالنظر إلى الماضي فقط للتنبؤ بالمستقبل. لكن SE-TFT يضيف قاعدة جديدة: يمكنه النظر إلى الماضي لجميع المخرجات المختلفة في آن واحد. وهذا يسمح للنموذج بتعلم العلاقات "المكانية" — أي كيف تؤثر الأجزاء المختلفة من النظام على بعضها البعض — بينما يتعلم أيضًا العلاقات "الزمنية" — أي كيف تتغير بمرور الوقت.
اختبر الباحثون هذا النموذج الجديد على ثلاثة أنواع مختلفة تمامًا من الأنظمة المعقدة ليروا ما إذا كان بإمكانه التعامل مع الفوضى. أولاً، استخدموا "نموذج لورينز-63" (Lorenz-63)، وهو نظام رياضي شهير يصف أنماط الطقس الفوضوية. الأمر يشبه محاولة التنبؤ بالمسار الدقيق لطيران فراشة؛ حيث تؤدي التغييرات الطفيفة في نقطة البداية إلى نتائج مختلفة تمامًا. نجح نموذج SE-TFT في التنبؤ بالمسارات المستقبلية لجميع المتغيرات الثلاثة في النظام، حتى عندما كانت الظروف الأولية عشوائية.
بعد ذلك، جربوا "نموذج فيتز هيو-ناجومو" (FitzHugh-Nagumo)، الذي يحاكي كيفية استجابة الخلايا العصبية للإشارات الكهربائية. يشبه هذا مراقبة صف من قطع الدومينو وهي تسقط، ولكن قطع الدومينو يمكنها أيضًا إعادة ضبط نفسها والسقوط مرة أخرى بإيقاعات معقدة. هنا، كان على النموذج التنبؤ بمخرجين مختلفين (الجهد ومتغير الاستعادة) مع التعامل مع إشارات خارجية متغيرة. لم يكتفِ نموذج SE-TFT بتخمين الأرقام فحسب، بل قدم أيضًا "فترة ثقة"، أي رسم منطقة خضراء حول تنبؤه لتوضيح أين تقع الإجابة الحقيقية على الأرجح. وقد ظلت النتائج الفعلية داخل هذه المناطق بأمان.
أخيرًا، واجهوا "نموذج الحركية الكيميائية الكهربائية والانتشار المقترن"، الذي يصف كيفية تحرك المواد الكيميائية وتفاعلها في إعداد يشبه البطارية. هذا نظام فوضوي حيث تغير سرعة الدوران وتردد الإشارة الكهربائية طريقة سلوك المواد الكيميائية. تنبأ نموذج SE-TFT بالتيار وتركيز مادتين كيميائيتين بدقة مذهلة، وغالبًا ما كانت نسبة الخطأ أقل من 1%.
أحد أروع ميزات هذا البحث هو أن النموذج "قابل للتفسير". عادة ما تكون نماذج التعلم العميق "صناديق سوداء" — تضع فيها بيانات، فتخرج لك رقم، لكن ليس لديك أدنى فكرة عن كيفية اتخاذ الكمبيوتر لقراره. ومع ذلك، يحتفظ SE-TFT بسجل لـ "انتباهه" (attention). أظهر المؤلفون أنه يمكنهم النظر إلى "خريطة الانتباه" الداخلية للنموذج ورؤية أي أجزاء من الماضي أثرت في التنبؤ. على سبيل المثال، في النموذج الكيميائي، كشفت الخريطة أن التنبؤ بالتيار الكهربائي اعتمد بشكل كبير على تاريخه الخاص، بينما اعتمد التنبؤ بالتركيز الكيميائي على مزيج من جميع المتغيرات المختلفة. هذا يشبه القدرة على سؤال الذكاء الاصطناعي: "لماذا اعتقدت أن درجة الحرارة ستنخفض؟" وجعله يشير إلى أحداث ماضية محددة أدت إلى تلك النتيجة.
وجد المؤلفون أن نموذج SE-TFT يمكنه التنبؤ بهذه الأنظمة متعددة المخرجات والمعقدة في خطوة واحدة، دون الحاجة إلى التخمين ثانية بثانية ثم إعادة تغذية هذا التخمين مرة أخرى (وهي طريقة تسمى "التنبؤ الذاتي" أو autoregression، والتي غالبًا ما تراكم الأخطاء). وبينما أصبح النموذج أقل دقة قليلاً عند التنبؤ بمدى بعيد جدًا في المستقبل، إلا أنه ظل قويًا بشكل مثير للدهشة. ويخلص البحث إلى أنه من خلال تعليم الذكاء الاصطناعي رؤية الروابط "المكانية" بين المخرجات المختلفة، يمكننا بناء أدوات أسرع وأكثر دقة وفهمًا لمحاكاة العالم الفيزيائي المعقد، من أنماط الطقس إلى المفاعلات الكيميائية. إن الكود والبيانات المستخدمة في هذه التجارب متاحة لأي شخص للتحقق منها، مما يضمن أن هذه النتائج مفتوحة للآخرين للتحقق منها والبناء عليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.