تخيل أنك تحاول التنبؤ بالمستقبل من خلال النظر إلى طريق طويل ومتعرج. ربما يكون مسار سوق الأسهم، أو تدفق الكهرباء في مدينة ما، أو حركة سيارة أجرة عبر حركة المرور. هذا هو عالم التنبؤ بالسلاسل الزمنية: استخدام نقاط البيانات الماضية لتخمين ما سيحدث بعد ذلك. لفترة طويلة، عانت الحواسيب من رؤية "الصورة الكبيرة" عندما يصبح الطريق طويلاً جداً. لقد كانت بارعة في تذكر الخطوات القليلة الأخيرة، لكنها كانت ترتبك أو تنفد ذاكرتها عندما يُطلب منها النظر إلى أسابب أو أشهر قادمة.

هنا يظهر المحول (Transformer)، وهو نوع من الذكاء الاصطناعي الذي اشتهر بقراءة وكتابة اللغة البشرية. فكر في "المحول" كأنه محقق ذكي للغاية يمكنه النظر إلى كل دليل في القصة في وقت واحد، بدلاً من قراءتها كلمة بكلمة. هذه القوة الخارقة لـ "النظر إلى الكل في آن واحد"، والتي تسمى الانتباه (attention)، تسمح له بربط النقاط البعيدة ببعضها البعض. ومع ذلك، عند تطبيق هذا النموذج على السلاسل الزمنية الطويلة، يواجه هذا المحقق مشكلة: لربط كل دليل بكل دليل آخر، يتعين عليه القيام بكم هائل من العمليات الحسابية. الأمر يشبه محاولة تعريف كل شخص في حفلة بجميع الأشخاص الآخرين؛ حيث ينمو عدد المصافحات بسرعة كبيرة لدرجة أن الحفلة تتوقف تماماً. تعالج هذه الورقة البحثية هذه المشكلة المحددة، متسائلة: كيف يمكننا الحفاظ على قوة المحقق الخارقة دون جعله يقوم بقدر مستحيل من العمل؟

يقدم مؤلفو هذه الورقة أداة ذكية جديدة تسمى آلية الانتباه المحلي (Local Attention Mechanism - LAM). وتتمثل نتيجتهم الرئيسية في أنه بالنسبة لبيانات السلاسل الزمنية، لا تحتاج فعلياً إلى النظر إلى كل لحظة ماضية للتنبؤ بالمستقبل؛ بل تحتاج غالباً إلى النظر إلى اللحظات المحيطة بها مباشرة. ومن خلال التركيز فقط على هذه "الأحياء" المحلية، ابتكروا طريقة أثبتت رياضياً أنها أسرع بكثير وأخف على الذاكرة من النهج التقليدي. وفي اختباراتهم، لم تكتفِ هذه الطة الجديدة بتوفير الوقت فحسب، بل تنبأت بالمستقبل بشكل أفضل من النماذج الرائدة الحالية، حتى عند النظر إلى مدى بعيد في المستقبل.

المشكلة: عبء المحقق الزائد

لفهم سبب الحاجة إلى هذه الأداة الجديدة، دعونا نلقي نظرة على كيفية عمل "المحول" القياسي. تخيل محققاً يحاول حل لغز بناءً على مذكرات. الطريقة القياسية، التي تسمى الانتباه الكامل (Full Attention)، تتطلب من المحقق قراءة كل صفحة في المذكرات ومقارنتها بكل صفحة أخرى لإيجاد الروابط. إذا كانت المذكرات تحتوي على 1,000 صفحة، فعلى المحقق إجراء حوالي 1,000,000 مقارنة. وإذا كانت تحتوي على 10,000 صفحة، فإن ذلك يقفز إلى 100,000,000 مقارنة. هذا ما يسميه العلماء التعقيد التربيعي ($\Theta(n^2)$). ومع زيادة طول المذكرات، ينفجر حجم العمل، وتنفد ذاكرة الكمبيوتر أو يستغرق وقتاً طويلاً جداً للانتهاء.

علاوة على ذلك، يشير المؤلفون إلى أنه بينما ينجح نهج "النظر في كل شيء" هذا بشكل جيد في اللغة (حيث قد ترتبط كلمة في بداية الجملة بكلمة في نهايته)، إلا أنه غالباً ما يكون مبالغاً فيه بالنسبة للسلاسل الزمنية. في السلاسل الزمنية — مثل درجة الحرارة أو استهلاك الكهرباء — عادة ما يتأثر ما يحدث الآن بما حدث قبل لحظة واحدة فقط. أما الارتباط بشيء حدث قبل ثلاثة أيام فهو غالباً ما يكون أضعف بكثير. ومع ذلك، يهدر "المحول" القياسي الطاقة في حساب تلك الروابط الضعيفة كما لو كانت روابط قوية.

الحل: مراقبة الحي

يقترح المؤلفون آلية الانتباه المحلي (LAM). فبدلاً من جعل المحقق يقرأ المذكرات بأكملها، تخبره آلية LAM: "انظر فقط إلى الصفحات القليلة الأخيرة، وربما بعض الصفحات من نمط معين، وتجاهل الباقي".

لقد صمموا هذه الآلية لاستغلال "الاستمرارية" في الزمن. في العالم الحقيقي، لا تتغير الأشياء فوراً؛ بل تتدفق. إذا كنت تتنبأ بدرجة الحرارة في الساعة 2:00 مساءً، فإن درجة الحرارة في الساعة 1:59 مساءً هي دليل ضخم، لكن درجة الحرارة من الثلاثاء الماضي هي أقل أهمية. تستخدم LAM "قناعاً" رياضياً (مرشحاً) لحجب الماضي البعيد غير ذي الصلة.

إن سحر LAM لا يكمن فقط في تجاهلها للأشياء، بل في كيفية تجاهلها لها. فقد طور المؤلفون خوارزمية محددة باستخدام الجبر الموتري (tensor algebra) (وهي طريقة متطورة لتنظيم البيانات في كتل) تسمح للكمبيوتر بتخطي الحسابات غير المفيدة تماماً. فبدلاً من القيام بعمل قدره $n^2$، تقوم LAM بعمل يتناسب مع $n \log n$. ولو أردنا وضع ذلك في منظور، فإذا كانت الطريقة القياسية تستغرق 100 ساعة لمعالجة مجموعة بيانات طويلة، فقد تستغرق LAM بضع ساعات فقط. إنه يشبه الانتقال من فحص كل منزل في المدينة إلى فحص المنازل في شارعك والعديد من الشوارع المجاورة فقط.

النتائج: أسرع وأذكى

لم يكتف الفريق ببناء الأداة فحسب؛ بل وضعوها قيد الاختبار. لقد قارنوا نموذجهم المعزز بـ LAM مع النماذج الرائدة الحالية، بما في ذلك نموذج شهير يسمى Informer وعدة طرق إحصائية قديمة.

1. تنبؤات أفضل: في التجارب التي استخدمت بيانات من العالم الحقيقي مثل استهلاك الكهرباء، وأنماط الطقس، ورحلات سيارات الأجرة، حقق نموذج LAM باستمرار أخطاءً أقل من المنافسين. وقد كان بارعاً بشكل خاص في التنبؤ بالمدى البعيد (الآفاق الطويلة)، حيث تميل النماذج الأخرى إلى الارتباك.
2. الكفاءة: كان نموذج LAM أصغر حجماً وأخف وزناً بشكل ملحوظ. فبينما كان نموذج Informer يحتوي على أكثر من 12 مليون معلمة (التي تمثل "خلايا الدماغ" للذكاء الاصطناعي)، حقق نموذج LAM نتائج أفضل بـ 6 ملايين معلمة فقط تقريباً.
3. الاختبار "العادل": حرص المؤلفون على ضمان أن تكون المقارنة عادلة. فقد اختبروا LAM مقابل طريقة الانتباه الخاصة بـ Informer (المعروفة باسم ProbAttention)، لكنهم أبقوا بقية بنية الكمبيوتر متطابقة تماماً. وحتى في هذا الاختبار المباشر، فاز LAM، مما أثبت أن التحسن جاء من آلية الانتباه الجديدة نفسها، وليس مجرد تصميم حاسوبي أكثر تطوراً.

دعوة لبيانات أفضل

تشير الورقة أيضاً إلى ملاحظة نقدية حول الأدوات المستخدمة لاختبار هذه النماذج. يجادل المؤلفون بأن مجموعات البيانات القياسية المستخدمة في هذا المجال صغيرة وبسيطة للغاية. إنها تشبه محاولة تعليم طالب القيادة باستخدام ساحة انتظار فارغة فقط. فالأطروحات في العالم الحقيقي، مثل التنبؤ بحركة المرور لمدينة كاملة أو الكهرباء لشبكة ضخمة، تتضمن ملايين نقاط البيانات وأنماطاً معقدة.

ولإصلاح ذلك، قدم المؤلفون مجموعة جديدة من مجموعات البيانات للاختبار، وتشمل:

• IHEP: أكثر من مليوني سجل لاستخدام الكهرباء المنزلية.
• NYTaxi: أكثر من مليوني سجل لرحلات سيارات الأجرة في مدينة نيويورك.
• RPB: بيانات حول استخدام البطاريات والطاقة الشمسية.
• TiNA: مجموعة بيانات ضخمة تضم أكثر من 38 مليون سجل من آلة تعدين صناعية.

وعندما اختبروا نماذجهم على هذه المجموعات الضخمة من بيانات العالم الحقيقي، أصبح تفوق LAM أكثر وضوحاً. فغالباً ما كانت النماذج القديمة تتعطل أو تنفد ذاكرتها لأن البيانات كانت كبيرة جداً، بينما استمر LAM في العمل بسلاسة ودقة.

ماذا يعني هذا؟

تخلص الورقة إلى أنه بالنسبة للتنبؤ بالسلاسل الزمنية طويلة المدى، فإن نهج "النظر في كل شيء" ليس بطيئاً فحسب، بل غالباً ما يكون غير ضروري. فمن خلال التركيز على "الحي المحلي" للزمن، يمكننا بناء ذكاء اصطناعي أسرع، وأرخص في التشغيل، وأكثر دقة بشكل مذهل.

ويشير المؤلفون إلى أنه بينما تعد طريقتهم خطوة قوية للأمام، إلا أن المجال لا يزال بحاجة إلى معايير أفضل واختبارات أكثر صرامة. لم يدّعوا أنهم حلوا جميع مشاكل التنبؤ، لكنهم قدموا عدسة جديدة قوية يمكن من خلالها رؤية المستقبل — عدسة حادة، وفعالة، ومركزة على ما يهم حقاً.