TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts

إن التنبؤ بالسلاسل الزمنية هو علم النظر إلى تسلسل من الأرقام المسجلة عبر الزمن لتخمين ما سيحدث بعد ذلك. وهو المحرك الكامن وراء التنبؤ بكل شيء، بدءاً من سعر البنزين وصولاً إلى انتشار تفشي الإنفلونزا. ولعقود من الزمن، اعتمدت أنجح الأساليب بشكل شبه كامل على الأرقام نفسها، بحثاً عن أنماط في الماضي لإسقاطها على المستقبل. ومع ذلك، فإن العالم الحقيقي نادراً ما يكون مجرد تدفق من الأرقام؛ فهو نظام معقد يتأثر بالعناوين الإخبارية، والسياسات الحكومية، والأحداث غير المتوقعة التي تظهر غالباً في شكل نصوص بدلاً من نقاط بيانات. وبينما يقرأ البشر بشكل طبيعي تقريراً إخبارياً عن اضطراب في سلاسل التوريد ويعدلون توقعاتهم للأسعار المستقبلية، فقد كافحت النماذج الحاسوبية التقليدية للقيام بالأمر نفسه. فهي غالباً ما تعامل النص كطبقة منفصلة ومربكة يصعب مواءمتها مع التدفق السلس للبيانات الرقمية، مما يؤدي إلى تنبؤات تخطئ الهدف عندما يتغير العالم.

اقترح فريق من الباحثين في جامعة تسينغ هوا طريقة جديدة لسد هذه الفجوة، حيث قدموا نظاماً يسمى TiMi. وبدلاً من محاولة فرض نص وأرقام في قالب واحد صلب، يعامل نهجهم الاثنين كدليلين متميزين ولكن متعاونين. وتتمثل الفكرة الجوهرية في استخدام نموذج لغوي كبير، وهو نوع من الذكاء الاصطناعي المدرب على كميات هائلة من الكتابات البشرية، لقراءة النص والاستدلال على ما يعنيه بالنسبة للمستقبل. النموذج لا يحفظ الكلمات فحسب، بل يحللها لاستنتاج العوامل المسببة، مثل ما إذا كانت السياسة الجديدة ستؤدي إلى ارتفاع المبيعات أو انخفاضها. ثم يتم تمرير هذا الاستدلال إلى محرك تنبؤ متخصص يستخدم تلك الرؤية لتنقيح توقعاته الرقمية. ووجد الباحثون أنه من خلال ترك النموذج اللغوي يعمل كدليل للأرقام، بدلاً من محاولة دمجهم في مزيج واحد فوضوي، استطاع النظام تحقيق تنبؤات أكثر دقة بشكل ملحوظ.

اختبر الباحثون هذه الطريقة على ستة عشر مجموعة مختلفة من البيانات الواقعية، تغطي مجالات متنوعة مثل الزراعة والمناخ والطاقة والصحة العامة. وفي هذه الاختبارات، تفوق النظام الجديد باستمرار على النماذج المتقدمة الموجودة، بما في ذلك تلك التي حاولت سابقاً الجمع بين النص والأرقام. كانت النتائج لافتة للنظر بشكل خاص في السيناريوهات التي يوفر فيها النص سبباً واضحاً للتغيير في الأرقام، مثل تقرير عن استدعاء هاتف ذكي تسبب في انخفاض حاد في المبيعات. في هذه الحالات، نجح النظام الجديد في استخدام النص لتوقع الانخفاض، بينما فشلت النماذج الأخرى غالباً في رصد هذا التحول المفاجئ. وتشير الدراسة إلى أن مفتاح التنبؤ الأفضل لا يكمن في إجبار أنواع مختلفة من البيانات على أن تبدو متشابهة، بل في السماح لكل منها بالقيام بما تجيده: النص يقدم القصة والسبب، بينما توفر الأرقام السجل والاتجاه.

ولإنجاز هذا العمل، صمم الفريق نظاماً نموذجياً يعمل كطقم من المستشارين المتخصصين. يركز جزء من النظام بالكامل على الأرقام التاريخية، لتعلم الإيقاعات والأنماط طويلة المدى للبيانات. ويركز جزء آخر على النص، باستخدام النموذج اللغوي لاستخراج رؤى مهيكلة حول الاتجاهات المستقبلية، مثل ما إذا كان المنظور متزايداً أو متناقصاً أو مستقراً. ثم يتم الجمع بين هذين التدفقين من المعلومات بطريقة تسمح للنظام باختيار المشورة الأكثر صلة للحظة المحددة. فإذا اقترح النص وقوع حدث رئيسي، يميل النظام بشدة نحو تلك الرؤية. وإذا كان النص غامضاً أو غير ذي صلة، يعتمد النظام أكثر على الأنماط التاريخية. وتسمح هذه المرونة للنموذج بالتعامل مع البيانات الواقعية الفوضوية حيث قد لا تصل النصوص والأرقام في نفس الوقت أو بنفس التنسيق.

كما استكشف الباحثون مدى فعالية هذا النظام عندما تكون البيانات غير منتظمة، وهو أمر شائع في العالم الحقيقي. في كثير من المواقف، قد تصدر التقارير الإخبارية في أوقات غير متوقعة، أو قد تكون هناك بيانات مفقودة لأيام معينة. وغالباً ما تعاني النماذج التقليدية مع هذه الفجوات، لكن النظام الجديد تعامل معها بسهما. ولأنه يعالج النصوص والأرقहरू بشكل منفصل قبل دمج رؤاهم، فهو لا يتطلب توقيتاً مثالياً بينهما. وفي الاختبارات على مجموعات البيانات غير المنتظمة، قلل النظام من أخطاء التنبؤ بنسبة تقارب ثلاثين بالمائة مقارنة بالطرق القياسية. ويشير هذا الصمود إلى أن النهج ليس مجرد تحسين نظري، بل هو أداة عملية يمكن أن تعمل مع البيانات غير الكاملة وغير المتزامنة الموجودة في التطبيقات الفعلية.

تضمن جزء حاسم من الدراسة فهم كيفية اتخاذ النظام لقراراته. وجد الباحثون أن النظام قام بتجميع أنواع متشابهة من اتجاهات البيانات معاً بشكل طبيعي. فعلى سبيل المثال، عندما طُلب من النظام التنبؤ بمستقبل مجموعة بيانات تظهر اتجاهاً تصاعدياً قوياً، اعتمد باستمرار على جزء محدد من منطقه الداخلي. وعندما كان الاتجاه تنازلياً، انتقل إلى جزء مختلف. يشير هذا السلوك إلى أن النظام لا يقوم بمجرد التخمين؛ بل يتعلم التخصص، حيث يخصص "خبراء" مختلفين داخل عقله للتعامل مع أنواع مختلفة من السيناريوهات المستقبلية. علاوة على ذلك، أظهرت الدراسة أن جودة النص مهمة؛ فعندما غذي الباحثون النظام بنصوص مشوشة أو غير ذات صلة، انخفض أداء النظام بشكل طفيف فقط، مما يثبت قدرته على تصفية الضجيج والتركيز على الإشارة.

تتحدى هذه النت actually الفكرة السائدة بأن أفضل طريقة لدمج النصوص والأرقام هي صهرهم في تمثيل واحد موحد. فقد حاولت المحاولات السابقة غالباً ترجمة النص إلى رمز رقمي يمكن خلطه مباشرة مع بيانات السلسلة الزمنية، وهي عملية غالباً ما أدت إلى تمييع معنى النص. يرفض النهج الجديد هذا الاندماج لصالح التفاعل الموجه. ومن خلال إبقاء النص كمصدر للاستدلال السببي والأرقام كموضوع للتنبؤ، يحافظ النظام على نقاط القوة الفريدة لكل منهما. وقد أثبت الباحثون أن هذه الطريقة تعمل عبر مجموعة واسعة من المجالات، من تتبع حالات الإنفلونزا إلى التنبؤ بحجم حركة المرور، مما يشير إلى أن القدرة على قراءة النصوص والاستدلال منها هي ميزة عالمية للتنبؤ.

في النهاية، يقدم هذا العمل مساراً أوضح للمستقبل في تحليل السلاسل الزمنية باستخدام الذكاء الاصطناعي. فهو يوضح أن مستقبل التنبؤ قد لا يكمن في بناء نماذج أكبر وأكثر تعقيداً تحاول القيام بكل شيء في آن واحد، بل في تصميم أنظمة تعرف كيف تستمع إلى أنواع مختلفة من المعلومات. فمن خلال ترك نموذج لغوي يقرأ الأخبار ونموذج تنبؤ يراقب الأرقام، ثم السماح لهما بالعمل معاً، يحقق النظام مستوى من الدقة والقدرة على التكيف لا يمكن لأي منهما الوصول إليه بمفرده. وتشير النتائج إلى أنه لأي شخص يحاول التنبؤ بمستقبل الأنظمة المعقدة، فإن القصة وراء الأرقام لا تقل أهمية عن الأرقام نفسها.