🤖 machine learning

Falcon-X: A Time Series Foundation Model for Heterogeneous Multivariate Modeling

يُعد Falcon-X نموذجاً تأسيسياً جديداً للسلاسل الزمنية يعالج أوجه القصور في النهج أحادي المتغير والنهج المعتمد على الفضاء الخام من خلال فك ارتباط المتغيرات إلى فضاء نماذج أولية كامن موحد، واستخدام آلية "الاهتمام التفاضلي" (Diff-Attention) لمحاذاة الكميات غير المتجانسة والتقاط التفاعلات المعقدة، وتوظيف "موجه إعادة تجميع المتغيرات" (Variate Reassembly Router) لتحقيق أداء فائق في التنبؤ متعدد المتغيرات.

المؤلفون الأصليون: Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yiding Liu, Yifan Hu, Hongjie Xia, Peiyuan Liu, Hongzhou Chen, Xilin Dai, Zewei Dong, Jiang-Ming Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بمستقبل نظام معقد، مثل الطقس، أو سوق الأسهم، أو تدفق حركة المرور. هذه الأنظمة تحتوي على العديد من الأجزاء المتحركة المختلفة (المتغيرات) التي تتواصل مع بعضها البعض. أحياناً، عندما يرتفع شيء ما، يرتفع شيء آخر معه (التآزر/Synergy). وفي أحيان أخرى، عندما يرتفع شيء ما، ينخفض الآخر (التضاد/Antagonism).

لفترة طويلة، واجهت النماذج الحاسوبية التي تحاول التنبؤ بهذه المستقبلات مشكلتين كبيرتين:

"حاجز اللغة": حاولت هذه النماذج خلط أنواع مختلفة من البيانات (مثل درجة الحرارة وسرعة حركة المرور) مباشرة معاً، وهو أمر يشبه محاولة خلط التفاح والبرتقال في خلاط وتوقع الحصول على عصير سلس. يصاب الحاسوب بالارتباك لأن الوحدات والمعاني مختلفة تماماً.
"نقطة العمى: مقاس واحد يناسب الجميع": معظم النماذج كانت تنظر إلى متغير واحد فقط في كل مرة أو تفترض أن كل شيء يسير في اتجاه ودي. لقد فاتها حقيقة أن بعض المتغيرات تتصارع مع بعضها البعض (ارتباط سلبي) بينما يعمل البعض الآخر معاً.

هنا يأيد Falcon-X، وهو "نموذج تأسيسي جديد للسلاسل الزمنية". فكر فيه كأنه مترجم ومايسترو فائق الذكاء لهذه الأنظمة الفوضوية. إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. "المترجم العالمي" (فضاء النماذج الأولية الكامن - Latent Prototype Space)

بدلاً من إجبار الحاسوب على مقارنة البيانات الخام (مثل "100 درجة مئوية" مقابل "50 سيارة")، يقوم Falcon-X أولاً بترجمة كل شيء إلى لغة عالمية سرية تسمى فضاء النماذج الأولية الكامن.

التشبيه: تخيل غرفة مليئة بأشخاص يتحدثون لغات مختلفة (الإنجليزية، الماندرين، الإسبانية، إلخ). بدلاً من محاولة جعلهم يتحدثون مباشرة مع بعضهم البعض، لديك مجموعة من المترجمين الخبراء (النماذج الأولية/Prototypes). الجميع يتحدث إلى المترجمين، الذين يفهمون "المعنى" وراء الكلمات، وليس مجرد اللغة المحددة.
لماذا يساعد هذا: هذا يحل "حاجز اللغة". لا يهم إذا كانت بياناتك عن الكهرباء أو حركة المرور؛ يقوم Falcon-X بترجمتها إلى نفس "المعنى" حتى يتمكنوا من فهم بعضهم البعض حقاً.

2. "عدسة الرؤية المزدوجة" (آلية الانتباه التفاضلي - Diff-Attention)

معظم نماذج الذكاء الاصطناعي تشبه كاميرا لا ترى إلا الأشياء الإيجابية. إذا تحرك شيئان معاً، تقول الكاميرا "جيد!". وإذا ابتعدا عن بعضهما، تصاب الكاميرا بالارتباك أو تتجاهل الأمر.

يمتلك Falcon-X آلية Diff-Attention خاصة. يستخدم عدستين:

عدسة التآزر (Synergy Lens): تبحث عن الأشياء التي تساعد بعضها البعض (مثل المطر والمظلات).
عدسة التضاد (Antagonism Lens): تبحث عن الأشياء التي تتصارع مع بعضها البعض (مثل السعر والطلب).
التشبيه: تخيل قاضياً في قاعة المحكمة. بدلاً من الاستماع فقط إلى الجانب "المؤيد"، لدى هذا القاضي قدرة خاصة على سماع كل من الحجج "المؤيدة" و"المعارضة" في آن واحد ووزنها مقابل بعضها البعض. هذا يسمح للنموذج بفهم العلاقات المعقدة حيث يدفع أحد المتغيرات المتغير الآخر في الاتجاه المعاكس.

3. "الموزع الذكي" (موجه إعادة تجميع المتغيرات - Variate Reassembly Router)

بعد أن يقوم المترجمون بعملهم، ويقوم القاضي بوزن الحجج، يحتاج النموذج إلى تحويل المعنى العالمي مرة أخرى إلى تنبؤات محددة لبياناتك الأصلية (على سبيل المثال: "ماذا ستكون درجة الحرارة؟").

التشبيه: فكر في مطبخ مطعم مزدحم. يقوم الطاهي (النموذج) بإعداد حساء ضخم ومثالي (الفهم العالمي). لكنك طلبت نوعاً معيناً من الحساء، وصديقك طلب سلطة. الـ Router هو النادل الذي يعرف بالضبط أي المكونات من ذلك الحساء الضخم تنتمي لحسائك وأيها تنتمي لسلطة صديقك. إنه لا يسكب الوعاء بأكمله في طبقك؛ بل يختار ويجمع الأجزاء الصحيحة لكل طبق محدد بعناقة.
لماذا يساعد هذا: يضمن ذلك أنه حتى لو تعلم النموذج من مزيج من أنظمة مختلفة تماماً، فإنه لا يزال بإمكانه إعطاؤك إجابة دقيقة لنظامك الخاص دون خلط التفاصيل.

النتائج

اختبر المؤلفون Falcon-X على مجموعات ضخمة من البيانات الواقعية (مثل الطقس، شبكات الطاقة، والمبيعات).

النتيجة: تفوق على جميع النماذج الأفضل السابقة (مثل Chronos-2 و Moirai) من حيث الدقة.
القوة الخارقة "صفرية المعرفة" (Zero-Shot): نظرًا لأنه تعلم هذه "اللغة العالمية"، يمكنه التنبؤ بأشياء لم يسبق له رؤيتها من قبل. إذا عرضت عليه مجموعة بيانات جديدة لم يتدرب عليها، فلا يزال بإمكانه تقديم تخمينات جيدة لأنه يفهم الأنماط الأساسية، وليس مجرد الأرقام المحددة.

باختصار

Falcon-X يشبه أخذ غرفة فوضوية من الناس يتحدثون لغات مختلفة، ويتصارعون، ويتعاونون. يرسلهم إلى مجموعة من المترجمين الذين يترجمون كل شيء إلى لغة مشتركة، ويسمح لقاضٍ بوزن العلاقات الودية والعدائية، ثم يرسل نادلاً ذكياً للعودة لخدمة كل شخص بما يحتاجه بالضبط. والنتيجة هي صورة أكثر وضوحاً ودقة لما سيحدث بعد ذلك.

ملخص تقني: Falcon-X

بيان المشكلة

تعيد نماذج التأسيس للسلاسل الزمنية (TSFMs) تشكيل التنبؤ من خلال الاستففادة من التدريب المسبق واسع النطاق عبر المجالات المختلفة. ومع ذلك، تواجه نماذج TSFMs الحالية قيدين جوهريين عند التعامل مع البيانات متعددة المتغيرات غير المتجانسة:

عدم المحاذاة الدلالية (Semantic Misalignment): تعمل معظم النماذج مباشرة في فضاء المتغيرات الخام. وعند خلط كميات فيزيائية غير متجانسة (مثل درجة الحرارة مقابل حجم حركة المرور) من مجموعات بيانات مختلفة، تفشل آليات الانتباه الجماعي القياسية في محاذاة دلالاتها المتميزة. يؤدي هذا إلى "الانهيار الدلالي"، حيث يتعلم النموذج ارتباطات زائفة خاصة بمجموعة بيانات معينة بدلاً من البنى الزمنية القابلة للنقل.
محدودية التعبير العلاقاتي (Limited Relational Expressivity): تُظهر الأنظمة الواقعية تفاعلات معقدة، تشمل كلاً من التبعيات التآزرية (الإيجابية) والتضادية (السلبية). تعتمد آليات الانتباه القياسية، التي تعتمد على درجات softmax غير السالبة، بشكل أساسي على التأثيرات التجميعية وتكافح لنمذجة الديناميكيات المتعارضة أو العلاقات التضادية بشكل صريح.

غالبًا ما تقوم النهج الحالية بتسطيح السلاسل متعددة المتغيرات أو استخدام الانتباه الجماعي داخل الفضاء الخام، مما يؤدي إما إلى ضعف التوسع مع الأبعاد أو الفشل في فصل الدلالات غير المتجانسة، مما يحد من قدرات النقل الصفري (zero-shot transfer).

المنهجية: Falcon-X

Falcon-X هو نموذج تأسيسي يعتمد على المشفر فقط (591 مليون معلمة) مصمم لفصل المتغيرات الفيزيائية عن فضاء التفاعل. يقدم نموذج "فضاء النماذج الأولية الموحد الكامن" (Unified Latent Prototype Space)، والذي يتكون من أربع مراحل رئيسية:

1. المعالجة المسبقة والترميز (Pre-processing and Tokenization)

التطبيع (Normalization): تخضع المدخلات لتحويل arcsine باستخدام المتوسط والانحراف المعياري لكل حالة، ويتم حسابها فقط من القيم المرصودة للحفاظ على المدخلات المفقودة.
الترميز (Tokenization): يتم تعزيز التسلسل بطوابع زمنية نسبية وقناع ملاحظة ثنائي. ثم يتم تقسيم التسلسل إلى رقع (patches) غير متداخلة وإسقاطها في بُعد مخفي عبر آلية ترميز رقع متبقية (residual patch embedding).

2. انتباه الوقت (Time Attention)

يستخدم Falcon-X بنية Transformer تعتمد على المشفر فقط لالتقاط الأنماط الزمنية الجوهرية أولاً. يتم تطبيق $n$ من طبقات "انتباه الوقت" بشكل مستقل على كل متغير على طول البعد الزمني. يضمن ذلك استخلاص الديناميكيات الزمنية القوية قبل حدوث أي تداخل عبر المتغيرات، مما يمنع التشابك الدلالي المبكر.

3. انتباه المتغيرات (Variate Attention - الابتكار الجوهري)

تجسر هذه المرحلة الفجوة بين المدخلات غير المتجانسة والتمثيل الموحد:

انتباه النموذج الأولي التفاضلي الموحد (UPDA): بدلاً من خلط المتغيرات الخام، يقوم Falcon-X بإسقاطها في فضاء نماذج أولية كامنة ثابت الأبعاد ( $C$ $C$ ). يستخدم آلية "الانتباه التفاضلي" مع مصفوفتي مفتاح قابلتين للتعلم: $K_{pos}$ $K_{p os}$ (التآزري) و $K_{neg}$ $K_{n e g}$ (التضادي).
- يحسب النموذج درجات الانتباه مقابل كلا المفتاحين: $A_{pos} = \text{softmax}(QK_{pos}^T)$ و $A_{neg} = \text{softmax}(QK_{neg}^T)$ .
- يتم اشتقاق التمثيل الموحد عن طريق تجميع القيم بناءً على الدرجة التفاضلية: $H_C = (A_{pos} - \lambda A_{neg})^T V$ .
- يعمل فقد التعامد (orthogonality loss) على تقييد $K_{pos}$ و $K_{neg}$ لضمان التميز الدلالي. يسمح هذا للنموذج بالتقاط الألفة الإيجابية والسلبية صراحةً.
انتباه الكيان الكامن (LEA): بمجرد المحاذاة في فضاء النموذج الأولي المشترك، يتم إجراء تفاعلات عالمية عبر المتغيرات عبر "الانتباه متعدد الرؤوس" القياسي. ولأن جميع الكيانات تقيم في نفس الفضاء الدلالي المستقل عن الأبعاد، فإن هذا يسهل النقل الصفري السلس عبر مجموعات البيانات ذات أعداد المتغيرات والمعاني الفيزيائية المختلفة.
موجه إعادة تجميع المتغيرات (VR_Reassembly Router - VRR): لإعادة بناء مسارات محددة، تُستخدم آلية طلب وإرسال. يتم مطابقة طلب التوجيه ( $R_{req}$ $R_{r e q}$ ) من التضمين الزمني الأصلي مع فهرس النموذج الأولي ( $P_{idx}$ $P_{i d x}$ ) لاسترجاع الحمولات الدلالية ذات الصلة من السياق المصدر ( $S_{ctx}$ $S_{c t x}$ ).
- يقوم المخرج النهائي بدمج التضمينات الزمنية الأصلية مع التمثيلات المعاد تجميعها عبر المتغيرات عبر اتصال متبقي بوابي (gated residual connection): $\hat{H} = H_T + G(H_T) \odot H_V$ . تنظم هذه البوابة ديناميكيًا عملية الدمج، مما يمنع التداخل الدلالي في الأنظمة ضعيفة الارتباط بينما تستفيد من التبعيات في الأنظمة قوية الارتباط.

4. رأس التنبؤ (Forecasting Head)

يتبنى النموذج نموذج تنبؤ احتمالي، حيث يتنبأ بالتوزيعات المستقبلية عبر مجموعة من المئينات (quantiles) باستخدام "فقد المئينات" (Quantile Loss).

المساهمات الرئيسية

نموذج جديد للمتغيرات غير المتجانسة: ينتقل Falcon-X من الخلط في الفضاء الخام إلى فضاء نماذج أولية كامن موحد. يخلق هذا نظام إحداثيات عالمي يحل النزاعات الدلالية عبر مجموعات البيانات، مما يتيح نقلاً مبدئيًا للمعرفة الصفرية.
ابتكار معماري:
- انتباه النموذج الأولي التفاضلي: ينمذج صراحةً الديناميكيات التآزرية والتضادية، متجاوزًا قيود الانتباه غير السالب.
- موجه إعادة تجميع المتغيرات: آلية بوابية تدمج السياق العالمي مع الإشارات الزمنية المحلية بشكل تكيفي، مما يضمن القوة عبر مستويات التبعية المتنوعة.
التميز التجريبي: يُظهر النموذج أداءً رائدًا (state-of-the-art) في الاختبارات الشاملة، مما يثبت قدرته على التكيف الهيكلي.

النتائج التجريبية

تم تقييم Falcon-X على GIFT-Eval و fev-bench، وهما اختباران واسع النطاق يغطيان مجالات متنوعة (الطبيعة، الطاقة، التمويل، الرعاية الصحية، إلخ).

GIFT-Eval: حقق Falcon-X أفضل أداء إجمالي بـ 0.666 MASE و 0.453 CRPS. وقد تفوق على النماذج المرجعية القوية بما في ذلك STRIDE (+1.2% MASE)، و Toto-2.0-FT (+1.9% MASE)، و Timer-S1 (+3.9% MASE). ومن الملاحظ أن ميزته زادت مع آفاق التنبؤ الأطول، حيث حقق أفضل نتائج للمدى المتوسط (0.68 MASE) والمدى الطويل (0.70 MASE).
fev-bench: جاء Falcon-X في مرتبة قريبة جدًا من Chronos-2 (0.652 مقابل 0.645 MASE) مع الاعتماد حصريًا على السلاسل المستهدفة الداخلية، متفوقًا على النماذج الحديثة الأخرى مثل TiRex و Moirai 2.0.
دراسات الاستئصال (Ablation Studies): أدى إزالة مفتاح النموذج الأولي السالب ( $K_{neg}$ ) إلى أكبر انخفاض في الأداء، مما يؤكد ضرورة نمذجة العلاقات التضادية. كما أثبت التدريب المشترك (أحادي المتغير + متعدد المتغيرات) تفوقه على تعلم المنهج ذو المرحلتين.
التوسع (Scaling): يلتزم النموذج بقوان التوسع العصبي، حيث يُظهر تحسينات مستمرة في الأداء مع زيادة عدد المعلمات من 59 مليون إلى 591 مليون.

الأهمية والادعاءات

يزعم البحث أن Falcon-X يقدم نموذجًا مبدئيًا وقابلًا للتوسع للبيئات متعددة المتغيرات المعقدة. من خلال فصل المتغيرات الفيزيائية عن فضاء التفاعل ونمذجة التبعيات المزدوجة (التآزرية والتضادية) صراحةً، فإنه يعالج اختناقات المحاذاة الدلالية والتعبير العلاقاتي التي تواجهها نماذج TSFMs الحالية. ويفترض المؤلفون أن هذا النهج يتيح نقلًا هيكليًا صفريًا قويًا، مما يسمح للنموذج بتعلم أنماط قابلة لإعادة الاستخدام عبر المجالات دون أن يكون مقيدًا بأبعاد المتغيرات الخام. يُقدم هذا العمل كخطوة نحو نماذج تأسيسية أكثر توحيدًا وتعبيرًا للسلاسل الزمنية، مع إتاحة الكود المصدري لدعم الأبحاث المستقبلية.