GS-FUSE: Granger-Supervised Gated Fusion and Multi-Granularity Alignment for Event-Driven Financial Forecasting

ملخص تقني: GS-Fuse

بيان المشكلة

يعد التنبؤ الدقيق بتأثير الأحداث المالية البارزة (مثل الإصدارات الاقتصادية الكلية، أو قرارات السياسة النقدية) على أسعار الأصول أمراً بالغ الأهمية للمستثمرين وصناع السياسات. وبينما أدت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) ونماذج التأسيس للسلاسل الزمنية (Time-Series Foundation Models) إلى تحسين التنبؤ أحادي النمط، إلا أن النهج متعدد الأنماط الحالية للتنبؤ المعتمد على الأحداث تواجه ثلاث قيود رئيسية:

1. الدمج غير المتغير للأحداث (Event-Invariant Fusion): تدمج الطرق الحالية النصوص وبيانات الأسعار بشكل متماثل باستخدام طبقات مشتركة، مفترضةً وجود توازن مستقر بين الأنماط. وهذا يفشل في التكيف مع الطبيعة غير المتجانسة للأسواق المالية، حيث تُقاد بعض الأحداث بالمشاعر (Sentiment) بينما تتبع أحداث أخرى أنماطاً فنية مسبقة.
2. الافتقار إلى الدمج المدرك للسببية (Lack of Causal-Aware Fusion): تفتقر النماذج الحالية إلى آليات صريحة لتحديد متى توفر النصوص الخاصة بالأحداث قيمة تنبؤية إضافية تتجاوز الأسعار التاريخية. فهي غالباً ما تدمج الأنماط بشكل متماثل، مما يؤدي إلى خطر الإفراط في استخدام النصوص الضوضائية أو غير المعلوماتية.
3. المحاذاة خشنة الحبيبات (Coarse-Grained Alignment): تعمل آليات المحاذاة القياسية على مستوى الحالة (تمثيل الحدث العالمي مقابل تمثيل السلسلة الزمنية العالمي). وهذا يتجاهل حقيقة أن فقرات محددة فقط في الإصدارات المالية (مثل التوجيهات المستقبلية في بيانات الفيدرالي الأمريكي FOMC) هي التي تقود ردود فعل السوق، مما يؤدي إلى تمييع الإشارات من المحتوى غير ذي الصلة.

المنهجية

يقترح المؤلفون GS-Fuse، وهو إطار عمل متعدد الأنماط مصمم لمعالجة هذه القيود من خلال آلية دمج بوابية مدركة للسببية وخاضعة لإشراف "جرانجر" (Granger-supervised)، ومحاذاة متعددة الحبيبات. يتكون الهيكل من أربعة مكونات رئيسية:

1. المشفرات (Encoders)

• مشفر النصوص (Text Encoder): يستخدم نموذج لغوي كبير مدرب مسبقاً (مثل LLaMA أو Phi-3) لتشفير نصوص الأحداث ($E_i$) إلى تمثيلات على مستوى الرمز (token-level)، والتي يتم إسقاطها في مساحة تضمين مشتركة.
• مشفر السلاسل الزمنية (Time-Series Encoder): يستخدم نموذج تأسيسي للسلاسل الزمنية مدرب مسبقاً (مثل MOMENT أو Kronos) لتشفيد مقاطع السوق ما قبل الحدث ($X_i$) إلى تمثيلات خطوة بخطوة (step-wise).
• استراتيجية التجميد (Freezing Strategy): تظل النماذج الأساسية (LLM ونماذج السلاسل الزمنية) مجمدة؛ ويتم تدريب رؤوس الإسقاط والوحدات اللاحقة فقط.

2. المحاذاة متعددة الحبيبات عبر الأنماط (Multi-Granularity Cross-Modal Alignment)

لسد الفجوة بين الأنماط، يفرض GS-Fuse المحاذاة على مستويين:

• المحاذاة العالمية على مستوى الحالة (Instance-Level Global Alignment): يستخدم الانتباه المتبادل ثنائي الاتجاه لدمج تمثيلات الرموز والخطوات، يليه فقد "إنفو نسي" (InfoNCE) التبايني لمحاذاة تمثيلات الحدث العالمي والسلسلة الزمنية.
• المحاذاة الدقيقة على مستوى الرمز/الخطوة (Token/Step Fine-Grained Alignment): تقوم بمحاذاة رموز نصية فردية مع خطوات زمنية محددة. يحدد مقياس البروز (salience scorer) أفضل-$K$ من الرموز "المرتكزة" (anchor tokens)، وتشجع خسارة تباينية هذه الرموز البارزة على المحاذاة مع الأنماط الزمنية المقابلة لها مع طرد الخطوات غير المرتبطة من الحالات الأخرى.

3. البوابة السببية الخاضعة لإشراف جرانجر (Granger-Supervised Causal Gating)

هذا هو الابتكار الجوهري. يستخدم النموذج آلية بوابة تقرر ما إذا كان سيتم دمج نص الحدث بناءً على فائدته التنبؤية الإضافية:

• إشارة فائدة جرانجر (Granger Utility Signal): أثناء التدريب، يقارن النموذج بين متنبئ "مقيد" (باستخدام بيانات السلالة الزمنية فقط، $\hat{Y}_{ts}$) ومتنبئ "غير مقيد" (باستخدام النصوص والسلاسل الزمنية معاً، $\hat{Y}_{full}$).
• الإشراف (Supervision): يعمل فرق الفقد ($\Delta_i = \ell(Y_i, \hat{Y}_{ts}) - \ell(Y_i, \hat{Y}_{full})$) كوسيط لسببية جرانجر. إذا أدى دمج النص إلى تقليل خطأ التنبؤ، يُعتبر النص مفيداً.
• تدريب البوابة (Gate Training): تتنبأ شبكة البوابة بدرجة انفتاح عددية ($\alpha_i$) لكل حالة. يتم الإشراف على هذا الدرجة عبر فقد استخلاص (distillation loss) لمطابقة هدف "مسؤولية" ناعم ($r_i$) مشتق من فائدة جرانجر. تفتح البوابة ($\alpha_i \approx 1$) فقط عندما يوفر النص قيمة قابلة للقياس وتغلق بخلاف ذلك.

4. فك التشفير (Decoder)

يأخذ فك تشفير "ترانسفورمر" خفيف الوزن التمثيل المدمج (الموزون بالبوابة) ويولد مسار السوق المستقبلي عبر أفق التنبؤ $H$.

مخطط التدريب (Training Scheme)

يتم تدريب النموذج في ثلاث مراحل لضمان الاستقرار:

1. التدريب المسبق للسلاسل الزمنية فقط (TS-only Pre-training): تدريب فرع السلاسل الزمنية لإنشاء خط أساس قوي.
2. الإحماء للنصوص فقط (Text-only Warm-up): تدريب فرع النصوص لضمان أن تمثيلات الأحداث ذات صلة بالتنبؤ.
3. الضبط الدقيق متعدد الأنماط (Multimodal Fine-tuning): تدريب وحدة الدمج والمحاذاة بشكل مشترك مع هدف مشترك يتكون من فقد التنبؤ، وفقد المحاذاة، وإشراف البوابة.

المساهمات الرئيسية

1. الدمج البوابي الخاضع لإشراف جرانجر: وحدة مبتكرة تتعلم اختيار الثقة في نص الحدث فقط عندما يوفر قيمة تنبؤية إضافية تتجاوز الأسعار التاريخية، مما ينمذج بفعالية الاتجاه السببي من الحدث إلى السعر.
2. المحاذاة متعددة الحبيبات: مخطط محاذاة مشترك يعمل على كل من مستوى الحالة ومستوى الرمز/الخطوة الدقيق، مما يسم يسمح للنموذج بتحديد الإشارات النصية المحددة التي تقود ردود فعل السوق.
3. إطار عمل قابل للتركيب والتشغيل (Plug-and-Play): محول مستقل عن النموذج يمكنه تغليف أي نماذج لغوية كبيرة ونماذج تأسيسية للسلاسل الزمنية، مما يجعله مرناً عبر مختلف الركائز والأسواق.

النتائج التجريبية

قام المؤلفون بتقييم GS-Fuse على مجموعة بيانات منسقة تدمج الإصدارات الاقتصادية الكلية (CAMEF) والأخبار المالية (FNSPID) مقابل خمسة أصول (S&P500, NASDAQ, INDU, USGG1M, USGG5YR) عبر ثلاثة آفاق تنبؤ ($H \in \{35, 70, 140\}$ خطوة مدتها 5 دقائق).

• الأداء: تفوق GS-Fuse باستمرار على النماذج أحادية النمط المتقدمة (ARIMA, DLinear, iTransformer, FEDformer) والنماذج متعددة الأنماط المتقدمة (GPT4MTS, TimeCMA, TEST). حقق أدنى قيم لـ MSE و MAE عبر جميع الأصول والآفاق.
• دراسات الاستئصال (Ablation Studies): أدى إزالة بوابة جرانجر أو المحاذاة متعددة الحبيبات إلى انخفاض كبير في الأداء، مما يؤكد أن كلا المكونين ضروريان ومتكاملان.
• عمومية الركيزة (Backbone Generality): أظهر الإطار متانة عبر تركيبات مختلفة من LLM (مثل LLaMA مقابل Phi) ونماذج السلالة الزمنية (MOMENT مقابل Kronos)، رغم أن بعض الاقترانات أعطت اختلافات طفيفة في الأداء.
• التحليل السببي: بلغ متوسط انفتاح البوابة حوالي 51% لمؤشرات الأسهم ولكنه كان أعلى (60.68%) لعوائد الخزانة، مما يشير إلى أن النموذج يعدل اعتماده على النص ديناميكياً بناءً على فئة الأصل وفائدة سرد الحدث المحددة.

الأهمية والادعاءات

يدعي البحث أن GS-Fuse يعالج العيب الجوهري في التنبؤ متعدد الأنماط الحالي: وهو افتراض أن البيانات النصية وأسعار السوق يجب دائماً أن تُدمج بشكل متماثل. من خلال تقديم بوابة خاضعة لإشراف جرانجر، يتعلم النموذج صراحةً الاعتماد الشرطي للأسعار على نص الحدث، متجنباً ضوضاء السردات غير المعلوماتية. كما تضمن المحاذاة متعددة الحبيبات أن يركز النموذج على الأجزاء المحددة من نص الحدث التي تقود تحركات السوق.

يضع المؤلفون GS-Fuse ليس فقط كتحسين في الأداء، بل كتحول منهجي نحو دمج متعدد الأنماط مدرك للسببية وتكيفي. ويُقدم الإطار كحل مرن وقابل للتركيب والتشغيل يمكن استخدامه مع مختلف النماذج التأسيسية، مما يوفر نهجاً قوياً للتنبؤ المالي المعتمد على الأحداث حيث تكون القيمة التنبؤية للمعلومات غير متجانسة وغير مستقرة.