FinAnchor: Aligned Multi-Model Representations for Financial Prediction

إليك ملخص تقني مفصل لورقة البحث بعنوان "FinAnchor: تمثيلات متعددة النماذج متوافقة للتنبؤ المالي".

1. بيان المشكلة

يواجه التنبؤ المالي من الوثائق طويلة التنسيق (مثل محاضر مكالمات الأرباح، والتقارير التنظيمية، واتصالات البنوك المركزية) تحديين رئيسيين:

• ندرة الإشارات والضجيج: غالبًا ما تكون الإشارات المالية القابلة للتنفيذ دقيقة ومدفونة داخل نصوص مطولة من النصوص النمطية المتكررة، والأنماط المتكررة، والضجيج.
• عدم استقرار التمثيل: تمتلك نماذج اللغات الكبيرة (LLMs) المختلفة انحيازات استقرائية متميزة. فعند معالجة نفس الوثيقة المالية، قد تتوجه هذه النماذج إلى مساحات أدلة مختلفة، مما يؤدي إلى مبررات متباينة وتنبؤات غير متسقة. إن مجرد حساب متوسط التضمينات (embeddings) من نماذج مختلفة هو أمر غير محدد بدقة لأنها توجد في فضاءات سمات غير متوافقة (أنظمة إحداثيات مختلفة).

السؤال الجوهري الذي تعالجه الورقة هو: كيف يمكننا دمج تمثيلات نماذج اللغات الكبيرة المتباينة بشكل منهجي للاستفادة من الأدلة المتكاملة دون الحاجة إلى ضبط دقيق (fine-tuning) للنماذج الأساسية، وبالتالي تحقيق تنبؤات مالية قوية ومستقرة؟

2. المنهجية: إطار عمل FinAnchor

يقترح المؤلفون إطار عمل FinAnchor (التمثيلات المالية المرتكزة - Financial Anchored Representations)، وهو إطار عمل خفيف الوزن يعمل على محاذاة وتجميع تضمينات من عدة نماذج لغات كبيرة مجمدة دون ضبط دقيق للنماذج الأساسية.

أ. المكونات الأساسية

1. اختيار المرتكز (Anchor Selection): يتم اختيار نموذج لغات كبير واحد ليكون "المرتكز" (مثل Gemma-2-9B). يعمل فضاء التضمين الخاص به كنظام إحداثيات مشترك.
2. المحاذاة الخطية (Linear Alignment): بالنسبة لكل نموذج "مصدر" (Source) آخر، يتم تعلم خريطة خطية خفيفة الوزن (انحدار ريج - Ridge Regression) لإسقاط تضميناته في فضاء المرتكز.
   • التدريب: يتم تعلم مصفوفة الخريطة $W_m$ فقط على مجموعة التقسيم التدريبي باستخدام تضمينات المصدر ($X^{(m)}$) وتضمينات المرتكز ($X^{(a)}$).
   • الهدف: تقليل خطأ إعادة البناء مع تنظيم L2:
     $$W_m = \arg \min_{W} \| \tilde{X}^{(m)}W - \tilde{X}^{(a)} \|_F^2 + \alpha \|W\|_F^2$$
   • الاستدلال: يتم إسقاط تضمينات المصدر عبر $W_m$ للحصول على تمثيلات محاذية $\hat{x}^{(m \to a)}$.
3. التجميع (Aggregation): بمجرد وضع جميع التمثيلات في نفس نظام الإحداثيات، يتم تجميعها باستخدام عامل ثابت (على سبيل المثال، متوسط تمثيل المرتكز مع التمثيلات المحاذية للمصادر).
4. القراءة الخفيفة (Lightweight Readout): يتم تدريب مصنف صغير (مثل Perceptron متعدد الطبقات - MLP) فوق التمثيل المجمع لإجراء التنبؤ النهائي.

ب. مبادئ التصميم الرئيسية

• لا يوجد ضبط دقيق (No Fine-Tuning): تظل نماذج اللغات الكبيرة الأساسية مجمدة، مما يحافظ على معرفتها المسبقة ويقلل التكاليف الحسابية.
• القابلية للتدقيق (Auditability): خرائط المحاذاة الخطية شفافة وقابلة للتفسير.
• التقسيم الزمني (Time-Based Splitting): لضمان تقييم واقعي للتعميم خارج الوقت، يتم تقسيم مجموعات البيانات زمنياً بدلاً من التقسيم العشوائي.

3. الإعداد التجريبي

• المهام:
  1. التنبؤ بمفاجآت الأرباح: تصنيف ثنائي على مكالمات المؤتمرات، وتقارير 10-Q، وأخبار ناسداك.
  2. التنبؤ بحركة الأسهم: تصنيف ثنائي لاتجاه سعر السهم في اليوم التالي بناءً على محاضر مكالمات الأرباح.
  3. تصنيف موقف الفيدرالي (FOMC): تصنيف ثلاثي الاتجاه (حمائمي، صقوري، محايد) لاتصالات لجنة السوق المفتوحة الاتحادية.
• النماذج المرجعية (Baselines):
  • نماذج اللغات الكبيرة (Zero-shot و Few-shot prompting) (Gemma 3).
  • نماذج الوثائق الطويلة المضبوطة بدقة (Longformer، Hierarchical FinBERT).
  • تمثيلات نموذج لغات كبير واحد (باستخدام نفس بنية القراءة الخاصة بـ FinAnchor ولكن بدون محاذاة متعددة النماذج).
• النماذج المستخدمة: Gemma-2-9B (المرتكز)، Llama-3.1-8B، و Qwen3-8B (المصادر).

4. النتائج الرئيسية

تفوق FinAnchor باستمرار على جميع النماذج المرجعية عبر جميع خمس مجموعات بيانات ومهام.

• مكاسب الأداء:
  • مهام الأرباح والنصوص: حقق أعلى درجات الدقة (Accuracy) ومقياس F1 على مكالمات المؤتمرات، وتقارير 10-Q، وأخبار ناسداك (FNSPID)، متفوقاً على أقوى نموذج مرجعي لنموذج لغات كبير واحد (Gemma-2) بفوارق واضحة (على سبيل المثال، +1.7% في الدقة على مكالمات المؤتمرات).
  • المهام الصعبة: حتى في المهام الصعبة مثل حركة الأسهم وموقف الفيدرالي (حيث تكون الإشارات أضعف)، حقق FinAnchor أفضل النتائج (على سبيل المثال، 0.599 دقة مقابل 0.578 لـ Llama-3.1).
• المقارنة:
  • تفوق على الطرق القائمة على التلقين (Zero/Few-shot) بشكل كبير، خاصة في الوثائق الطويلة.
  • تجاوز المشفرات التقليدية المضبوطة بدقة (Longformer, FinBERT) ونماذج اللغات الكبيرة أحادية النموذج.

5. التحليل والتفسير

تقدم الورقة تحليلاً صارماً لإثبات أن المكاسب مدفوعة بإشارة منظمة وليس بالضجيج:

• تداخل الأخطاء (Error Overlap): ترتكب النماذج المختلفة أخطاءً مختلفة (تداخل الخطأ الزوجي هو ~0.78–0.84، وليس 1.0). هذا النمط غير المتطابق للفشل يسمح للمحاذاة بتصحيح نقاط ضعف النماذج المحددة.
• تحولات القرار (Decision Transitions): تقوم عملية المحاذاة تحديداً بتحويل الإيجابيات الكاذبة إلى سلبيات حقيقية (FP $\to$ TN). في السياقات المالية، هذا أمر بالغ الأهمية حيث يقلل من إشارات "الشراء" الزائفة في الأيام التي تشهد تراجعاً بالفعل، مما يحسن التحكم في المخاطر.
• تحولات الثقة (Confidence Shifts): في الحالات المصححة، يمنح FinAnchor احتمالية أعلى بكثير للعلامة الصحيحة مقارنة بنموذج المرتكز المنفرد، مما يشير إلى زيادة حقيقية في الثقة وليس مجرد انحراف عشوائي.
• دراسة حالة (إعادة وزن الأدلة):
  • في مثال محدد لمكالمة أرباح توقع فيها نموذج Gemma وحده "عائداً إيجابياً" (إيجابي كاذب)، قام FinAnchor بتصحيحه إلى "سلبي".
  • الآلية: قامت المحاذاة الخطية بتضخيم تأثير الإشارات المالية الهبوطية (مثل "انكماش الهوامش"، "تراكم المخزون") التي كانت موجودة في النص ولكن تم وزنها بشكل ضعيف بواسطة نموذج المرتكز وحده. نجحت المحاذاة الخطية في إعادة وزن هذه الإشارات المتكاملة.

6. الأهمية والمساهمات

• إطار عمل مبتكر: يقدم طريقة بسيطة وقابلة للنشر لتوحيد تمثيلات نماذج اللغات الكبيرة المتباينة عبر المحاذاة الخطية، متجنباً تعقيدات الضبط الدقيق أو تعلم التجميع المعقد.
• القوة والمتانة: يثبت أن دمج النماذج المجمدة عبر مساحة مرتكزة يعطي تنبؤات مالية أكثر استقراراً ودقة من الاعتماد على نموذج واحد، حتى في السيناريوهات الصاخبة والوثائق الطويلة.
• المنفعة العملية: الطريقة فعالة حسابياً (يتم تدريب الخرائط الخطية فقط والقراءة الصغيرة) وتوفر قابلية للتفسير، مما يسمح للممارسين بفهم لماذا تغير التنبؤ (على سبيل المثال، عبر تحولات الثقة وإعادة وزن الأدلة).
• إدارة المخاطر: من خلال تقليل الإيجابيات الكاذبة (إشارات الشراء الزائفة) تحديداً، يقدم الإطار قيمة ملموسة لإدارة المخاطر في التداول المالي.

7. القيود

• النطاق: تقتقت التجارب على النصوص الإنجليزية المالية ومجموعة محددة من النماذج الأساسية.
• المعلمات الفائقة (Hyperparameters): يفرض النهج خيارات تتعلق بقوة المحاذاة واستراتيجيات التجميع، مما يتطلب مزيداً من تحليل الحساسية من أجل اعتماد أوسع.
• التعميم: تحتاج النتائج إلى التحقق من صحتها عبر نطاق أوسع من اللغات والمجالات غير المالية.