🤖 AI

Moira: Language-driven Hierarchical Reinforcement Learning for Pair Trading

تقترح الورقة البحثية "مويرا" (Moira)، وهو إطار عمل للتعلم التعزيزي الهرمي القائم على اللغة، يستخدم النماذج اللغوية الكبيرة لكل من اختيار الأزواج عالي المستوى والتنفيذ منخفض المستوى، مع تحسينهما حصرياً من خلال تحديثات الأوامر النصية بناءً على التغذية الراجعة النصية لمعالجة تحديات تخصيص الائتمان في تداول الأزواج.

المؤلفون الأصليون: Polydoros Giannouris, Yuechen Jiang, Lingfei Qian, Yuyan Wang, Xueqing Peng, Jimin Huang, Guojun Xiong, Sophia Ananiadou

نُشر 2026-05-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Polydoros Giannouris, Yuechen Jiang, Lingfei Qian, Yuyan Wang, Xueqing Peng, Jimin Huang, Guojun Xiong, Sophia Ananiadou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير شركة تداول متطورة للغاية، ولكن بدلاً من توظيف فريق من البشر، لديك مساعدان يعملان بالذكاء الاصطناعي متخصصان يعملان معاً. تقدم هذه الورقة نظاماً يسمى Moira يستخدم هذين المساعدين من الذكاء الاصطناعي لجني المال عن طريق تداول أزواج من الأسهم (شراء سهم وبيع آخر في وقت واحد).

إليك كيف يعمل Moira، مشروحاً من خلال تشبيهات بسيطة:

1. المشكلة: "لعبة اللوم"

في أنظمة التداول التقليدية، إذا خسرت مالاً، فغالباً ما يكون الأمر لغزاً. هل اخترت الأسهم الخاطئة لتداولها؟ أم أنك اشتريت وبعت في الأوقات الخاطئة فحسب؟ الأمر يشبه طباخاً يقدم وجبة سيئة ولا يعرف ما إذا كانت المشكلة في الوصفة (الخطة رفيعة المستوى) أم في الطبخ (التنفيذ منخفض المستوى). ولأن التغذية الراجعة (الربح أو الخسارة) تأتي بعد أيام أو أسابوة، فمن الصوّب معرفة من نلوم أو كيف نصلح الأمر.

2. الحل: فريق من مديرين اثنين

يحل Moira هذه المشكلة عن طريق تقسيم العمل إلى دورين متميزين، تماماً كما يوجد في الأعمال التجارية استراتيجي وتكتيكي.

الاستراتيجي (المُختار): هذا هو المدير رفيع المستوى. مهمته الوحيدة هي النظر إلى الصورة الكبيرة - الأخبار الاقتصادية، والاتجاهات طويلة الأمد، ومعنويات السوق - واختيار زوج واحد من الأسهم لتداوله خلال الشهر القادم. بمجرد اختيار الزوج، يتنحى جانباً؛ فهو لا يلمس الأزرار.
التكتيكي (المتداول): هذا هو العامل الميداني. بمجرد أن يختار الاستراتيجي زوجاً (مثل أمازون وميتا)، يتولى التكتيكي المهمة. مهمته هي مراقبة تحركات الأسعار دقيقة بدقيقة، واتخاذ القرار بشأن متى يشتري أو يبيع لتحقيق الربح.

3. السر: "التحدث" من أجل التحسين

عادةً، يتعلم الذكاء الاصطناعي من خلال تعديل معادلات رياضية معقدة (التدرجات). يقوم Moira بشيء مختلف: إنه يتعلم من خلال التحدث إلى نفسه.

كيف يعمل: يعمل كل من الاستراتيجي والتكتيكي بواسطة نماذج لغوية كبيرة (مثل الذكاء الاصطناي الذي يقف وراء هذا الشرح). بدلاً من تغيير رياضياتهم الداخلية، يقوم النظام بتغيير التعليمات (المطالبات/Prompts) المقدمة لهم.
حلقة التغذية الراجعة:
- بالنسبة للتكتيكي: بعد أسبوع من التداول، ينظر "ناقد" (AI) إلى الصفقات التي تمت. ويكتب ملاحظة بلغة إنجليزية بسيطة: "لقد اشتريت مبكراً جداً عندما كانت الأخبار سيئة. في المرة القادوة، انتظر حتى تستقر الأخبار." ثم يقوم النظام بإعادة كتابة دليل تعليمات التكتيكي لتضمين هذه النصيحة.
- بالنسبة للاستراتيجي: في نهاية الشهر، ينظر الناقد إلى إجمالي الربح. ويكتب ملاحظة: "لقد اخترت زوجاً كان متقلباً للغاية. في المرة القادمة، ابحث عن أزواج ذات أخبار أكثر استقراراً." ثم يعيد النظام كتابة دليل تعليمات الاستراتيجي.

4. لماذا هذا أفضل؟

اختبرت الورقة هذا النظام مقابل طرق أخرى (مثل الصيغ الرياضية القديمة ونماذج ذكاء اصطناعي أخرى) باستخدام بيانات حقيقية من سوق الأسهم الأمريكية.

النتيجة: حقق Moira أموالاً أكثر بكثير وتحمل مخاطر أقل من الآخرين.
التشبيه: تخيل ذكاءً اصطناعياً "مسطحاً" يحاول القيام بكل شيء في آن واحد (اختيار الأسهم و توقيت الصفقات). سيصاب بالارتباك، مثل شخص يحاول كتابة رواية بينما يقوم في الوقت نفسه بطبخ العشاء. يقوم Moira بفصل المهام؛ فالاستراتيجي يركز على "القصة" (أي الأسهم)، والتكتيكي يركز على "الحركة" (متى يتداول).
تأثير "الضبط": وجدت الورقة أنه إذا أعطيت الذكاء الاصطناعي تعليمات أساسية فقط دون السماح له بـ "التعلم" من أخطائه عبر تحديثات النصوص هذه، فإنه يؤدي بشكل سيئ. ولكن بمجرد أن يبدأ الذكاء الاصطناعي في إعادة كتابة دليل تعليماته بناءً على التغذية الراجعة، يصبح متداولاً منضبطاً ومربحاً.

ملخص

Moira هو نظام تداول يستخدم اللغة لتعليم الذكاء الاصطناعي كيفية التداول. إنه يفصل مهمة الاختيار (ماذا تتداول) عن مهمة التنفيذ (متى تتداول). ومن خلال جعل الذكاء الاصطناعي "ينتقد" أداءه باللغة الإنجليزية البسيطة ويحدث تعليماته الخاصة، فإنه يتعلم تجنب الأخطاء واقتناص الأرباح بشكل أفضل بكثير من الطرق التقليدية.

الخلاصة الرئيسية: تزعم الورقة أنه من خلال فصل قرار "الصورة الكبيرة" عن "التنفيذ الدقيق" واستخدام اللغة لتحديث قواعد الذكاء الاصطناعي، يمكنك حل المشكلات المالية المعقدة حيث يصعب عادةً تحديد المسؤول عن الخسارة.

ملخص تقني: Moira – التعلم المعزز الهرمي القائم على اللغة للتداول الزوجي

1. صياغة المشكلة

يتناول البحث تحدي اتخاذ القرار المتسلسل في البيئات التي تتميز بـ البنية الهرمية، التغذية الراجعة المتأخرة، وغموض تعيين الائتمان (Credit Assignment). يركز المؤلفون تحديداً على التداول الزوجي (Pair Trading)، وهو مجال مالي يجمع بطبيعته بين مقياسين زمنيين ودلاليين متميزين:

التجريد عالي المستوى (اختيار الزوج): يتطلب استدلالاً دلالياً طويل الأمد لتحديد أزواج الأصول ذات العلاقات الاقتصادية أو الإحصائية المستقرة.
التنفيذ منخفض المستوى (التداول): يتطلب اتخاذ قرار تفاعلي قصير الأمد تحت حالة من الملاحظة الجزئية (ضجيج السوق) لتنفيذ صفقات محايدة للسوق.

تكمن الصعوبة الجوهرية في تعيين الائتمان: عندما تفشل استراتيجية التداول، فمن غير الواضح ما إذا كان الخطأ ناتجاً عن تجريد خاطئ عالي المستوى (اختيار الزوج الخطأ)، أم تنفيذ ضعيف منخفض المستوى (توقيت سيء)، أم التفاعل بينهما. إن التعلم المعزز (RL) التقليدي "نهاية إلى نهاية" يدمج هذه المكونات معاً، مما يجعل من الصعب عزل مصدر الفشل. علاوة على على ذلك، غالباً ما يعتمد التعلم المعزز الهرمي (HRL) القياسي على تجريدات زمنية جامدة أو يفترض توزيعات ضوضاء ثابتة، مما يحد من القدرة على التكيف عند تغير العلاقات الدلالية.

2. المنهجية: إطار عمل Moira

يقترح المؤلفون Moira، وهو إطار عمل للتعلم المعزز الهرمي القائم على اللغة. بدلاً من استخدام الضبط الدقيق القائم على التدرج (Gradient-based fine-tuning) أو البيانات المصنفة من قبل الخبراء، يقوم Moira بتمثيل كل من المختص عالي المستوى والمُنفذ منخفض المستوى كـ نماذج لغوية كبيرة (LLMs) مشروطة بالموجه (Prompt-conditioned). يتم تحسين السياسات حصرياً من خلال تحديثات الموجه المدفوعة بالتغذية الراجعة النصية.

2.1 تصميم السياسة الهرمية

يفصل إطار العمل صراحةً بين اختيار التجريد والتنفيذ، مع مواءمة جداول التكيف الخاصة بهما مع توفر التغذية الراجعة:

المختار عالي المستوى ( $\pi_{sel}$ ): يعمل على مستوى الحلقة (Episode level) (على سبيل المثال، شهرياً). يراقب الإحصاءات السعرية المجمعة والملخصات الدلالية (الأخبار، المشاعر) لاختيار زوج من الأصول $z$ . يظل هذا الاختيار ثابتاً طوال مدة الحلقة.
المتداول منخفض المستوى ( $\pi_{tr}$ ): يعمل على المستوى داخل الحلقة (Intra-episode level) (على سبيل المثال، يومياً/أسبوعياً). بناءً على الزوج الثابت $z$ ، يقوم بتنفيذ إجراءات التداول بناءً على ديناميكيات الفارق السعري (Spread) والميزات السعرية المحلية.

2.2 التحسين عبر تكيف الموجه (Prompt Adaptation)

يستخدم النظام عملية تحسين نصية ثنائية المراحل لكلا المستويين، متجنباً التدرج (Gradient Descent) على أوزان النموذج:

النقد على مستوى المسار (المرحلة 1): يقوم نموذج لغوي كبير "ناقد" (Critic) بتحليل المسار المنفذ (الملاحظات، الإجراءات، المكافآت) ويولد إشارة تغذية راجعة بلغة طبيعية ( $g_{text}$ ). تحدد هذه الإشارة العيوب في قواعد القرار (مثل "الخروج المبكر" أو "تجاهل محفزات الأخبار").
تحديث الموجه (المرحلة 2): يقوم نموذج لغوي كبير "محدث" (Update) بدمج التغذية الراجعة النصية في موجه السياسة الحالي، مولداً موجهًا محدثاً ( $\theta^{(k)}$ ) للحلقة الفرعية أو الحلقة التالية.

التمييز الرئيسي في جداول التكيف:

المتداول: يخضع لتحديثات الموجه داخل الحلقة. فهو يكيف قواعد التنفيذ الخاصة به بناءً على التغذية الراجعة على مستوى المسار بينما يظل سياق الزوج ثابتاً.
المختار: يخضع لتحديثات الموجه على مستوى الحلقة. يتلقى تغذية راجعة متأخرة ومجمعة (العائد التراكمي) بعد انتهاء المتداول من التكيف والتنفيذ للحلقة.

3. المساهمات الرئيسية

اللغة كواجهة دلالية مشتركة: يقدم البحث نهجاً مبتكراً حيث تعمل اللغة كواجهة بين المستويات الهرمية. بخلاف المكافآت الرقمية (Scalar rewards)، تسمح التغذية الراجعة النصية بـ نسب دلالي صريح (Explicit semantic attribution)، مما يميز بين أخطاء التجريد (اختيار زوج سيء) وأخطاء التنفيذ (توقيت سيء).
التحسين الهرمي المدفوع بالموجه: يثبت المؤلفون أن النماذج اللغوية الكبيرة يمكن أن تعمل كسياسات هرمية يتم تحسينها فقط من خلال تحديثات الموجه. يؤدي هذا إلى إحداث فصل طبيعي للمقاييس الزمنية دون الحاجة إلى قيود خوارزمية معقدة أو ضبط دقيق قائم على التدرج.
فك الارتباط بين التجريد والتنفيذ: من خلال تثبيت اختيار الزوج طوال الحلقة مع السماقة للمتداول بالتكيف داخل الحلقة، يقلل الإطار من عدم الاستقرار (Non-stationarity) عبر المستويات ويمكّن التكيف المستهدف تحت التغذية الراجعة المتأخرة.

4. النتائج التجريبية

تم تقييم الإطار على بيانات سوق الأسهم الأمريكية التاريخية (10 أسهم سائلة) من يناير إلى يونيو 2025.

4.1 مقارنة الأداء

تفوق Moira بشكل كبير على عدة نماذج مرجعية:

النماذج المرجعية الإحصائية: GGR (تقليل المسافة)، الارتباط (Correlation)، والتكامل المشترك (Cointegration).
النموذج المرجعي للتعلم المعزز (RL): TRIALS (إطار عمل RL قياسي).
النموذج المرجعي للنموذج اللغوي المسطح (Flat LLM): نموذج لغوي غير هرمي يحاول اختيار الأزواج وتنفيذ التداولات في آن واحد.

المقاييس الرئيسية (Moira مقابل أفضل نموذج مرجعي):

العائد السنوي (AR): حقق Moira نسبة 59.11%، مقارنة بـ 21.38% لأفضل نموذج إحصائي مرجعي (الارتباط/التكامل المشترك) وعوائد سالبة للنماذج الأخرى.
نسبة شارب (SR): حقق Moira نسبة 3.791، وهي أعلى بكثير من النموذج الإحصائي المرجعي (1.218) والنموذج اللغوي المسطح (-0.403).
أقصى تراجع (MDD): حافظ Moira على نسبة منخفضة بلغت 1.70%، مقارنة بـ 5.11% للنموذج الإحصائي المرجعي و8.69% للنموذج اللغوي المسطح.

4.2 دراسات الاستئصال (Ablation Studies)

أجرى المؤلفون دراسات استئصال للتحقق من ضرورة كل من التفكيك الهرمي وتكيف الموجه:

Moira-Selection (مُختار لغوي + مُتداول إحصائي): أدى استبدال المتداول اللغوي بمتداول إحصائي إلى عوائد سالبة قوية (-17.10% AR)، مما يشير إلى أن اختيار الزوج الدلالي وحده غير كافٍ بدون تنفيذ متكيف.
Moira-Tuning (مُختار إحصائي + مُتداول لغوي): استخدام مُختار قائم على الارتباط مع متداول لغوي متكيف حقق عوائد إيجابية (17.63% AR) ولكنه ظل أقل أداءً بكثير من نموذج Moira الكامل. يسلط هذا الضال الضوء على أن سلوك التداول الثابت لا يمكنه استغلال الفرص التي يحددها الاختيار الدلالي بالكامل.
Flat-LLM: فشل النهج غير الهرمي في التعلم، محققاً عوائد سالبة وتقلبات عالية، مما يؤكد أن التحسين المشترك لاختيار الزوج والتنفيذ معقد للغاية بالنسبة لعملية قرار واحدة.

4.3 ديناميكيات التعلم

أظهر تحليل منحنيات التعلم أن الأداء تحسن تدريجياً مع تحديثات الموجه. أرست التحديثات المبكرة الانضباط الأساسي (قواعد الدخول والخروج)، بينما أدخلت التحديثات اللاحقة إدارة مخاطر متطورة (وقف الخسارة المتحرك، جني الأرباح الجزئي)، مما أدى إلى منحنيات رأس مال أكثر سلاسة وتقليل التراجعات.

5. الأهمية والادعاءات

يزعم البحث أن التحسين الهرمي للسياسة المدفوع باللغة يقدم نهجاً مبدئياً لمشكلات اتخاذ القرار المتسلسل حيث:

تتطور التجريدات بمرور الوقت.
التغذية الراجعة متأخرة ومجمعة.
إشارات تعيين الائتمان الصريحة غير متوفرة.

يجادل المؤلفون بأنه باستخدام اللغة كتمثيل للسياسة، يمكن للنظام تحقيق تكيّف مستهدف عند مقاييس زمنية مختلفة دون عدم الاستقرار المرتبط بالضبط الدقيق القائم على التدرج أو الجمود الذي تتسم به نماذج HRL التقليدية. تشير النتائج إلى أن النماذج اللغوية الكبيرة، عندما تُهيكل هرمياً وتُحسّن عبر تكيف الموجه، يمكنها بفعالية الفصل بين الاستدلال الدلالي والتنفيذ التكتيكي، مما يؤدي إلى اتخاذ قرارات مالية قوية.

الاعتراف بالقيود:
أشار المؤلفون إلى أن الدراسة محدودة بنطاق أصول صغير (10 أسهم) ونظام سوق محدد. هم لا يدعون المتانة في ظل تغيرات الأنظمة الحادة أو الظروف العدائية، كما تظل الخصائص النظرية للتغذية الراجعة النصية كإشارة تحسين مسألة مفتوحة.