Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning
تقدم هذه الورقة البحثية إطار عمل BRaG، وهو إطار للتعلم العكسي التعزيزي التنافسي القائم على المركز الثقلي (barycenter)، والذي يجمع استراتيجيات الخبراء غير المتجانسة عبر مراكز "واسرستين" الثقلية (Wasserstein barycenters) ويدمج دوال الحاجز للتحكم (control barrier functions) لتعلم سياسات تداول أسهم مستقرة ومدركة للمخاطر تتفوق على القواعد الكلاسيكية وطرق التعلم التعزيزي العميق عبر أسواق الأسهم العالمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إن عالم تداول الأسهم هو محرك هائل وصاخب، حيث تتحرك الأموال بناءً على التوقعات، والأنماط، والضجيج المستمر للخوف والجشع البشري. لعقود من الزمن، حاول المستثمرون بناء آلات يمكنها التنقل في هذه الفوضى بشكل أفضل مما يمكن للبشر فعله. ويكمكم التحدي في طبيعة السوق نفسها: فهي لا تقدم تعليمات واضحة أو تغذية راجعة فورية. قد يتخذ المتداول قراراً اليوم، ولكن النتيجة الحقيقية لهذا الخيار -سواء كان خطوة بارعة أو خطأً مكلفاً- قد لا تُعرف إلا بعد أيام أو أسابيع أو حتى أشهر. هذا التأخير يجعل من الصعب للغاية تعليم الكمبيوتر كيفية التداول، لأن الآلة تكافح لربط أفعالها بالنتائج التي تصل لاحقاً. علاوة على ذلك، فإن السوق غير متوقع وتتغير قواعده باستمرار، مما يعني أن استراتيجية تعمل بشكل مثالي اليوم قد تفشل غداً. وبينما تعتمد الأساليب التقليدية على قواعد ثابتة يكتبها البشر، وتستخدم الأساليب الأحدث الذكاء الاصطناعي للتعلم من البيانات، فإن كليهما غالباً ما يتعثر عند مواجهة الواقع الفوضوي للتمويل العالمي، لا سيما عندما يتعلق الأمر بإدارة المخاطر وتجنب الخسائر الكارثية.
في دراسة حديثة، اقترح باحثون من المعهد الهندي للتكنولوجيا في مودي طريقة جديدة لتعليم الحواسيب كيفية التداول، وهي طريقة تستلهم من حكمة خبراء متعددين بدلاً من محاولة التعلم من الصفر. لقد أطلقوا على نظامهم اسم BRaG. فبدلاً من مطالبة الكمبيوتر بمعرفة أفضل طريقة للتداول عبر التخمين والتحقق، وهو ما يؤدي غالباً إلى تقلبات حادة وأخطاء خطيرة، قرر الباحثون جعل الكمبيوتر يتعلم من خلال مراقبة مجموعة متنوعة من استراتيجيات التداول الناجحة. تخيل طالباً يحاول تعلم مهارة معقدة؛ سيكون حاله أفضل لو راقب لجنة من الأساتذة المختلفين -بعضهم هجومي، وبعضهم حذر، وبعضهم يتبع الاتجاهات، وبعضهم يراهن على الانعكاسات- بدلاً من نسخ شخص واحد فقط. لقد جمع الباحثون بيانات من خمسة أساليب تداول متميزة، تتراوح من المتوسطات المتحركة البسيطة إلى النهج الأكثر تعقيداً القائمة على الزخم. ومع ذلك، فإن مجرد خلط كل هذه الأساليب المختلفة معاً من شأنه أن يخلق فوضى مربكة. ولحل هذه المشكلة، طور الفريق طريقة رياضية لإيجاد "نقطة مركزية" تمثل الأجزاء الأكثر استقراراً من جميع هؤلاء الخبراء مجتمعين. تعمل هذه النقطة المركزية كدليل موثوق، حيث توضح للكمبيوتر مساراً آمناً وفعالاً لاتباعه قبل أن يلمس أموالاً حقيقية.
تعمل هذه العملية في مرحلتين متميزتين. أولاً، يتم تدريب الكمبيوتر مسبقاً لمحاكاة سلوك الخبراء المستقر والمدمج هذا. خلال هذه المرحلة، يتعلم الجهاز اتخاذ قرارات تبدو مثل الأجزاء الأذكى من استراتيجيات الخبراء، دون الحاجة إلى فهم الأسباب المعقدة وراءها أو انتظار المكافآت المتأخرة. هذه الخطوة حاسمة لأنها تمنح الكمبيوتر أساساً متيناً، مما يمنعه من التخبط العشوائي أو القيام بمراهنات متهورة أثناء فترة تعلمه. وبمجرد أن يستوعب الكمبيوتر هذه العادات الجيدة، تبدأ المرحلة الثانية. يقوم الباحثون بعد ذلك بترك الكمبيوتر يتداول في سوق محاكية باستخدام مكافآت مالية حقيقية. الآن، بدلاً من مجرد نسخ الخبراء، يقوم الكمبيوتر بصقل استراتيجيته الخاصة، ويتعلم التكيف مع تقلبات السوق مع التمسك بالسلوكيات الآمنة التي تعلمها سابقاً. ولضمان عدم جشع الكمبيوتر وتحمله لمخاطر كبيرة، يتضمن النظام آلية سلامة صارمة. تعمل هذه الآلية كحاجز حماية، حيث تتحقق باستمرار من قيمة محفظة الكمبيوتر. إذا كانت الصفقة تهدد بدفع قيمة المحفظة بعيداً جداً عن أعلى نقطة وصلت إليها، يقوم النظام تلقائياً بحظر تلك الصفقة أو تعديلها للبقاء ضمن الحدود الآمنة. وهذا يضمن أنه حتى بينما يتعلم الكمبيوتر أن يكون أكثر هجومية لتحقيق المزيد من المال، فإنه لا يتجاوز أبداً الخطوط الحمراء نحو المناطق الخطرة.
اختبر الباحثون هذا النهج الجديد في أربعة أسواق أسهم رئيسية حول العالم: الولايات المتحدة، والمملكة المتحدة، والهند، وتايوان. وقارنوا نظامهم بمجموعة واسعة من المنافسين، بما في ذلك قواعد التداول التقليدية، والتخمين العشوائي، ونماذج الذكاء الاصطناعي المتقدمة الأخرى التي تم تطويرها في السنوات الأخيرة. كانت النتائج واضحة ومتسقة عبر الأسواق الأربعة جميعها. فقد تفوق النظام الجديد، BRaG، باستمرار على الأساليب الأخرى، محققاً عوائد إجمالية أعلى بمرور الوقت. والأهم من ذلك، أنه فعل ذلك باستقرار أكبر. فبينما أظهرت نماذج الذكاء الاصطناعي الأخرى تقلبات حادة في أدائها، مع فترات من المكاسب الضخمة تليها انخفاضات حادة، حافظ BRaG على منحنى نمو أكثر سلاسة وموثوقية. لقد حقق نسبة أعلى من الربح إلى المخاطر، مما يعني أنه حقق مالاً أكثر مقابل كل وحدة مخاطرة اتخذها. كما عانى من خسائر أقل حدة، حيث حافظ على قيمة محفظته من الهبوط بعمق مقارنة بالأساليب الأخرى خلال ظروف السوق الصعبة. وقد أظهرت الدراسة أن النظام لم يكن محظوظاً فحسب، بل كان قوياً، حيث قدم أداءً جيداً حتى عند اختباره على بيانات لم يسبق له رؤيتها.
يسلط نجاح هذا النهج الضوء على تحول في كيفية بناء الأدوات المالية. فبدلاً من محاولة تصميم مجموعة مثالية من القواعد أو الأمل في أن تتمكن خوارزمية واحدة من فهم كل شيء بمفردها، وجد الباحثون أن الجمع بين نقاط القوة في استراتيجيات مختلفة متعددة يخلق نتيجة أكثر قوة وأماناً. ومن خلال التعلم أولاً من مزيج متوازن من سلوكيات الخبراء ثم صقل تلك المعرفة مع الخبرة الفعلية في السوق، يتعلم الكمبيوتر أن يكون مربحاً وحذراً في آن واحد. تشير الدراسة إلى أن مفتاح التداول الآلي الفعال لا يكمن فقط في ذكاء الآلة، بل في جودة التوجيه الذي تتلقاه وصرامة حدود السلامة التي تتبعها. يقدم هذا الأسلوب مساراً واعداً للمضي قدماً في إنشاء أنظمة تداول يمكنها التنقل في عالم التمويل المعقد والمتقلب دون أن تفقد طريقها أو تخاطر بكل شيء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.