Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading

لطالما كان عالم تداول الأسهم مجالاً تصارع فيه الحدس البشري الأسواق الفوضوية والمتقلبة. ولعقود من الزمن، اعتمد المتداولون على الخوارزميات لغربلة جبال من البيانات، آملين في العثين على أنماط تتنبأ بما إذا كان السعر سيرتفع أم سينخفض. وفي السنوات الأخيرة، برز نوع قوي من الذكاء الاصطناعي يُعرف باسم "التعلم المعزز" كأداة رائدة لهذه المهمة. تخيل وكيلًا رقميًا يتعلم التداول ليس من خلال إخباره بالإجابة الصحيحة، بل من خلال تجربة الإجراءات، وارتكاب الأخطاء، والتعلم ببطء من الأرباح والخسائر التي يمر بها. هذا النهج واعد لأنه يمكنه التكيف مع الظروف المتغيرة، على عكس الأساليب القديمة التي تفترض أن السوق يتصرف اليوم بنفس الطريقة التي تصرف بها بالأمس. ومع ذلك، فإن تعليم هؤلاء الوكلاء أن يكونوا مربحين ومستقرين في آن واحد أمر صعب للغاية. فالسوق المالية صاخبة وغير متوقعة، وغالبًا ما تعطي الوكيل تغذية راجعة ضئيلة جدًا حول ما إذا كان قرار معين جيدًا أم سيئًا حتى وقت لاحق. وبدون توجيه واضح، قد يعاني الوكيل في التعلم، ليصبح متقلبًا أو يفشل في تعميم مهاراته على ظروف السوق الجديدة.

ولمساعدة هؤلاء الوكلاء على التعلم بشكل أسرع وأكثر موثوقية، غالبًا ما يمنحهم الباحثون مهامًا إضافية أصغر لحلها إلى جانب الهدف الرئيسي المتمثل في جني المال. وتسمى هذه المهام "المهام المساعدة". تقليديًا، يتعين على الخبراء تصميم هذه المهام الإضافية يدويًا، من خلال التخمين فيما قد يساعد الوكيل على فهم السوق بشكل أفضل، مثل التنبؤ بتغير السعر التالي أو تقدير مدى تقلب السوق. لكن المشكلة في هذا النهج اليدوي هي أن السوق يتغير باستمرار. فالمهمة التي تعمل بشكل جيد خلال فترة هدوء قد تكون عديمة الفائدة أو حتى ضارة خلال فترة اضطراب. وإذا كانت المهام المساعدة ثابتة كالحجر، فلن تتمكن من التكيف مع المشهد المتغير لسوق الأسهم، مما يترك وكيل التداول بمعلومات قديمة أو غير ذات صلة.

لقد طور فريق من الباحثين في المعهد الهندي للتكنولوجيا في مودي طريقة جديدة لحل هذه المشكلة. فبدلاً من مطالبة البشر بتخمين أي المهام الإضافية قد تساعد، ابتكروا نظامًا يكتشف هذه المهام تلقائيًا. وقد أطلقوا على إطار عملهم الجديد اسم QUESTrader. وتتمثل الفكرة الجوهرية في ترك الذكاء الاصطناعي يكتشف ما يحتاج إلى تعلمه بنفسه. يستخدم النظام تصميمًا ذا شبكتين: إحدى الشبكتين، وهي المتداول الرئيسي، تتعلم كيفية شراء وبيع الأسهم لتعظيم الربح. أما الشبكة الثانية، فتعمل كمولد للأسئلة؛ فهي تقترح باستمرار أسئلة جديدة وبسيطة ليجيب عليها المتداول الرئيسي، مثل "ماذا سيفعل السعر في الأيام القليلة القادمة؟" أو "بأي مقدار سيتحرك السوق؟" بناءً على بيانات إغلاق السعر اليومي والمؤشرات الفنية المستخدمة في الدراسة. وهذه الأسئلة ليست ثابتة، بل يتم توليدها ديناميكيًا بناءً على ما يمر به النظام حاليًا. ثم يقوم النظام بتدريب المتداول الرئيسي على الإجابة على هذه الأسئلة أثناء قيامه بالتداول.

وتكمن عبقرية هذا النهج في كيفية تحديد النظام للأسئلة التي تستحق الطرح. يستخدم الباحثون آلية تعلم متطورة تنظر إلى النتائج طويلة المدى، حيث تتساءل: "هل ساعدت الإجابة على هذا السؤال المحدد المتداول على اتخاذ قرارات أفضل لاحقًا؟". إذا أدت الإجابة على سؤال ما إلى تحسين أداء التداول، يقوم النظام بتعديل معلماته للاستمرار في طرحه. وإذا تبين أن سؤالًا ما يمثل تشتيتًا، يقوم النظام بتنقيح معلماته للتوقف عن توليده. تضمن هذه العملية أن تكون المهام المساعدة دائمًا ذات صلة بظروف السوق الحالية. وقد اختبر الباحثون هذه الطريقة على أربعة أسواق أسهم عالمية رئيسية: مؤشر داو جونز الصناعي في الولايات المتحدة، ومؤشر فوتسي 100 في المملكة المتحدة، ومؤشر سينكس في الهند، ومؤشر تايوان (TAIEX) في تايوان. وقارنوا نظامهم الجديد بمجموعة واسعة من الاستراتيجيات القائمة، بما في ذلك طرق الاستثمار التقليدية، ونماذج الذكاء الاصطناعي القياسية، والأنظمة الأخرى التي تستخدم مهام مساعدة مصممة يدويًا.

كانت النتائج مذهلة. ففي جميع الأسواق الأربعة، تفوق نظام QUESTrader باستمرار على الأساليب الأخرى. ففي السوق الأمريكية، حقق عائدًا سنويًا قدره 21.785 بالمائة، وهو أعلى بكثير من ثاني أفضل طريقة، والتي حققت 18.176 بالمائة. والأهم من ذلك، لم يكن النظام يحقق المزيد من المال فحسب، بل كان يفعل ذلك باستقرار أكبر؛ فقد حقق أعلى درجات العائد المعدل حسب المخاطر، مما يعني أنه حقق ربحًا أكبر مقابل كل وحدة من المخاطر التي تحملها. وعندما انخفض السوق، خسر وكيل QUESTrader أموالًا أقل من منافسيه. ففي السوق الهندية، على سبيل المثال، حافظ على حد أقصى للخسارة بنسبة 10.584 بالمائة، وهو أقل بكيكثير من خسارة 17.783 بالمائة التي شهدتها النماذج المتقدمة الأخرى. كما أثبت النظام فعاليته في سوق تايوان شديد التقلب، حيث حقق عائدًا سنويًا قدره 30.279 بالمائة، متفوقًا بفارق كبير على جميع الأساليب الأخرى.

وجد الباحثون أن مفتاح هذا النجاح يكمن في قدرة النظام على تكييف مهامه المساعدة في الوقت الفعلي. فمن خلال الاكتشاف التلقائي للأسئلة الصحيحة التي يجب طرحها، بنى وكيل التداول فهمًا أغنى وأكثر دقة للسوق. لقد تعلم كيفية التعرف على الأنماط التي قد تغفل عنها المهام المصممة بشريًا. كما بحثت الدراسة في عدد الأسئلة التي يجب أن يطرحها النظام في وقت واحد ومدى استشراف المستقبل للحكم على قيمة السؤال. ووجدوا أن عددًا متوسطًا من الأسئلة، يتراوح بين ستة عشر وستة وستين سؤالًا، كان هو الأفضل، وأن النظر إلى الأمام بنحو عشر خطوات في عملية التعلم سمح للنظام بنسب الفضل بشكل صحيح للأسئلة المناسبة في النجاح المستقبلي. هذا التوازن منع النظام من الانغماس في الكثير من المعلومات أو الارتباك بسبب النظر بعيدًا جدًا في المستقبل.

يشير هذا العمل إلى أن مستقبل التداول الآلي قد لا يكمن في بشر أكثر ذكاءً يصممون قواعد أفضل، بل في آلات أكثر ذكاءً يمكنها تعليم نفسها ما يجب أن تنتبه إليه. فمن خلال ترك النظام يكتشف أهداف تعلمه الخاصة، خلق الباحثون وكيل تداول أكثر قوة، وأكثر قدرة على التكيف، وفي نهاية المطاف أكثر ربحية من أولئك الذين يعتمدون على تعليمات ثابتة من صنع الإنسان. وتشير النتالئج إلى أنه في عالم التمويل المعقد والمتقلب، فإن القدرة على تعلم "ما يجب تعلمه" لا تقل أهمية عن القدرة على تعلم "كيفية التداول".