Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study
تقترح هذه الورقة إطاراً للتعلم المعزز في الزمن المستمر لاختيار المحفظة الاستثمارية القائمة على معيار التباين والمتوسط، والذي يتعلم استراتيجيات الاستثمار المثلى مباشرة من البيانات دون تقدير معاملات السوق المجهولة، مبرهنةً من خلال حدود الندم النظرية والدراسات التجريبية المكثفة على مكونات مؤشر S&P 500 أنه يتفوق باستمرار على النهج التقليدية القائمة على النماذج، لا سيما في أسواق الدببة المتقلبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان سفينة تحاول الوصول إلى جزيرة بعيدة (هدفك المالي) بأسرع وأسلم طريقة ممكنة. أنت تريد تعظيم سرعتك (العائد) مع تقليل خطر الاصطدام بصخرة أو الضياع (التباين/الخسارة). هذه هي مشكلة "المتوسط والتباين" الكلاسيكية التي حاول المستثمرون حلها لعقود من الزمن.
لفترة طويلة، كانت الطريقة القياسية للقيام بذلك تشبه محاولة الملاحة عبر رسم خريطة مثالية للمحيط أولاً. كنت ستقضي سنوات في قياس التيارات، وسرعات الرياح، وأنماط الأمواج (تقدير معاملات السوق مثل الانحراف والتقلب) لبناء نموذج رياضي. وبمجرد حصولك على الخريطة، ستحسب المسار المثالي.
المشكلة: المحيط فوضوي. خريطتك ستكون خاطئة دائماً لأنك لا تستطيع قياس التيارات بشكل مثالي، كما أن الطقس يتغير بسرعة أكبر من قدرتك على تحديث خريطتك. إذا كانت خريطتك منحرفة قليست ما، فقد يقودك مسارك "المثالي" مباشرة نحو عاصفة. هذا هو السبب في أن استراتيجيات الاستثمار التقليدية غالباً ما تفشل في الواقع.
النهج الجديد: "التعلم بالممارسة" (التعلم المعزز)
تقدم هذه الورقة البحثية طريقة أذكى للإبحار. بدلاً من محاولة رسم خريطة مثالية للمحيط، يقترح المؤلفون قبطاناً يعمل بالذكاء الاصطناعي يتعلم من خلال الإبحار.
إليك الفكرة الجوهرية مقسمة إلى تشبيهات بسيية:
1. القبطان "الخالي من النموذج" (Model-Free)
الأساليب التقليدية تشبه طالباً يحفظ كتاباً عن علم المحيطات قبل أن يخطو خطوة واحدة على متن قارب. إذا كان الكتاب خاطئاً، سيفشل الطالب.
أما الطريقة الواردة في هذه الورقة (والتي تسمى CTRL) فهي تشبه طياراً يتعلم الطيران من خلال الطيران الفعلي. هو لا يهتم بفيزياء الرياح أو الكثافة الدقيقة للهواء؛ بل ينظر فقط إلى الأفق، ويجرب انعطافاً، ويرى ما إذا كان سيقترب من وجهته، ثم يعدل مساره. إنه يتعلم الاستراتيجية الأفضل مباشرة من تجربة السوق، دون أن يحاول أبداً تخمين "قواعد" السوق.
2. خدعة "الاستكشاف" (رمي النرد)
كيف يتعلم الذكاء الاصطناعي إذا كان لا يعرف القواعد؟ إنه يستخدم خدعة ذكية تسمى الاستكشاف.
تخيل أن الذكاء الاصطناعي يلعب لعبة فيديو. لكي يتعلم الحركة الأفضل، لا يكتفي بتكرار نفس الحركة مراراً وتكراراً، بل يقوم أحياناً برمي نرد لتجربة حركات عشوائية وغريبة نوعاً ما.
- في الورقة البحثية: يقوم الذكاء الاصطناعي بعمل "هزة" عشوائية لقراراته الاستثمارية. قد يشتري المزيد قليلاً من السهم (أ) أو يشتري أقل قليلاً من السهم (ب) عما كان سيفعل في الحالات العادية.
- لماذا؟ يساعده هذا على اكتشاف الفرص أو المخاطر الخفية التي قد تفوتها خطة "مثالية" جامدة. الأمر يشبه طباخاً يتذوق طبقاً ويضيف رشة ملح، ثم رشة فلفل، ليجد النكهة المثالية، بدلاً من اتباع وصفة بوصفها قانوناً مقدساً.
3. درجة "الندم" (تقرير الدرجات)
يثبت المؤلفون رياضياً أن طريقة التعلم هذه ناجحة. إنهم يستخدمون مفهوماً يسمى الندم (Regret).
- العراف (The Oracle): تخيل كائناً سحرياً يعرف المستقبل تماماً ويعرف التيارات الدقيقة للمحيط. هذا الكائن يمتلك الاستراتيجية "المثالية".
- الندم: هو الفرق بين كمية المال التي حققها "العراف" وكمية المال التي حققها قبطان الذكاء الاصطناعي الخاص بك.
- النتيجة: تثبت الورقة أنه كلما أبحر الذكاء الاصطناعي لفترة أطول (عبر الزمن)، فإن "الندم" ينمو ببطء شديد. في النهاية، يصبح الذكاء الاصطناعي جيداً تقريباً مثل "العراف"، رغم أنه لم يعرف قواعد المحيط أبداً. إنه يلحق بالاستراتيجية المثالية بمجرد التعلم من أخطائه ونجاحاته.
4. الاختبار في العالم الحقيقي (سباق S&P 500)
لم يكتفِ المؤلفون بكتابة النظرية؛ بل وضعوا قبطان الذكاء الاصطنا هذا في سباق ضد 13 قبطاناً مشهوراً آخرين (بما في ذلك النماذج الرياضية التقليدية، واستراتيجيات "الشراء والاحتفاظ" البسيطة، وطرق أخرى للذكاء الاصطناعي) باستخدام بيانات حقيقية لأسهم مؤشر S&P 500 على مدار 20 عاماً.
النتائج:
- الفائز: فازت استراتيجية الذكاء الاصطناعي الجديدة (CTRL) في كل مرة تقريباً.
- اختبار العاصفة: أدت أداءً جيداً بشكل خاص خلال "الأسواق الهابطة" (عندما تنهار السوق، كما حدث في 2008). بينما تعرضت الاستراتيجيات الأخرى لدمار أو استغرقت وقتاً طويلاً للتعافي، استعاد قبطان الذكاء الاصطناي توازنه بسرعة.
- السر الكامن: لم يفز لأنه يمتلك خريطة أفضل، بل لأنه لم يعتمد على خريطة على الإطلاق. لقد تكيف مع الفوضى في الوقت الفعلي.
لماذا يهمك هذا الأمر؟
فكر في الاستثمار التقليدي كقيادة سيارة باستخدام نظام ملاحة (GPS) يعتمد على خرائط قديمة وثابتة. إذا كان هناك طريق مغلق أو جسر مهدوم، سيرسلك نظام الملاحة إلى منحدر لأن النظام يعتقد أن الطريق لا يزال موجوداً.
هذا النهج الجديد يشبه سيارة ذاتية القيادة تمتلك ردود فعل خارقة للبشر. هي لا تحتاج لمعرفة تخطيط الطريق مسبقاً؛ بل ترى الحفرة، فتتفاداها، وتستمر في المضي قدماً. إنها تتعلم من كل مطب في الطريق.
باختصار: توضح هذه الورقة أنه في عالم التمويل الفوضوي وغير المتوقع، فإن محاولة التنبؤ بالمستقبل (النمذجة) أقل فعالية من التعلم من الحاضر (التعلم المعزز). أفضل طريقة للملاحة في السوق ليست معرفة القواعد، بل تعلم كيفية لعب اللعبة بشكل أفضل من أي شخص آخر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.