Optimization of dynamic crypto portfolios via deep reinforcement learning against supervised learning under transaction costs
تُثبت هذه الورقة أن نهج التعلم التعزيزي العميق باستخدام خوارزمية (PPO) يتفوق بشكل كبير على نماذج التعلم الخاضع للإشراف مثل (LSTM) و(Random Forest) و(XGBoost) في تحسين محفظة عملات مشفرة ديناميكية تحت تكاليف المعاملات، محققاً عوائد متفوقة معدلة حسب المخاطر وحياداً تجاه السوق من خلال إعطاء الأولوية لكفاءة التداول على الدقة الاتجاهية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يعمل عالم العملات الرقمية على نطاق من الحركة يتحدى الحدس المالي التقليدي. فخلافاً للأسواق المستقرة نسبياً للأسهم أو السندات، يتسم مشهد العملات المشفرة بالتقلب الشديد، حيث يمكن للأسعار أن تتأرجح بجنون في يوم واحد، وتتغير القواعد التي تحكم تلك الأسعار دون سابق إنذار. لعقود من الزمن، اعتمد المستثمرون على نماذج رياضية مصممة لموازنة المخاطر والمكافآت، لكن هذه الأدوات الكلاسيكية غالباً ما تفشل عند تطبيقها على أصول لا تسلك سلوك السلع الاقتصادية العادية؛ فهي تفترض أن أنماط السوق تتكرر وأن العلاقات بين الأصول المختلفة تظل ثابتة، وهي افتراضات تنهار في البيئة الفوضوية للتمويل الرقمي. وللتنقل وسط هذا الاضطراب، توجه الباحثون إلى الذكاء الاصطناعي، آملين في بناء أنظمة يمكنها التعلم من الضجيج بدلاً من محاولة التنبؤ بالمستقبل بدقة مثالية. ولا يكمن التحدي الجوهري في مجرد إيجاد صفقة مربحة، بل في القيام بذلك دون خسارة الأموال بسبب تكالوف التداول الخفية نفسها، مثل الرسوم التي تلتهم الأرباح في كل مرة يتم فيها تعديل المحفظة الاستثمارية.
في دراسة حديثة، عالج فريق من الباحثين من جامعات في المغرب هذه المشكلة تحديداً من خلال اختبار نهج جديد لإدارة محفظة تضم عشر عملات مشفرة رئيسية. لقد سعوا لمعرفة ما إذا كان نوع من الذكاء الاصطناعي يُعرف باسم "التعلم التعزيزي العميق" (deep reinforcement learning) يمكنه التفوق على أساليب التعلم الآلي الراسخة التي كانت هي المعيار لسنوات. أنشأ الباحثون بيئة رقمية حيث تعين على "وكيل" اصطناعي اتخاذ قرارات يومية بشأن كيفية تقسيم أمواله بين عشر عملات مختلفة، بما في ذلك بتكوين وإيثيريوم وغيرها، مع الاحتفاظ بجزء في أصل آمن خالٍ من المخاطر يشبه النقد. والأهم من ذلك، أنه في كل مرة يقرر فيها الوكيل نقل الأموال من عملة إلى أخرى، كان عليه دفع رسوم صغيرة، مما يحاكي تكلفة التداول في العالم الحقيقي. كان الهدف هو معرفة أي طريقة يمكنها تنمية قيمة المحفظة بأكبر قدر ممكن مع النجاة من الانهيارات الحتمية للسوق وتجنب فخ الإفراط في التداول.
قارن الفريق نهجه الجديد بثلاثة نماذج معروفة من "التعلم الخاضع للإشراف" (supervised learning)، والتي تعمل من خلال محاولة التنبؤ أولاً بسعر الأصل المستقبلي ثم تقرير ما يجب شراؤه بناءً على ذلك التنبؤ. تضمنت هذه النماذج التقليدية شبكات "الذاكرة الطويلة قصيرة المدى" (Long Short-Term Memory)، وهي جيدة في تذكر الأنماط الماضية؛ و"الغابات العشوائية" (Random Forests)، التي تستخدم العديد من أشجار القرار لإيجاد الإجابات؛ و"XGBoost"، وهي أداة قوية لرصد العلاقات المعقدة في البيانات. وجد الباحثون أن هذه الأساليب التقليدية واجهت صعوبة كبيرة عند إدخال رسوم المعاملات. نظرًا لأن هذه النماذج تركز على التنبؤ بالاتجاه الدقيق للسعر، فإن أي خطأ طفيف في تنبؤاتها كان يدفعها للتداول بشكل متكرر للغاية. هذا البيع والشراء المستمر، المدفوع بسوء تقدير طفيف، جعل الرسوم تلتهم بسرعة أي ربح محتمل، مما ترك المحافظ مستقرة أو حتى في المنطقة الحمراء (خاسرة). بل إن أحد النماذج التقليدية خسر أموالاً بالفعل، وفشل في تغطية تكلفة الصفقات التي أجراها.
في المقابل، اتخذ وكيل "التعلم التعزيزي العميق"، الذي تم تدريبه باستخدام طريقة تسمى "تحسين السياسة القريبة" (Proximal Policy Optimization)، نهجاً مختلفاً جذرياً. فبدلاً من محاولة تخمين السعر التالي، تعلم هذا الوكيل مباشرة من عواقب أفعاله. فقد كوفئ على جني المال، لكنه عوقب بشدة على تحريك أمواله دون داعٍ. وقد علمه هذا درساً حيوياً: وهو أن التمسك بالوضع الراهن أفضل من التداول ما لم يكن العائد المتوقع كبيراً بما يكفي لتبرير الرسوم. وعندما أصبح السوق خطيراً، تعلم الوكيل التراجع إلى موقعه النقدي الآمن، مما يحمي رأس ماله من أسوأ حالات الهبوط. وعندما كان السوق هادئاً، ظل مستثمراً للاستفف من النمو. سمحت هذه الاستراتيجية له بالتنقل خلال الفترة المتقلبة من 2021 إلى 2024 بكفاءة ملحوظة.
كانت نتائج التجربة صارخة. حقق وكيل التعلم التعزيزي العميق عائداً سنوياً بنسبة 37.22 بالمائة، متفوقاً بفارق كبير على الأساليب الأخرى. وبينما حققت النماذج التقليدية عوائد تراوحت بين 6.75 بالمائة كنسبة متواضعة و -1.48 بالمائة، لم يكتفِ الوكيل الجديد بتنمية المحفظة فحسب، بل أدار المخاطر بفعالية أيضاً. فقد عانى من حد أقصى للخسارة بلغ 28.74 بالمائة خلال أسوأ انخفاضات السوق، وهو ما كان أقل حدة من الخسائر التي تعرضت لها الاستراتيجيات الأخرى. ولعل الأهم من ذلك، هو أن الوكيل أثبت أنه "محايد تجاه السوق"، مما يعني أن نجاحه لم يعتمد على صعود السوق أو هبوطه بشكل عام. لقد حقق قيمة محددة تُعرف باسم "ألفا" (alpha)، والتي تمثل مهارة الاستراتيجية نفسها، بمعزل عن الاتجاه العام للسوق. وبالمقارنة، كانت النماذج التقليدية مرتبطة بشدة باتجاه السوق وفشلت في توليد هذه القيمة الإضافية، بل إنها غالباً ما دمرت الثروات بدلاً من خلقها.
تشير هذه الدراسة إلى أن مستقبل إدارة الأصول الرقمية المتقلبة قد يكمن في الأنظمة التي تفهم تكلفة الفعل، وليس فقط وعد المكافأة. فمن خلال دمج واقع رسوم المعاملات مباشرة في عملية التعلم، خلق الباحثون وكيلاً يتصرف مثل مستثمر بشري حصيف أكثر من كونه آلة رد فعل. لقد تعلم أن الصبر والانضباط غالباً ما يكونان أكثر ربحية من النشاط المستمر. وبينما أُجريت الدراسة باستخدام بيانات تاريخية ومحاكاة، فإن النتائج تقدم حجة مقنعة للابتعاد عن نماذج التنبؤ البسيطة نحو أنظمة تحسن تجربة التداول بأكملها، بما في ذلك احتكاك السوق نفسه. إن نجاح هذا النهج يسلط الضوء على أنه في عالم مالي فوضوي، فإن القدرة على معرفة متى لا تتداول لا تقل قيمة عن معرفة متى تشتري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.