🤖 machine learning

Plan Before You Trade: Inference-Time Optimization for RL Trading Agents

تقدم الورقة البحثية FPILOT، وهو إطار عمل لتحسين الاستدلال في وقت التشغيل عبر الملحقات، والذي يعمل على تعزيز وكلاء التداول القائمين على التعلم التعزيزي مسبق التدريب من خلال تحسين تخصيص المحافظ ديناميكياً عند كل خطوة قرار باستخدام مسارات الأسعار المتوقعة، مما يؤدي باستمرار إلى تحسين العوائد والمقاييس المعدلة حسب المخاطر دون الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Eun Go, Rohan Deb, Arindam Banerjee

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Eun Go, Rohan Deb, Arindam Banerjee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك متداول أسهم محترف أمضيت سنوات في تدريب روبوت لإدارة محفظة استثمارية. هذا الروبوت، الذي تم تدريبه باستخدام التعلم التعزيزي (Reinforcement Learning - RL)، بارع جداً في مراقبة السوق الحالية واتخاذ قرار بشأن ما يجب شراؤه أو بيعه الآن. إنه يشبه لاعب شطرنج حفظ ملايين المباريات ويعرف أفضل حركة لأي وضعية على اللوحة.

ومع ذلك، هناك عقبة: بمجرد تدريب الروبوت، يصبح "متجمداً". فهو يتخذ قراراته بناءً على ما يراه اليوم فقط. ليس لديه وسيلة لاستخدام توقعات الطقس لغدٍ، حتى لو كان هناك خبير منفصل ("المتنبئ") يمتلكها.

تقدم الورقة البحثية FinPILOT، وهو "ملحق" ذكي يسمح لهذا الروبوت المتجمد بالتفكير مسبقاً قبل اتخاذ أي خطوة. إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: الروبوت "الساكن"

فكر في الروبوت المدرب كأنه سائق ينظر فقط إلى الطريق الذي أمامه مباشرة. هو يتفاعل مع الحفر وإشارات المرور عند ظهورها، لكنه لا ينظر إلى خريطة نظام تحديد المواقع (GPS) ليرى ازدحاماً مرورياً على بعد 10 أميال. في عالم المال، يعني هذا أن الروبوت يفوت فرصاً لتعديل استراتيجيته بناءً على تحركات الأسعار المتوقعة مستقبلاً.

2. الحل: "رحلة طريق خيالية" (FinPILOT)

يعمل FinPILOT كمساعد طيار يعطي السائق محاكاة سريعة لـ "ماذا لو" قبل كل منعطف.

المتنبئ: أداة منفصلة (في هذه الحالة، نموذج XGBoost) تتنبأ بما ستكون عليه أسعار الأسهم خلال الخمسين يوماً القادمة.
المحاكاة: قبل أن ينفذ الروبوت صفقة في العالم الحقيقي، يسأل FinPILOT: "إذا اتبعنا خطتنا الحالية، ولكن تغيرت الأسعار تماماً كما يتوقع المتنبئ، فكم من المال سنربح؟"
التعديل: يقوم الروبوت بعد ذلك بتعديل "عقل" اتخاذ القرار الخاص به (السياسة - policy) بسرعة لتحقيق أقصى قدر من ذلك الربح الخيالي. يفعل ذلك بشكل فوري، دون الحاجة إلى إعادة تدريب الروبوت بالكامل من الصفر.
التنفيذ: يتخذ ذلك القرار الواحد المحسّن، وينفذه في السوق الحقيقي، ثم يكرر العملية لليوم التالي.

3. الرؤية الجوهرية: "السوق لا يهتم بك"

تشير الورقة إلى ميزة فريدة في سوق الأسهم تجعل هذا الأمر سهلاً: تصرفات المتداول الصغير لا تغير السعر.

في ألعاب الفيديو أو الروبوتات (حيث قد توجد وكلاء ذكاء اصطناعي آخرون)، إذا تحركت، يتغير العالم.
في سوق الأسهم، إذا اشتريت كمية ضئيلة من سهم شركة "آبل"، فإن سعر "آبل" لن يتغير بسببك.
لماذا يهم هذا: لأن أفعال الروبوت لا تغير أسعار المستقبل، يمكن لـ "المتنبئ" ببساطة التنبؤ بأسعار المستقبل مرة واحدة، ويمكن للروبوت تخيل جميع تحركاته الممكنة مقابل ذلك المستقبل الثابت. إنه يشبه التخطيط لرحلة سير على الخريطة، حيث لا تتغير الخريطة في كل مرة تخطو فيها خطوة.

4. تجارب "الغش"

لإثبات عمل نظامهم، قام الباحثون بشيء أسموه "الغش".

أنشأوا توقعات وهمية كانت دقيقة تماماً (معرفة المستقبل بدقة).
وجدوا أنه حتى مع وجود القليل من "المعرفة المستقبلية" (توقع ضعيف جداً)، أصبح الروبوت أكثر ذكاءً بشكل ملحوظ.
تأثير العتبة (The Threshold Effect): اكتشفوا وجود "نقطة تحول". بمجرد أن يصبح التوقع أفضل قليلاً من التخمين العشوائي (حتى لو بنسبة 1% فقط من الدقة)، يقفز أداء الروبوت بشكل كبير. جعل التوقع أكثر دقة يساعد، لكن القفزة الأكبر تحدث بمجرد تجاوز تلك العتبة الصغيرة من "عدم الفائدة" إلى "الفائدة الطفيفة".

5. النتائج: عوائد أفضل، مخاطر أقل

عندما اختبروا هذا على بيانات أسهم حقيقية (داو جونز 30) وبيانات العملات:

أرباح أفضل: حققت الروبوتات التي تستخدم FinPILOT أموالاً أكثر من الروبوتات القياسية.
إدارة مخاطر أذكى: أضافوا "مكبح سلامة" إلى المحاكاة الخيالية. إذا بدا مستقبل محتمل خطيراً (مثل احتمالية عالية لخسارة كبيرة)، يقوم الروبوت بتعديل خطته لتجنب ذلك.
يعمل مع أي روبوت: لم يهم أي خوارزمية تعلم محددة استخدموها (مثل PPO أو SAC، إلฯ)؛ فقد نجح الملحق مع جميعها.
العشوائية مقابل الحتمية: الروبوتات التي تتخذ قرارات "عشوائية" (stochastic) استفادت أكثر من الروبوتات التي تتخذ قرارات "ثابتة" (deterministic). إنه يشبه السائق الذي يكون مستعداً لتجربة طرق مختلفة يستفيد من نظام الـ GPS أكثر من السائق الذي يلتزم بمسار واحد بعناد.

الملخص

FinPILOT هو أداة تسمح لذكاء اصطناعي للتداول "بالحلم" بالمستقبل قبل أن يتحرك. من خلال استخدام توقع بسيط للأسعار لتخيل بضعة أيام للأمام، يمكن للذكاء الاصطناعي تعديل استراتيجيته فوراً لجني المزيد من المال وتجنب بعض المخاطر، دون الحاجة إلى إعادة تدريبه. إنه يحول الروبوت من مجرد كائن "رد فعل" إلى مخطط "استباقي".

ملخص تقني: FinPILOT – تحسين الاستدلال للوكلاء التجاريين القائمين على التعلم التعزيزي

بيان المشكلة

أثبت التعلم التعزيزي للتداول المالي (RLFT) نفسه كإطار عمل لاتخاذ قرارات المحفظة المتسلسلة. ومع ذلك، تعاني النهج الحالية من انفصال بين التنبؤ واتخاذ القرار. تندرج الأساليب الحالية عادةً تحت مسارين مستقلين:

التنبؤ الخاضع للإشراف: تتنبأ النماذج بالعوائد قصيرة الأجل ولكنها تترك مشكلة اتخاذ القرار لآليات استدلال خارجية.
التعلم التعزيزي: يتم تدريب الوكلاء كسياسات ثابتة. وبينما قد تستوعب هذه الوكلاء تنبؤات الأسعار كسمات للحالة أثناء التدريب، إلا أنها لا تستخدم التنبؤات كإشارة تخطيط لتكييف السلوك وقت الاستدلال.

علاوة على ذلك، رغم وجود التحكم التنبئي بالنموذج (MPC) والتعلم التعزيزي القائم على نموذج العالم (مثل Dreamer وMuZero)، إلا أنها تتطلب عمومًا ديناميكيات عالية الدقة مناسبة للروبوتات أو تتطلب تصميمًا مشتركًا للسياسة مع نموذج العالم. وهي لا توفر آلية لتحسين أي وكيل تم تدريبه مسبقًا باستخدام متنبئ تم تدريبه بشكل منفصل دون إعادة تدريب الوكيل.

التحدي الجوهري الذي يعالجه البحث هو: كيف يمكن دفع تحسين السياسة في وقت الاستدلال بواسطة متنبئ أسعار تم تدريبه بشكل منفصل دون إعادة تدريب وكيل التعلم التعزيزي؟

المنهجية: FinPILOT

يقترح المؤلفون FinPILOT (التعلم عبر الإضافات للتحسين الأمثل في وقت الاستدلال المالي)، وهو إطار عمل إضافي مستوحى من التحكم التنبئي بالنموذج (MPC). الرؤية الهيكلية الأساسية هي أنه في الأسواق المالية، تكون الأسعار المستقبلية مستقلة إلى حد كبير عن تخصيص محفظة وكيل واحد. وهذا يسمح باستخدام نموذج تنبؤي لتوليد مسارات أسعار متعددة الخطوات دون الحاجة إلى عمليات تدحرج (rollouts) تكرارية مشروطة بالأفعال كما هو الحال في التعلم التعزيزي القياسي.

المكونات الأساسية

الوكيل المدرب مسبقًا: نموذج قياسي خالي من النموذج (مثل PPO أو SAC) تم تدريبه على بيانات تاريخية دون الوصول إلى تنبؤات أسعار مستقبلية.
المتنبئ الخارجي ( $F$ ): نموذج منفصل (مثل XGBoost) تم تدريبه على بيانات تاريخية تسبق نافذة الاختبار مباشرة. يقوم بتوليد مسار أسعار لـ $H$ من الخطوات.
حلقة MPC في وقت الاستدلال: عند كل خطوة قرار $t$ $t$ :
- يتنبأ المتنبئ بمسار مستقبلي $\{\hat{s}_{t+1}, \dots, \hat{s}_{t+H}\}$ .
- يتم تكييف الممثل (actor) المدرب مسبقًا $\pi_\theta$ عن طريق تحسين هدف متخيل $J_t$ عبر هذا المسار المتوقع.
- يتم تنفيذ أول إجراء ناتج فقط في البيئة الحقيقية؛ ثم يتم إعادة ضبط أو تحديث بارامترات السياسة للخطوة التالية.

الهدف المتخيل

يعرف الإطار عائدًا بديلًا عبر أفق التخطيط $H$ . وللتعامل مع عدم اليقين في التنبؤات وتحسين الأداء المعدل حسب المخاطر، يتضمن الهدف عقوبة مخاطر الهبوط:
$J_t(\theta) = \bar{J}_t - \lambda \sqrt{D_t + \epsilon}$
حيث أن:

$\bar{J}_t$ هو متوسط العائد عبر $K$ من الجسيمات (عينات مونت كارلو).
$D_t$ هو تباين الهبوط (الانحراف شبه المعياري) للعوائد لكل جسيم.
$\lambda$ هو معامل التحوط من المخاطر.
حقن ضوضاء التنبؤ: لمنع الإفراط في التخصيص لتقدير نقطة واحدة، يتم إضافة ضوضاء غاوسية إلى المسارات المتوقعة. يتم معايرة مقياس الضوضاء بناءً على تباين تنبؤات المتنبئ، وليس الحقيقة الأرضية، مما يضمن بقاء الطريقة مستقلة عن نوع المتنبئ.

التدحرج ثنائي المرحلة

تستغل الطريقة حقيقة أن انتقالات الأسعار مستقلة عن أفعال الوكيل لتقسيم عملية التدحرج:

المرحلة الأولى (بدون تدرجات): حساب مسار التنبؤ الحتمي وتوليد $K$ من الجسيمات المشوبة بالضوضاء. تقييم تقدير القيمة النهائية $V_\theta$ لكل منها.
المرحلة الثانية (صعود التدرج): التكرار عبر الجسيمات المخزنة لحساب المكافأة المتخيلة باستخدام معادلة عائد المحفظة ذات الصيغة المغلقة. يتم تتبع التدرجات فقط من خلال بارامترات الممثل $\theta$ لتحديث السياسة.

المساهمات الرئيسية

إطار عمل FinPILOT: إطار عمل MPC إضافي يعمل في وقت الاستدلال ومتوافق مع أي وكيل تعلم تعزيزي مدرب مسبقًا، ويتميز بنسخة تتضمن عقوبة مخاطر الهبوط. لا يتطلب أي تعديلات على إجراء التدريب.
التحقق التجريبي: أظهر تحسينات متسقة في إجمالي العائد والمقاييس المعدلة حسب المخاطر (Sharpe, Sortino, Calmar) عبر خمس خوارزميات تعلم تعزيزي (PPO, SAC, A2C, TD3, DDPG) على معيار TradeMaster DJ30 باستخدام متنبئ XGBoost عملي ذي قوة تنبؤية متواضعة ( $R^2 \approx 0.01$ ).
التعميم: ينتقل الإطار إلى مجموعة بيانات العملات الأجنبية (FX) دون إعادة ضبط المعلمات الفائقة، مما يشير إلى المتانة عبر فئات الأصول المختلفة.
منهجية تجارب الغش: نهج تشخيصي يبني تنبؤات اصطناعية عند مستويات $R^2$ معايرة لقياس مدى توسع مكاسب السياسة مقابل جودة التنبؤ.

النتائج التجريبية

تم التقييم على معيار TradeMaster DJ30 (29 سهمًا، 2012–2021) ومجموعة بيانات FX:

مكاسب الأداء: حقق FinPILOT، باستخدام متنبئ XGBoost عملي ( $R^2 \approx 0.01$ $R^{2} \approx 0.01$ )، مكاسب متسقة.
- PPO: ارتفع إجمالي العائد من 17.74% إلى 23.46%.
- SAC: ارتفع إجمالي العائد من 17.78% إلى 22.21%.
- المقاييس المعدلة حسب المخاطر: لوحظت تحسينات كبيرة في نسب Sharpe وSortino وCalmar، خاصة للسياسات العشوائية (PPO, SAC).
العشوائية مقابل الحتمية: استفادت السياسات العشوائية (PPO, SAC) بشكل أكبر بكثير من تحسين وقت الاستدلة مقارنة بالسياسات الحتمية (TD3, DDPG).
توسع جودة التنبؤ: كشفت "تجارب الغش" عن سلوك يشبه العتبة. كانت مكاسب الأداء غير قابلة للتمييز تقريبًا بين $R^2 = 0.001$ و $R^2 = 0.01$ ، لكنها استمرت في التحسن مع زيادة $R^2$ نحو 0.8. يشير هذا إلى أن حتى الإشارات الضعيفة ذات المعنى الاقتصادي كافية لدفع فوائد الإطار.
حساسية الأفق: وُجد أن أفق التخطيط $H=50$ يومًا هو الأمثل، حيث يوازن بين الحاجة لالتقاط الأنظمة الهيكلية للسوق وبين الضوضاء عالية التردد.

الأهمية والادعاءات

يزعم البحث أن FinPILOT يسد الفجوة بين التنبؤ واتخاذ القرار في RLFT دون التكلفة الحسابية لإعادة تدريب الوكلاء. ومن خلال معاملة متنبئ الأسعار كنموذج عالم بديل، يسمح إطار العمل لوكلاء التعلم التعزيزي المدربين مسبقًا بـ "التخطيط" ضد مستقبليات متخيلة في وقت الاستدلال.

يؤكد المؤلفون أن الخاصية الهيكلية للأسواق المالية (المكافآت ذات الصيغة المغلقة وافتراض متلقي السعر) تبسط نمذجة العالم إلى مجرد تنبؤ بالأسعار. يُقدم الإطار كحل إضافي (Plugin): فهو لا يغير تدريب وكيل التعلم التعزيزي، مما يجعله قابلاً للتطبيق على نطاق واسع من الخوارزميات الموجودة.

تشير النتائج إلى أن أداء وكلاء التداول في التعلم التعزيزي لا يقتقتصر على الحاجة إلى نماذج عالم عالية الدقة (والتي يصعب تعلمها في التمويل)، بل يتعلق بالقدرة على الاستفادة من حتى الإشارات التنبؤية المتواضعة ( $R^2 \approx 0.01$ ) من خلال التكيف في وقت الاستدلال. ويخلص المؤلفون إلى أنه مع تحسن نماذج التنبؤ المالي، من المفترض أن يتحسن أداء الوكلاء الذين يستخدمون FinPILOT بشكل مماثل.

القيود: يشير المؤلفون إلى أنه بينما تحسنت المقاييس المعدلة حسب المخاطر، زاد الحد الأقصى للتراجع (Maximum Drawdown) قليلاً لبعض السياسات العشوائية (PPO, SAC) مقارنة بالنماذج المرجعية، مما يشير إلى وجود مقايضة بين إجمالي العائد والتعرض للهبوط، وهو ما يظل مجالاً للعمل المستقبلي. كما أن التقييم يقتصر على معيارين (DJ30 وFX) ويعتمد على الاختبار الخلفي (Backtesting)، وهو ما لا يأخذ في الاعتبار تأثير السوق أو زمن الاستجابة (Latency) في التداول الحي.