BacktestBench: Benchmarking Large Language Models for Automated Quantitative Strategy Backtesting
تقدم هذه الورقة BacktestBench، وهو أول معيار مرجعي واسع النطاق للاختبار الخلفي الكمي المؤتمت يضم أكثر من 18,000 مهمة مشروحة مستمدة من 6 ملايين سجل سوقي، إلى جانب AutoBacktest، وهو إطار عمل متعدد الوكلاء مصمم لترجمة الاستراتيجيات ذات اللغة الطبيعية إلى اختبارات خلفية قابلة للتكرار وتقييم قدرات 23 نموذجاً لغوياً كبيراً رائجاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ يرغب في ابتكار وصفة جديدة لطبق سيجعلك ثرياً. في عالم التمويل، هذا "الطبق" هو استراتيجية تداول. وقبل أن تقدم هذه الوصفة للعالم (أو تستثمر مالك الخاص فيها)، عليك إجراء عملية اختبار خلفي (Backtesting). وهذا يعني أنك تأخذ وصفتك وتطبخها باستخدام قدر هائل من البيانات التاريخية (ما حدث في سوق الأسهم على مدار السنوات القليلة الماضية) لترى ما إذا كانت ستجني المال بالفعل أم أنها ستحرق المطبخ بالكامل.
تقليدياً، القيام بالاختبار الخلفي كهذا يشبه محاولة بناء روبوت معقد من الصفر في كل مرة تريد فيها اختبار وصفة جديدة. ستحتاج إلى أن تكون ميكانيكياً ماهراً (مبرمجاً)، وأميناً للمكتبة (للعثور على المكونات التاريخية الصحيحة)، وساحراً مالياً في آن واحد. إنها عملية بطيئة، ومكلفة، ولا يستطيع القيام بها إلا عدد قليل من الخبراء.
مشروع BacktestBench هو مشروع جديد يتساءل: "هل يمكن للذكاء الاصطناعي (AI) أن يتعلم كيف يكون ذلك الميكانيكي الأمين، وأمين المكتبة، والساحر في آن واحد؟"
إليك تفصيل بسيط لما يفعله البحث:
1. المشكلة: "الصندوق الأسود" للتمويل
يجادل المؤلفون بأنه بينما يتفوق الذاء الاصطناعي (تحديداً النماذج اللغوية الكبيرة أو LLMs) في كتابة الأكواد والدردشة، لم يختبر أحد حقاً ما إذا كان بإمكانه التعامل مع المهمة المحددة وعالية المخاطر المتمثلة في الاختبار الخلفي الكمي المؤتمت.
- التحدي: الأمر لا يقتصر فقط على كتابة الكود. يجب على الذكاء الاصطناعي فهم طلب بشري غامض مثل: "اشترِ عندما يرتفع السعر لمدة 5 أيام متتالية"، ومن ثم:
- العثور على بيانات الأسهم الصحيحة تماماً من قاعدة بيانات.
- كتابة برنامج يحسب قاعدة "الـ 5 أيام صعوداً" دون الغش (باستخدام بيانات مستقبلية).
- تشغيل المحاكاة.
- حساب النتيجة النهائية (مثل "نسبة شارب" - Sharpe Ratio، وهي طريقة متطورة لقول: "كم من الربح حققنا مقابل المخاطرة التي تحملناها؟").
إذا ارتكب الذكاء الاصطناعي خطأً ضئيلاً في الخطوة الثانية، فإن النتيجة بأكملها ستكون عديمة الفائدة.
2. الحل: "امتحان تجريبي" ضخم (BacktestBench)
لاختبار ما إذا كان بإمكان الذكاء الاصطناعي القيام بذلك، قام الباحثون ببناء BacktestBench. فكر في هذا كأنه اختبار رخصة قيادة معياري وضخم للذكاء الاصطناعي، ولكن بدلاً من قيادة سيارة، يقود الذكاء الاصطناعي استراتيجية تداول.
- البيانات: استخدموا أكثر من 6 ملايين سجل سوق حقيقي من أسواق الأسهم الصينية (مثل مكتبة ضخمة من التاريخ).
- الأسئلة: أنشأوا 18,246 سؤال اختبار محدد. هذه ليست مسائل رياضية بسيطة؛ بل هي سيناريوهات معقدة مثل:
- "احسب الربح لهذه الاستراتيجية المحددة على هذا السهم المحدد."
- "أي سهم كان أداؤه الأفضل مع هذه الاستراتيجية؟"
- "أي إعداد (معامل) يعمل بشكل أفضل؟"
- الحقيقة المطلقة (Ground Truth): نظرًا لأنهم بنوا الأسئلة من أكواد حقيقية كتبوها بأنفسهم، فهم يعرفون الإجابة الصحيحة الدقيقة تماماً. وهذا يسمح لهم بتقييم الذكاء الاصطناعي بصرامة: صح أم خطأ.
3. موضوع الاختبار: "AutoBacktest" (فريق الذكاء الاصطناعي)
لم يكتفِ الباحثون بسؤال نموذج ذكاء اصطناعي واحد للقيام بكل شيء. بل بنوا فريقاً من ثلاثة وكلاء ذكاء اصطناعي متخصصين يطلق عليهم AutoBacktest، يعملون معاً مثل طاقم المطبخ:
- الملخص (المترجم): تعطيه جملة بشرية غير منظمة، فيقوم بترجمتها إلى قائمة دقيقة من "المكونات" المالية (المؤشرات) التي يحتاجها النظام.
- المسترجع (أمين المكتبة): يأخذ تلك القائمة ويذهب إلى قاعدة البيانات لجلب البيانات الخام الدقيقة (مثل "سعر الافتتاح" و"حجم التداول") المطلوبة. وهو يكتب استعلاماً (SQL) للحصول على البيانات.
- المبرمج (الطاهي): يأخذ البيانات والتعليمات، ويكتب كود "بايثون" لتشغيل المحاكاة، وينفذه، ويعطي الرقم النهائي.
4. النتائج: من اجتاز الاختبار؟
قاموا باختبار 23 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (سواء كانت مفتوحة المصدر أو مغلقة المصدر ومدفوعة) في هذا الامتحان.
- الفائزون: حققت أفضل النماذج مغلقة المصدر (مثل Gemini 3 Pro) أفضل النتائج، ولكن حتى هي لم تتجاوز نسبة 67% من الإجابات الصحيحة. وهذا يعني أنه حتى أذكى نماذج الذكاء الاصطناعي حالياً تعاني مع المنطق المعقد للتمويل.
- "فجوة المنطق": وجدوا أن العديد من نماذج الذكاء الاصطناعي جيدة في كتابة كود يبدو صحيحاً (من حيث الصيغة البرمجية) ولكنه يفشل في المنطق. على سبيل المثال، قد يكتب الذكاء الاصطناعي كوداً يحسب "التقلب" (مقياس للمخاطرة) ولكنه يخطئ في الحساب لأنه لا يفهم التعريف المالي.
- معاناة "النماذج الصغيرة": كانت النماذج الصغيرة من الذكاء الاصطناعي (التي تمتلك عدد خلايا دماغية أو "بارامترات" أقل) سيئة جداً في الأجزاء التي تعتمد على الرياضيات المكثفة. فإذا تطلب السؤال استدلالاً إحصائياً معقداً، غالباً ما تفشل النماذج الصغيرة تماماً، بينما تؤدي النماذج الأكبر بشكل أفضل.
- "الخلطة السرية": وجدوا أن إعطاء الذكاء الاصطناعي "ورقة غش" تحتوي على أكواد قصيرة موحدة (مثل قاموس يقول أن "التقلب = هذه الصيغة المحددة") ساعد الذكاء الاصطناعي على كتابة كود أفضل بكثير.
5. الخلاصة
يخلص البحث إلى أنه بينما يتحسن الذكاء الاصطناعي في أتمتة الأبحاث المالية، إلا أننا لم نصل إلى تلك المرحلة بعد.
- نماذج الذكاء الاصطناعي الحالية تشبه الطلاب العباقرة الذين يمكنهم كتابة مقال رائع ولكنهم غالباً ما يفشلون في امتحان الرياضيات.
- مجموعة بيانات BacktestBench متاحة الآن للجميع لاستخدامها في تدريب واختبار نماذج الذكاء الاصطناي الخاصة بهم، مما يضمن أن يكون الذكاء الاصطناعي المالي المستقبلي موثوقاً حقاً وليس مجرد "يهلوس" بالأرقام.
باختختصار: بنى البحث "امتحاناً نهائياً" صارماً للذكاء الاصطناعي ليثبت قدرته على التعامل مع عالم الاختبارات الخلفية المعقد والمملوء بالأخطاء في سوق الأسهم. وتظهر النتائج أنه رغم كون الذكاء الاصطناعي واعداً، إلا أنه لا يزال بحاجة إلى تعلم كيفية القيام بالرياضيات بدقة قبل أن نأتمنه على أموال حقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.