QuantCode-Bench: A Benchmark for Evaluating the Ability of Large Language Models to Generate Executable Algorithmic Trading Strategies
تقدم هذه الورقة QuantCode-Bench، وهو معيار شامل مصمم لتقييم قدرة النماذج اللغوية الكبيرة على توليد استراتيجيات تداول خوارزمية قابلة للتنفيذ لإطار عمل Backtrader، مما يكشف أن النماذج الحالية تعاني أساساً في تشغيل المنطق المالي بشكل صحيح والالتزام بدلالات المهام بدلاً من الصواب النحوي للكود.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً آلياً عبقرياً فائق الذكاء. يمكنك أن تطلب منه طبخ أي شيء، ويمكنه عادةً اتباع الوصفة بدقة، وتقطيع الخضروات وتتبيل اللحم بدقة جراحية.
ولكن الآن، تخيل أنك طلبت من هذا الطباخ ابتكار وصفة سرية جديدة لطبق لم يوجد من قبل، بناءً فقط على وصف غامض قدمته له. وهنا تكمن العقبة: لا يجب أن يبدو الطبق جيداً على الورق فحسب؛ بل يجب أن يكون لذيذاً حقاً عند أكله، ويجب أن يكون هو الطبق نفسه الذي طلبته، وليس مجرد حساء عشوائي قابل للأكل.
هذا هو بالضبط ما يدور حوله بحث QuantCode-Bench، ولكن بدلاً من الطباخ، هو يختبر النماذج اللغوية الكبيرة (AI) في قدرتها على كتابة استراتيجيات تداول في سوق الأسهم.
إليك تفصيل الأمر بكلمات بسيطة:
1. المشكلة: "الكود يعمل، لكنه لا يؤدي المهمة"
معظم اختبارات الذكاء الاصطناعي تختبر ما إذا كان الروبوت يستطيع كتابة كود لا يتوقف عن العمل (بناء الجملة/Syntax). الأمر يشبه التحقق مما إذا كان بإمكان الطباخ الآلي تقطيع البصل دون قطع إصبعه.
- الطريقة القديمة: إذا عمل الكود بدون أخطاء، يحصل الذكاء الاصطناعي على درجة النجاح.
- واقع التداول: في سوق الأسهم، يمكن للكود الذي يعمل بدون أخطاء أن يكون عديم الفائدة تماماً. تخيل روبوتاً طباخاً يصنع وعاءً مثالياً من الماء. إنه "صالح للأكل" و"آمن"، ولكن إذا كنت قد طلبت "كاري حار"، فقد فشل الروبوت.
- الهدف: أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي تحويل فكرة بشرية (مثل: "اشترِ عندما ينخفض السعر، وبع عندما يرتفع") إلى استراتيجية تقوم بعمليات تداول فعلية في العالم الحقيقي.
2. الاختبار: "QuantCode-Bench"
أنشأ الفريق مطبخاً تجريبياً ضخماً يسمى QuantCode-Bench.
- المكونات: جمعوا 400 فكرة تداول مختلفة من أماكن مثل Reddit، وTwitter (TradingView)، وGitHub. بعضها بسيط ("اشترِ بسعر منخفض، بع بسعر مرتفع")، وبعضها معقد ("استخدم معادلة رياضية محددة للتنبؤ بالطقس وتداول بناءً على ذلك").
- إطار العمل: أجبروا الذكاء الاصطناعي على استخدام أداة محددة تسمى Backtrader. فكر في هذا كأنه مطبخ صارم للغاية ومتطلب. إذا أمسكت بالسكين بشكل خاطئ، سيغلق المطبخ أبوابه. يجب على الذكاء الاصطناعي تعلم قواعد هذا المطبخ المحددة للنجاح.
3. الفلتر ذو المراحل الأربع (اختبار المذاق)
لكي يجتاز الكود اختبار QuantCode-Bench، يجب أن ينجو من أربع عقبات تزداد صعوبة:
- فحص القواعد (التجميع/Compilation): هل يحتوي الكود على أخطاء مطبعية؟ هل يمكن للكمبيوتر قراءته؟
- النتيجة: معظم نماذج الذكاء الاصطناعي المتطورة تجتاز هذا الاختبار. إنها بارعة في القواعد.
- فحص السلامة (الاختبار العكسي/Backtest): هل يعمل الكود دون الانهيار عند تغذيته ببيانات تاريخية؟
- النتيجة: معظم النماذج المتطورة تجتاز هذا أيضاً.
- فحص الحركة (عمليات التداول): هل قامت الاستراتيجية فعلياً بعمليات بيع أو شراء؟
- النتيجة: هنا تصبح الأمور فوضوية. العديد من نماذج الذكاء الاصطناعي تكتب كوداً يعمل بشكل مثالي ولكنه لا ينفذ عملية تداول واحدة. إنه مثل طباخ يجهز وجبة ولكنه لا يقدمها أبداً.
- فحص "هل استمعت إلي؟" (الحكم): يقوم حكم من الذكاء الاصطناعي بقراءة الكود ومقارنته بطلبك الأصلي. هل طلبت "كاري حار" وصنع الروبوت "كاري حار"، أم أنه صنع "أي طعام" فحسب؟
- النتيجة: هذا هو الجزء الأصعب. حتى أذكى نماذج الذكاء الاصطناعي تعاني من أجل مطابقة النية البشرية بدقة.
4. النتائج: المحاولة الواحدة مقابل "فرصة الإعادة"
اختبر الباحثون الذكاء الاصطناعي بطريقتين:
- تحدي "المحاولة الواحدة" (One-Shot): يحصل الذكاء الاصطناعي على فرصة واحدة لكتابة الكود. إذا فشل، فقد فشل.
- النتيجة: حتى أذكى نماذج الذكاء الاصطناعي نجحت في حوالي 70-76% فقط من المهام. كان بإمكانهم كتابة الكود، لكنهم غالباً ما أساءوا فهم منطق التداول.
- التحدي "الوكيل" (Agentic - فرصة الإعادة): يكتب الذكاء الاصطناعي الكود، ثم يتلقى رسالة خطأ (مثلاً: "لم تشترِ كمية كافية")، ويُسمح له بالمحاولة مرة أخرى حتى 10 مرات.
- النتيجة: كان هذا نقطة تحول. مع وجود التغذية الراجعة، قفزت أفضل نماذج الذكاء الاصطناعي إلى 95-98% من النجاح.
- الدرس المستفاد: الذكاء الاصطناعي ليس "غبياً"؛ إنه فقط يحتاج إلى إنسان (أو كمبيوتر) ليقول له: "مهلاً، لقد فاتك تفصيل معين"، ومن ثم يمكنه إصلاح ذلك.
5. لماذا يفشلون؟
وجد البحث أن الذكاء الاصطناعي لا يفشل لأنه لا يستطيع كتابة كود Python. إنه يفشل بسبب:
- "المنطق الشبح": يكتب الذكاء الاصطناعي كوداً يبدو صحيحاً، لكن الشروط تكون صارمة جداً بحيث لا يتغير سعر السهم أبداً لتفعيل عملية التداول.
- مشكلة "الأداة الخاطئة": يستخدم الذكاء الاصطنال معادلة رياضية خاطئة للمهمة المطلوبة.
- "الهلوسة": يعتقد الذكاء الاصطناعي أنه يعرف كيفية عمل أداة مالية معينة، لكنه في الواقع لا يعرفها.
الخلاصة الكبرى
كتابة كود يعمل أمر سهل بالنسبة للذكاء الاصطناعي الحديث. لكن كتابة كود يفعل ما كنت تقصده بالفعل لا يزال أمراً صعباً للغاية.
يخلص البحث إلى أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في التمويل (أو أي مجال معقد)، لا يمكننا فقط أن نطلب منه "كتابة الكود". نحن بحاجة لمنحه فرصة للفشل، والتعلم، وإصلاح نفسه. إذا عاملنا الذكاء الاصطناعي كموظف مبتدئ يحتاج إلى مدير يراجع عمله ويقول له: "حاول مرة أخرى، ولكن أصلح هذا الجزء المحدد"، فسيصبح قوياً للغاية. ولكن إذا توقعنا منهم الوصول إلى الكمال من المحاولة الأولى، فسيخيب أملنا غالباً.
باخت-اختصار: الذكاء الاصطناعي هو طباخ متدرب بارع. يمكنه التقطيع ببراعة، لكنه لا يزال بحاجة إلى رئيس طهاة يخبره: "لا، أردته أكثر حدة"، قبل أن يتمكن من صنع تحفة فنية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.