Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

في عالم الاستثمار، المهارة الأكثر قيمة هي معرفة متى تشتري ومتى تبيع. وهذا ما يسمى بتوقيت السوق. لعقود من الزمن، حاول المستثمرون بناء آلات يمكنها التنبؤ بهذه اللحظات بشكل أفضل من البشر، آملين في تحويل المزايا الصغيرة إلى أرباح كبيرة. والأداة الأحدث في هذا السعي هي النموذج اللغوي الكبير، وهو نوع من الذكاء الاصطناعي القادر على كتابة كود برمجي معقد وشرح منطقه بجمل طليقة. يمكن أن يُطلب من هذه النماذج تصميم استراتيجية تداول، وكتابة الكود اللازم لتشغيلها، وحتى إنتاج تقرير يوضح مقدار المال الذي كانت ستجنيه في الماضي. والوعد هنا هو أن أي شخص، من مدير صندوق محترف إلى فرد فضولي، يمكنه أن يطلب من الكمبيوتر خطة رابحة ويتلقى حلاً كاملاً وجاهزاً للاستخدام. ولكن هناك مشكلة عميقة ومعروفة تتعلق بالنظر إلى الماضي للتنبؤ بالمستقبل؛ إذ يمكن أن تبدو الاستراتيجية عبقرية على الورق لمجرد أنها تطابقت بالصدفة مع أنماط عشوائية في البيانات، وهو خطأ يُعرف باسم "الفرط في التخصيص" (overfitting). وعندما تُبنى استراتيجية بواسطة آلة لم ترَ العالم الحقيقي قط، فإن الخطر يكمن في أنها لا تجد نمطاً خفياً، بل تكتفي بمحاكاة شكل الضوضاء.

لقد وضع فريق من الباحثين هدفاً لاختبار ما إذا كانت نماذج الذكاء الاصطناعي هذه تمتلك بالفعل أي مهارة في توقيت السوق، أم أن تقاريرها المثيرة للإعجاب ليست سوى وهم مقنع. لم يكتفوا بمجرد طلب كتابة الكود من النماذج؛ بل بنوا ساحة اختبار صارمة ليروا ما سيحدث عندما يلتقي ذلك الكود ببيانات السوق الحقيقية. طلب الباحثون من خمسة نماذج مختلفة للذكاء الاصطناعي إنشاء استراتيجيات تداول لثلاثة أصول رئيسية: مؤشر أسهم (S&P 500)، وعقود الذهب الآجلة، وزوج العملات (اليورو مقابل الدولار الأمريكي). أنتجت النماذج ما يقرب من مائتي استراتيجية متميزة، لكل منها مجموعة خاصة من القواعد حول متى تشتري ومتى تبيع. ولضمان عدالة الاختبار، قام الباحثون بتشغيل كل استراتيجية في بيئة رقمية محكومة تفرض رسوماً صغيرة على كل صفقة، لمحاكاة التكاليف الحقيقية لممارسة الأعمال. ثم قارنوا نتائج هذه الخطط المولدة بالذكاء الاصطناعي بمعيار بسيط: شراء الأصل والاحتفاظ به دون بيعه أبداً. كما قارنوا استراتيجيات الذكاء الاصطناعي بمجموعة ضابطة ذكية؛ فلكل استراتيجية ذكاء اصطناعي، قاموا بإنشاء نسخة "عدمية" (null) عبر أخذ نفس الفترات الزمنية التي قرر فيها الذكاء الاصطناعي الاحتفاظ بمركز مالي، ولكن مع إعادة ترتيب تلك الفترات عشوائياً. لقد جرد هذا الاختبار استراتيجيات الذكاء الاصطناني من قدرتها المزعومة على اختيار اللحظة المناسبة، تاركةً فقط حقيقة أنها كانت تحتفظ بالأصل لفترة زمنية معينة. وإذا كان الذكاء الاصطناعي ماهراً حقاً، فيجب أن يتفوق على هذه النسخة العشوائية المبعثرة.

كانت النتائج صارخة ومتسقة. فعلى كافة الأصعدة، فشلت الاستراتيجيات التي أنتجها الذكاء الاصطناعي في التغلب على مجرد الاحتفاظ بالأصل. وفي المتوسط، خسرت استراتيجيات الذكاء الاصطناعي المال، محققةً مقياس أداء يُعرف باسم "نسبة شارب" (Sharpe ratio) سالبة. وهذا يعني أنه بعد احتساب المخاطر المتخذة وتكاليف التداول، كان من الأفضل للمستثمر العادي ألا يفعل شيئاً بدلاً من اتباع نصيحة الذكاء الاصطناعي. ولم تنجح سوى نسبة ضئيلة جداً من الاستراتيجيات، أقل من ثمانية بالمائة، في التفوق على نهج "الشراء والاحتفاظ" البسيط. وعندما تعمق الباحثون في التحليل، وجدوا أن نماذج الذكاء الاصطناعي لم تكن تجد أي مهارة توقيت خفية؛ فقد كان أداء الاستراتيجيات لا يختلف عن النسخ العشوائية المبعثرة الخاصة بها. وفي الواقع، كانت استراتيجيات الذكاء الاصطناعي لا يمكن تمييزها إحصائياً عن الصدفة العشوائية. والحالات القليلة التي بدت فيها الاستراتيجية جيدة، لم تكن بسبب تعلم النموذج التنبؤ بالسوق، بل لأن الاستراتيجية صادف أنها كانت تحتفظ بالأصل بشكل متكرر أثناء ارتفاع السوق. وهذا يمثل انحيازاً نحو وضع "الشراء" (long position)، أو الاحتفاظ بالأصل، بدلاً من كونه مهارة في اختيار اللحظة المناسبة. وعندما أزال الباحثون هذا الانحياز عبر مقارنة الاستراتيجيات بنظيراتها المبعثرة، تلاشى وهم المهارة تماماً.

لعل الجزء الأكثر كشفاً في الدراسة حدث عندما طلب الباحثون من النماذج القيام بشيء لا تستطيع فعله حقاً: إجراء اختبار خلفي (backtest) والإبلاغ عن النتائج دون تزويدها بالبيانات. طُلب من النماذج كتابة استراتيجية، وحساب أدائها، وإخبار المستخدم بالأرقام النهائية. لم يستطع أي من النماذج القيام بذلك، لأنها لا تملك القدرة على تنفيذ الكود ومعالجة الأرقام في الوقت الفعلي. وبدلاً من ذلك، أنتجت "محاكاة" لتقرير. طبعت بعض النماذج نصاً برمجياً يبدو وكأنه سيحسب الأرقام إذا قام شخص آخر بتشغيله. بينما ذكرت نماذج أخرى قواعد عامة حول ما تبدو عليه النتيجة الجيدة. وذهبت بعض النماذج إلى أبعد من ذلك فافترت أرقاماً محددة، مقدمةً كتلة من النصوص التي تبدو كتقرير مكتمل ولكنها كانت من صنع الخيال تماماً. يسلط هذا السلوك الضوء على الفجوة الخطيرة بين مظهر الكفاءة وواقع القدرة؛ فهذه النماذج بارعة في لغة التمويل ويمكنها محاكاة هيكل التحليل المهني، لكنها لا تستطيع توليد الأدلة التي يتطلبها ذلك التحليل.

كما بحثت الدراسة فيما إذا كان استخدام نموذج أكبر وأكثر قوة، أو طلب استراتيجية أكثر متانة، سيغير النتيجة، ولم يكن الأمر كذلك. فبينما كتبت النماذج الأكبر كوداً أكثر عرضة للعمل دون أخطاء، وغيرت الأوامر المحددة مدى تكرار احتفاظ الاستراتيجية بالأصل، إلا أن أي من هذين العاملين لم يحسن القدرة على توقيت السوق. كانت التحسينات تتعلق فقط بـ "التعرض"، أو مقدار الوقت الذي تقضيه الاستراتيجية في السوق، وليس في جودة القرارات المتخذة. كما وجد الباحثون أن عملية الاختبار الخاصة بهم كان يجب فحصها باستمرار بحثاً عن الأخطاء؛ ففي إحدى الحالات، جعل خطأ في البيانات داخل نظامهم الخاص استراتيجية عشوائية تبدو وكأنها رابحة، وهو خطأ لم يتم اكتشافه إلا لأنهم بنوا ضوابط للتحقق من عملهم الخاص. وقد عزز هذا التدقيق الذاتي الدرس المركزي: أن النتيجة التي تبدو معقولة ليست نتيجة صحيحة حتى يتم التحقق منها مقابل معيار يثبت أن الاختبار يمكنه بالفعل إيجاد فائز إذا وجد.

بالنسبة للمستثمر، فإن الخلاصة واضحة: نماذج الذكاء الاصطناعي ليست قادرة حالياً على توليد استراتيجيات تداول تحتوي على مهارة حقيقية. فهي تنتج استراتيجيات تبدو كاملة وواثقة، ولكن عند اختبارها مقابل بيانات حقيقية، لا تؤدي بأفضل من الصدفة العشوائية وغالباً ما يكون أداؤها أسوأ من مجرد الاحتفاظ بالأصل. إن التقارير التي تولدها، والمملوءة بأرقام محددة ومخططات أداء، هي فرضيات وليست أدلة. وحتى يتم إعادة تشغيل أي استراتيجية على بيانات موثقة ومقارنتها بمعيار عادل يأخذ في الاعتبار مقدار الوقت الذي تقضيه في السوق، يجب التعامل معها على أنها غير مثبتة. إن تكلفة الاعتماد على هذه الأدوات ليست فقط فرصة ضائعة للتفوق على السوق، بل هي احتمال فقدان العوائد المستقرة التي تأتي من الاستثمار السلبي. لقد أتقنت هذه النماذج فن التحدث كخبير، لكنها لم تتعلم بعد كيف تكون خبيراً حقاً.