PortBench: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management
تقدم الورقة البحثية PortBench، وهو معيار شامل يتميز بمجموعة بيانات أسئلة وأجوبة ثابتة ومسار تخصيص ديناميكي مكون من خمس مراحل لتقييم النماذج اللغوية الكبيرة في إدارة المحافظ الاستثمارية، كاشفةً أنه على الرغم من الأداء القوي في الأسئلة المالية الثابتة، فإن معظم النماذج تفشل في التفوق على استراتيجيات التوزان المتساوي الأساسية وتعاني من تراجعات كارثية تحت الضغط بسبب تجاهل هياكل الارتباط وأخطاء الاستدلال التراكمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتوظيف فريق من المستشارين الماليين الفائقين في الذكاء (نماذج الذكاء الاصطناعي) لإدارة مدخرات حياتك. أنت تريد منهم القيام بما هو أكثر من مجرد الإجابة على أسئلة عامة حول المال؛ بل تريدهم أن يبنوا فعلياً محفظة استثمارية تنمي ثروتك مع الحفاظ على سلامتها عند انهيار السوق.
ورقة PORTBENCH هي بمثابة "اختبار رخصة قيادة" جديد وصارم للغاية، صُمم لمعرفة ما إذا كان هؤلاء المستشارين الآليين مستعدين حقاً للقيادة، أم أنهم بارعون فقط في تسميع كتاب القواعد.
إليك تفصيل نتائج الورقة باستخدام تشبيهات بسيطة:
1. المشكلة: فجوة "الكتاب المدرسي مقابل الواقع"
كانت الاختبارات السابقة للذكاء الاصطالي المالي تشبه سؤال طالب لحل مسائل رياضية على ورقة؛ حيث يمكنهم الحصول على درجات كاملة في المعادلات. لكن في العالم الحقيقي، لا يقتصر الاستثمار على الرياضيات فحسب؛ بل يتعلق بكيفية تحرك الأصول المختلفة (الأسهم، السندات، العملات الرقمية، العقارات) معاً.
- الخلل: لم تختبر الاختبارات القديمة ما إذا كان الذكاء الاصطناعي يفهم الارتباط (Correlation). تخيل طباخاً يصنع سلطة "متنوعة" بوضع 50 نوعاً مختلفاً من الخس في وعاء واحد. يبدو الأمر وكأنه يحتوي على مكونات كثيرة، لكنها جميعاً نفس الشيء. إذا مرض الخس، ستفسد السلطة بأكملها.
- الواقع: التنويع الحقيقي يشبه سلطة تحتوي على الخس، الطماطم، الجبن، والمكسرات. إذا ذبل الخس، فقد تظل المكسرات مقرمشة. وجدت الورقة أن المعايير المرجعية الموجودة لم تستطع التمييز بين سلطة "كلها خس" والسلطة الحقيقية.
2. الحل: PORTBENCH (اختبار القيادة الكامل)
بنى المؤلفون PORTBENCH، وهو محاكاة ضخمة تغطي 10 سنوات من تاريخ السوق و6 أنواع مختلفة من الأصول (أسهم، سندات، عملات رقمية، إلخ).
بدلاً من مجرد طرح الأسئلة، وضعوا الذكاء الاصطناعي في خط إنتاج قرار مكون من 5 مراحل، يشبه سباق التتابع حيث يكون "عصا التتابع" هو مالك:
- تفسير السوق: قراءة تقرير الطقس (هل هو سوق صاعدة أم عاصفة؟).
- توليد الإشارات: اتخاذ القرار بشأن الشراء أو البيع بناءً على حالة الطقس.
- تحسين الأوزان: تحديد كمية المال التي توضع في كل سلة.
- التنفيذ: إجراء عمليات التداول فعلياً (ودفع رسوم المعاملات).
- مراقبة المخاطر: التحقق مما إذا كان القارب يسرب الماء وإصلاح الأمر قبل أن يغرق.
كما قدموا مقياساً جديداً يسمى CEPS. فكر في هذا كـ "درجة رد الفعل المتسلسل". إذا ارتكب الذكاء الاصطناعي خطأً صغيراً في الخطوة 1، فهل يتراكم هذا الخطأ ليصبح كارثة بحلول الخطوة 5؟ يقيس CEPS مدى سوء تراكم الأخطاء.
3. اختبار الضغط: محاكاة "الإعصار"
الاختبار لا يعمل في الطقس الهادئ فحسب، بل يجبر الذكاء الاصطناعي على التنقل عبر ثلاثة "أعاصير" تاريخية:
- صدمة الصين عام 2015.
- انهيار كوفيد عام 2020.
- انهيار العملات الرقمية عام 2022.
كما أعطوا الذكاء الاصطناعي ثلاث "شخصيات" مختلفة لإدارتها:
- المحافظ: "لا يمكنني خسارة قرش واحد".
- المتوازن: "أريد نمواً، لكن يمكنني تحمل بعض التقلبات".
- الجريء: "أريد الثراء سريعاً، حتى لو خسرت كل ما أملك".
4. النتائج الصادمة: فشل الذكاء الاصطناعي في الاختبار
اختبر المؤلفون 10 من أكثر نماذج الذكاء الاصطناعي تقدماً في العالم. وكانت النتائج متواضعة:
- معدل "فشل بنسبة 90%": رغم حصولهم على درجات عالية جداً في "الأسئلة النظرية" (الأسئلة الثابتة)، إلا أن 90% من تركيبات الذكقة الاصطناعي فشلت في التفوق على استراتيجية بسيطة تعتمد على تقسيم المال بالتساوي بين جميع الأصول (استراتيجية "الوزن المتساوي").
- سلطة "كلها خس": كانت نماذج الذكاء الاصطناعي سيئة جداً في فهم الارتباطات. فبدلاً من بناء محفظة متوازنة، مالوا إلى توزيع أموالهم بشكل ضئيل جداً على كل شيء، مما أدى في النهاية إلى محفظة "شبه موحدة". لم يعرفوا كيفية التركيز على الأشياء الصحيحة للتحوط ضد المخاطر.
- تأثير "النمر الورقي": عندما كان السوق هادئاً، بدا الذكاء الاصطناعي رائعاً. ولكن عندما ضرب "الإعصار" (مثل انهيار العملات الرقمية في 2022)، عانت النماذج التي بدت آمنة فجأة من خسائر فادحة. لقد اتبعوا جميع القواعد ومع ذلك أغرقوا السفينة لأنهم لم يفهموا طبيعة المخاطر.
- انهيار التنفيذ: حتى عندما كان الذكاء الاصطناعي يحدد الاستراتيجية الصحيحة على الورق، فإنه فشل في التنفيذ. كان الأمر يشبه طباخاً يعرف الوصفة المثالية ولكنه ينسى تشغيل الفرن. نادراً ما قاموا بالتداول بما يكفي لنقل المحفظة إلى حيث ينبغي أن تكون.
5. الشيء الوحيد الذي يمكن للذكاء الاصطناعي فعله
تخلص الورقة إلى أنه بينما يعد هؤلاء الآليون سيئين حالياً في توليد العوائد (جني المال)، إلا أن لديهم قوة خارقة فريدة لا تملكها الصيغ الرياضية البسيطة وهي: القدرة على التكيف.
إذا قلت لصيغة رياضية بسيطة: "يمكنك استثمار 40% فقط في الأسهم"، فستفعل الشيء نفسه في كل مرة. لكن نماذج الذكاء الاصطناعي هذه يمكنها حقاً الاستماع إلى شخصيتك المحددة ("أنا خائف من خسارة المال") وتعديل استراتيجيتها قليلاً لتناسب مخاوفك. إنهم أفضل في الاستماع إلى العميل من كونهم بارعين في هزيمة السوق.
الخلاصة
تجادل الورقة بأننا لا ينبغي أن نثق في هذه النماذج من الذكاء الاصطناعي لإدارة أموالنا بعد. إنهم يشبهون الطلاب العباقرة الذين يمكنهم اجتياز اختبار قيادة تحريري، لكنهم قد يصدمون السيارة بمجرد اصطدامها بحفرة حقيقية. إنهم يعاملون بيانات السوق المعقدة كأنها ضجيج، ويفشلون في فهم كيف يحمي بعضها البعض من المخاطر، وينهارون تحت الضغط.
الدرس المستفاد: لا تدع ذكاءً اصطناعياً يقود محفظتك الاستثمارية لمجرد أنه حصل على درجة 'A' في الاختبار. فهو لا يزال لا يعرف كيف يقود السيارة تحت المطر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.