Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents
تقدم هذه الورقة البحثية \textsc{InvestLogicBench}، وهو معيار قياسي واسع النطاق لقرارات المستثمرين في العالم الحقيقي مهيكل في شكل تتبعات (ملف تعريف-حدث-استدلال-قرار-نتيجة)، لإثبات أن النماذج اللغوية الكبيرة المالية الحالية تُظهر استدلالاً مصقولاً ولكنه ضعيف التأسل، وهو ما يتم التغاضي عنه بواسطة التقييمات التقليدية التي تعتمد على النتائج فقط، وبالتالي تدعو إلى واجهة بيانات جديدة أصلية للعمليات من أجل وكلاء مخصصين ذوي عواقب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير في مكتبة ضخمة مليئة بكل كتاب كُتب عن المال والأسهم والاقتصاد. لديك صديق آلي فائق الذكاء قرأ كل صفحة فيها. إذا سألته: "ما هو التضخم؟" أو "من هو مؤسس شركة أبل؟"، يمكن للروبوت الإجابة فوراً وبشكل مثالي. هكذا تُختبر معظم البرامج الحاسوبية التي تسمى "نماذج اللغات الكبيرة" (LLMs) اليوم: إنها تشبه أبطال المسابقات الثقافية الذين يمكنهم استرجاع الحقائق وحل المسائل الرياضية المدرسية. ولكن هنا تكمن المفاجأة: كونك بطلاً في المعلومات العامة لا يعني أنك تستطيع لعب "لعبة الحياة". في العالم الحقيقي، لا يتعلق الاستثمار بحفظ الحقائق؛ بل يتعلق بالاستماع إلى حشد صاخب وفوضوي من الأخبار، ومعرفة ما يهم حقاً، واتخاذ قرار بناءً على شخصيتك ومدى قدرتك على تحمل المخاطر، ثم المراقبة لترى ما إذا كنت على صواب. إنه الفرق بين معرفة قواعد كرة القدم وبين تسجيل هدف فعلي بينما يحاول الفريق الآخر عرقلتك.
هذه هي المشكلة التي يتناولها بحث جديد. لاحظ المؤلفون أنه بينما تبدو هذه الروبوتات الذكية مذهلة في الإجابة على الأسئلة في الاختبارات، إلا أنها غالباً ما تفشل فشلاً ذريعاً عندما يُطلب منها اتخاذ قرارات استثمارية حقيقية في سوق حية. لقد ابتكروا طريقة جديدة لاختبار الذكاء الاصطناعي، ليس عبر سؤال "ماذا تعرف؟" بل بسؤال "كيف تفكر؟". لقد بنوا ساحة لعب خاصة حيث يمكنهم مراقبة كيفية ربط الذكاء الاصطناعي بين حدث إخباري، وتفكيره الخاص، وإجراء محدد، والنتيجة النهائية. اكتشافهم الكبير؟ أن روبوتات الذكاء الاصطناتي الأكثر ذكاءً، تلك التي تحصل على أعلى الدرجات في الاختبارات العامة، هي في الواقع سيئة جداً في هذا النوع المحدد من التفكير. فهي ترتبك بسبب الضجيج، وتقلد ما يفكر فيه الآخرون، وغالاً ما تخسر الأموال، بينما تحقق بعض النماذج "الأقل ذكاءً" نتائج أفضل. يشير البحث إلى أنه لبناء روبوت مالي مفيد حقاً، نحتاج للتوقف عن اختبار ذاكرته والبدء في اختبار قدرته على وضع خطة متماسكة في عالم فوضوي وغير يقيني.
مفارقة "الذكاء مع الجهل" العظيمة
أعد الباحثون إعداد لعبة عالية المخاطر تسمى "ساحة التداول الحية". تخيل لعبة فيديو تُعطى فيها روبوتات ذكاء اصطناعي مختلفة مبلغ 10,000 دولار من أموال وهمية وتُؤمر بتداول الأسهم في السوق الأمريكية الحقيقية لمدة سبعة أسابيع. يتعين عليها اتخاذ قراراتها الخاصة كل ساعة، والتفاعل مع الأخبار العاجلة تماماً كما يفعل المتداول البشري. كان الهدف هو معرفة ما إذا كانت "الذكاءات العامة" للذكاء الاصطناعي (مدى أدائه في الاختبارات القياسية) تتوافق مع "ذكاء التداول" لديه (مقدار المال الذي حققه).
كانت النتائج صادمة نوعاً ما. يطلق البحث على هذه الحالة اسم "مفارقة القدرات-الأداء". الأمر يشبه وجود طالب يحصل على درجة امتياز في كل امتحان تاريخ، لكنه يفشل فشلاً ذريعاً في إدارة كشك لبيع الليمون لأنه لا يستطيع التعامل مع عاصفة مطر مفاجئة. النماذج التي سجلت أعلى الدرجات العامة، مثل GPT-5 وClaude-Sonnet-4.5، كان أداؤها سيئاً للغاية. انتهى الأمر بأحدها، وهو GPT-5، بامتلاك مال أقل مما بدأ به، حيث خسر حوالي 1.0%. أما نموذج آخر، وهو Claude-Sonnet-4.5، فلم يحقق أي ربح تقريباً. كلاهما كان أداؤهما أسوأ من مجرد الجلوس وشراء صندوق مؤشرات بسيط (S&P 500)، وهو ما يمثل استراتيجية "عدم فعل أي شيء".
وفي تحول ساخر، كانت النماذج التي حصلت على درجات أقل في الاختبارات العامة هي الأفضل أداءً في السوق. فعلى سبيل المثال، حول نموذج DeepSeek-V3 مبلغ الـ 10,000 دولار الخاص به إلى أكثر من 11,400 دولار، متفوقاً على السوق وعلى النماذج "الأكثر ذكاءً". يشير هذا إلى أن كونك جيداً في الإجابة على الأسئلة لا يجعلك بالضرورة جيداً في اتخاذ القرارات عندما يكون المستقبل غير مؤكد.
لماذا تفشل الروبوتات "الذكية"؟
تعمق المؤلفون لمعرفة سبب خسارة النماذج ذات الدرجات العالية للأموال. وجدوا سببين رئيسيين، أطلقا عليهما "انحياز الإجماع" و"تجزؤ التفكير".
فكر في انحياز الإجماع (Consensus Bias) كخروف يتبع القطيع. عندما يحدث حدث كبير، تميل النماذج "الذكية" إلى مجرد تكرار ما يفكر فيه الجميع بالفعل لأن ذلك هو ما رأته بكثرة في بيانات تدريبها. ليس لديها الشجاعة للبحث عن زاوية مختلفة أو فرصة خفية. هي فقط تقول: "أوه، السوق ينخفض، لذا يجب أن أبيع"، حتى لو كان بإمكان خبير بشري رؤية فرصة للشراء بسعر منخفض.
أما تجزؤ التفكير (Reasoning Fragmentation) فهو مثل محاولة حل لغز بينما يقوم شخص ما برمي قصاصات الورق الملونة (الكونفيتي) في وجهك. عندما تصبح السوق صاخبة بأخبار متضاربة كثيرة، تصاب هذه النماذج بالارتباك. لا يمكنها ربط الخيوط بين قصة إخبارية عن اجتماع حكومي وسعر سهم معين. بدلاً من بناء قصة واضحة، يصابون بالارتباك، أو يقفزون إلى استنتاجات، أو يتخذون قرارات متناقضة مع أنفسهم. قد يرون عنواناً عن شركة تقنية ويقومون بشرائها فوراً، متجاهلين حقيقة أن الشركة أصدرت للتو تقريراً مالياً سيئاً.
الاختبار الجديد: INVESTLOGICBENCH2026
لإصلاح ذلك، بنى الفريق ساحة اختبار جديدة تسمى INVESTLOGICBENCH2026. بدلاً من مجرد مطالبة الذكاء الاصطناعي بالإجابة على سؤال، ينظر هذا المعيار إلى السلسلة الكاملة لكيفية اتخاذ الاستثمار. هم يسمونها سلسلة P→E→R→D→O:
- P (الشخص - Person): من هو المستثمر؟ ما هي أهدافه ومخاوفه؟
- E (الحدث - Event): ماذا حدث في العالم؟ (مثلاً: "البنك المركزي رفع أسعار الفائدة").
- R (التفكير - Reasoning): كيف يربط المستثمر بين الحدث وأهدافه؟ (مثلاً: "ارتفاع الفائدة يعني أن الاقتراض أصبح مكلفاً، لذا قد تنخفض أسهم التكنولوجيا").
- D (القرار - Decision): ما الإجراء الذي يتخذه؟ (مثلاً: "أبيع أسهم التكنولوجيا الخاصة بي").
- O (النتيجة - Outcome): هل نجح الأمر؟ (مثلاً: "نعم، انخفضت الأسهم، وقد وفرت المال").
لقد جمعوا أكثر من 200,000 قرار استثماري حقيقي من 151 خبيراً حقيقياً، مثل مديري الصناديق المشهورين والمؤثرين الماليين. لقد فككوا بالضبط كيف فكر هؤلاء البشر، من الأخبار التي قرؤوها إلى الصفقات التي قاموا بها. ثم طلبوا من نماذج الذكاء الاصطناي القيام بنفس الشيء: النظر في الأخبار، والتفكير كنوع معين من المستثمرين، واتخاذ قرار، ورؤية ما إذا كان المنطق صامداً.
النتائج: فجوة المنطق
عندما اختبروا نماذج الذكاء الاصطناعي مقابل هذا المعيار الجديد، كانت النتائج واضحة. سجلت النماذج درجات منخفضة جداً في "جودة التفكير". في مقياس من 1 إلى 5، سجل النموذج الأفضل أداءً (DeepSeek-V3) درجة 2.8، بينما سجل الأسوأ (GPT-5) 1.8 فقط. لقد واجهوا صعوبة في التمييز بين الأخبار المهمة والضجيج العشوائي. وكثيراً ما اتخذوا قرارات لا تتوافق مع تفكيرهم أو مع ملف تعريف المستثمر.
على سبيل المثال، في حالة اختبار واحدة، نظر خبير بشري في مزيج من الأخبار حول إغلاق حكومي، وتقارير الوظائف، وأسعار الفائدة، وقرر بشكل صحيح شراء أصول "آمنة". ومع ذلك، ارتبكت نماذج الذكاء الاصطناي. ركز بعضها فقط على العناوين المخيفة، وتجاهل البعض الآخر الأجزاء الأكثر أهمية، واتخذ البعض الآخر حججاً متناقضة. حتى أن أحد النماذج اشترى أسهماً لا علاقة لها إطلاقاً بالأخبار التي كان يقرأها.
يخلص البحث إلى أنه بينما يمكن للذكاء الاصطناعي تحقيق صفقات مربحة أحياناً (ربما عن طريق الحظ أو محاكاة الأنماط)، إلا أنه يفتقر إلى المنطق العميق والمتسق الذي يستخدمه الخبراء البشر للملاحة وسط عدم اليقين. النماذج "الذكية" تفشل ليس لأنها لا تعرف الحقائق، بل لأنها لا تستطيع بناء قصة متماسكة من فوضى العالم الحقيقي.
ماذا يعني هذا للمستقبل
لا يقول هذا البحث إن الذكاء الاصطناعي لن يكون جيداً في الاستثمار أبداً. بل يقول إننا بحاجة لتغيير طريقة اختبارهم وتدريبهم. لا يمكننا الاستمرار في إعطائهم اختبارات معلومات عامة أكثر صعوبة. نحن بحاجة لتعليمهم كيف يفكرون كاستراتيجيين، وكيف يفلترون الضجيج، وكيف يلتزمون بخطة حتى عندما تصبح الأمور مخيفة. ومن خلال استخدام هذا المعيار الجديد، يأمل الباحثون في بناء وكلاء ذكاء اصطناعي ليسوا فقط مطلعين، بل حكماء حقاً—قادرين على اتخاذ قرارات منطقية ومخصصة تعمل بالفعل في العالم الحقيقي الفوضوي وغير المتوقع. إن الرحلة نحو ذكاء اصطناعي مالي موثوق قد بدأت للتو، وهذا المعيار الجديد هو الخطوة الأولى في الاتجاه الصحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.