FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management

في عالم إدارة الاستثمار عالي المخاطر، لا يعتمد النجاح فقط على امتلاك فكرة جيدة حول الأسهم التي يجب شراؤها، بل يتطلب عملية صارمة ومنظمة من جمع البيانات الدقيقة، وإجراء حسابات معقدة، والالتزام بقواعد صارمة تحكم كيفية تحريك الأموال. تخيل محللاً مالياً يتعين عليه النظر في محفظة تضم ثلاثين شركة مختلفة، وحساب كيفية تفاعلها مع انهيار مفاجئ في السوق، ثم إعادة تنظيم الحيازات للبقاء ضمن الحدود القانونية، كل ذلك باستخدام المعلومات المتاحة فقط في يوم محدد في الماضي. هذا هو الواقع اليومي للمهنيين البشر، ولكنه يمثل آفاقاً جديدة للذكاء الاصطناعي. وبينما تبرع أنظمة الذاء الاصطناعي الحديثة في كتابة النصوص والإجابة على الأسئلة العامة، إلا أنها غالباً ما تعاني عندما تُطلب منها أداء هذه المهام المنضبطة بدقة. قد تفهم هذه الأنظمة مفهوم المخاطر، لكنها كثيراً ما تفشل في تنفيذ الخطوات الرياضية المحددة المطلوبة لقياسها بدقة أو اتباع التعليمات التفصيلية اللازمة لإعادة توازن المحفظة دون خطأ.

لقد أنشأ فريق من الباحثين طريقة جديدة لاختبار ما إذا كان بإمكان وكلاء الذكاء الاصطناعي التعامل حقاً مع هذا النوع من العمل. قاموا ببناء أرض اختبار متخصصة تسمى "FinSkillBench"، والتي تقدم لأنظمة الذكاء الاصطناعي 2,603 سيناريو استثماري متميز. تغطي هذه السيناريوهات ثلاثة مجالات رئيسية: بناء محفظة من الأسهم، وإدارة المخاطر المرتبطة بتلك الأسهم، وتحليل الصحة المالية للشركات الفردية. لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي عن تخمين الإجابة؛ بل أعطوه تاريخاً محدداً، ومجموعة من البيانات الخام، وهدفاً واضحاً، ثم تحققوا من النتيجة مقابل حل صحيح معروف تم إنتاجه بواسطة برامج مالية قياسية. كان الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي التصرف كمحلل محترف، يسترجع البيانات الصحيحة في الوقت المناسب ويستخدم الأدوات المناسبة لإنجاز المهمة.

اختبرت الدراسة ثلاث طرق مختلفة لمساعدة الذكاء الاصطناعي. في السيناريو الأول، كان على الذكاء الاصطناعي حل المشكلات بمفرده تماماً، دون أي مساعدة. وفي السيناريو الثاني، زود الباحثون الذكاء الاصطناعي بمجموعة "منسقة" من الأدوات والأدلة المكتوبة. لم تكن هذه مجرد وثائق عشوائية؛ بل كانت تعليمات ونصوصاً برمجية معدة بعناًية تُظهر للذكاء الاصطناعي كيفية إجراء الحسابات اللازمة وكيفية استخدام الأدوات المتاحة بشكل صحيح. وفي السيناريو الثالث، طُلب من الذكاء الاصطناعي كتابة تعليماته وأدواته الخاصة لنفسه قبل محاولة تنفيذ المهمة، أي أنه يحاول تعليم نفسه كيفية القيام بالوظيفة أثناء العمل.

كانت النتائج واضحة وحاسمة. فعندما مُنح الذكاء الاصطناعي الأدلة والأدوات الجاهزة والمكتوبة بشرياً، تحسن أداؤه بشكل كبير. وعبر جميع الاختبارات، قفز متوسط درجات وكلاء الذكاء الاصطنا هذه من حوالي 37 بالمئة إلى 53 بالمئة. وكان التحسن أكثر وضوحاً في المهام التي تتطلب عمليات حسابية مكثفة، مثل بناء محفظة مثالية أو تحديد المخاطر الخفية. في هذه المجالات، تمكن الذكاء الاصطناعي المزود بالأدوات المنسقة من حل مشكلات لم يكن قادراً على حلها سابقاً على الإطلاق. ووجد الباحثون أن امتلاك الوصول إلى هذه الإجراءات الموثوقة والخطوات المتسلسلة كان لا يقل أهمية عن اختيار نموذج الذكاء الاصطناعي نفسه. فنموذج الذكاء الاصطناعي القوي بدون الأدوات المناسبة غالباً ما يفشل، بينما ينجح النموذج الكفء المزود بالأدوات المناسبة.

في المقابل، لم تنجح فكرة تعليم الذكاء الاصطناعي لنفسه على الفور. فعندما أُجبر الوكلاء على كتابة أدلتهم وأدواتهم الخاصة قبل حل المشكلات، لم يتغير أداؤهم إلا قليلاً. لقد استهلكوا الكثير من الوقت وقدرة المعالجة لكتابة هذه التعليمات، لكن التعليمات التي أنشأوها كانت غالباً معيبة أو غير كاملة. أظهرت الدراسة أنه لا يمكن للذكاء الاصطناعي، في محاولة واحدة، أن يخترع بانتظام الإجراءات المعقدة والدقيقة اللازمة للتحليل المالي. لا يكفي أن يعرف الذكاء الاصطناعي كيفية كتابة الكود البرمجي؛ بل يجب تزويده بكود تم اختباره والتحقق منه بالفعل. كما أجرى الباحثون الاختبارات نفسها باستخدام نظام ذكاء اصطنا dernier مختلف للتأكد من أن نتائجهم لم تكن مجرد صدفة ناتجة عن إعداد محدد. وقد أنتج النظام الثاني نفس النمط: الأدوات المعدة مسبقاً ساعدت، بينما لم تنجح الأدوات المصنوعة ذاتياً.

يشير هذا العمل إلى أنه لكي يكون الذكاء الاصطناعي مفيداً في المجالات الجادة مثل التمويل، لا يمكننا الاعتماد على النماذج لاستنباط قواعد اللعبة أثناء سير العمل. بدلاً من ذلك، يجب علينا بناء أنظمة يمتلك فيها الذكاء الاصطناعي إمكانية الوصول إلى أساليب موثوقة ومحققة بشرياً للقيام بالعمل الشاق. وتخلص الدراسة إلى أن مستقبل الذكاء الاصطناعي في إدارة الاستثمار لا يكمن في نماذج أكثر ذكاءً وحدها، بل في أنظمة مصممة بشكل أفضل تجمع بين تلك النماذج ومهارات موثوقة وقابلة لإعادة الاستخدام. وقد أتاح الباحثون اختباراتهم وأدواتهم للآخرين، آملين في دفع المجال للأمام من خلال التركيز على كيفية تجهيز وكلاء الذكاء الاصطناعي بالموارد المناسبة لحل مشكلات العالم الحقيقي.