Herculean: An Agentic Benchmark for Financial Intelligence
تقدم الورقة البحثية "Herculean"، وهو أول معيار وكيل للذكاء المالي يقيم الوكلاء الاصطناعيين عبر أربعة تدفقات عمل معقدة (التداول، والتحوط، ورؤى السوق، والتدقيق) باستخدام بيئات معيارية قائمة على بروتوكول (MCP)، كاشفةً أنه في حين يؤدي الوكلاء بشكل جيد في التداول والرؤى، فإنهم يواجهون صعوبة كبيرة في التنسيق طويل الأمد والتحقق المنظم المطلوب لعمليات التحوط والتدقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً مالياً جديداً. في الماضي، ربما كنت تختبره بسؤاله: "ما كان سعر سهم شركة أبل بالأمس؟" أو "لخص لي هذا التقرير الربحي". إذا أجاب بشكل صحيح، كنت تعتقد أنه ذكي.
لكن مؤلفي هذه الورقة البحثية يجادلون بأن الإجابة الصحيحة على سؤال واحد لا تعني القدرة على أداء وظيفة حقيقية. لقد ابتكروا اختباراً جديداً يسمى HERCULEAN (وهو اسم مستوحى من فكرة المهام "الهرقلية" أو الجبارة) ليروا ما إذا كانت وكلاء الذكاء الاصطناعي يمكنهم حقاً "العمل" كخبراء ماليين محترفين، وليس مجرد الإجابة على أسئلة المعلومات العامة.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
الوظائف الأربع التي أعطوها للذكاء الاصطناعي
بدلاً من مج simp quiz (اختبار معلومات بسيط)، أعطى الباحثون الذكاء الاصطناعي أربع وظائف متميزة ومعقدة يقوم بها البشر الحقيقيون كل يوم. فكر في هذه الوظائف كأنها أربع نوبات عمل مختلفة في مصنع مالي:
المتداول (التداول):
- الوظيفة: لمدة ثلاثة أشهر، يتعين على الذكاء الاصطناعي اتخاذ قرار يومي بشأن شراء أو بيع أو الاحتفاظ بسهم معين.
- العقبة: الأمر يشبه لعب مباراة شطرنج تتغير رقعتها كل يوم، ولا يمكنك رؤية المستقبل. عليك القيام بنقلة، والتعايش مع عواقبها، ثم القيام بالنقلة التالية بناءً على ما تعرفه الآن فقط.
- النتيجة: كان الذكاء الاصطناعي جيداً في هذا. استطاع اتخاذ القرارات، وإن لم تكن دائماً مربحة.
مدير المخاطر (التحوط):
- الوظيفة: هذا يشبه لاعب السير على الحبال. يتعين على الذكاء الاصطناعي اختيار سهمين يتحركان في اتجاهين متعاكسين (أو على الأقل بشكل مختلف)، والمراهنة على "الفجوة" بينهما، وليس على صعود السوق أو هبوطه.
- العقبة: يتطلب الأمر تذكر العلاقة بين شيئين مختلفين على مدى فترة طويلة. إذا نسيت تفاصيل السهم الأول أثناء النظر إلى الثاني، فستسقط عن الحبل.
- النتيجة: عانى الذكاء الاصطناعي هنا. واجه صعوبة في تتبع العلاقة طويلة الأمد بين الأصلين.
المحلل (رؤى السوق):
- الوظيفة: يتعين على الذكاء الاصطناعي قراءة الأخبار والأسعار والتقاري، ثم كتابة تقرير استثماري احترافي كل أسبوع يوصي فيه بالشراء أو البيع.
- العقبة: الأمر لا يتعلق فقط بإيجاد الحقائق؛ بل يتعلق بنسجها في قصة متماسكة ومنطقية للمستثمر البشري.
- النتيجة: كان الذكاء الاصطناعي جيداً بشكل مفاجئ في هذا. كتب تقارير سلسة ومنظمة للغاية تبدو احترافية جداً.
المراجع (التدقيق):
- الوظيفة: يجب أن يعمل الذكاء الاصطناعي كمحاسب صارم. ينظر في الوثائق المالية الرسمية للشركة ويتأكد من أن الأرقام تتطابق بشكل صحيح وفقاً للقواعد الحكومية المعقدة.
- العقبة: لا يوجد مجال لـ "ربما" أو "يبدو صحيحاً". إنها مسألة رياضية حيث إذا أخطأت في فاصلة عشرية واحدة أو أسأت تفسير قاعدة ما، فسيكون العمل كله خاطئاً.
- النتيجة: كانت هذه أصعب وظيفة. فشل الذكاء الاصطناعي فيها بشكل متكرر. غالباً لم يستطع اتباع القواعد الصارمة أو إجراء العمليات الحسابية بشكل صحيح، رغم براعته في كتابة القصص.
الاكتشاف الكبير: "الطلاقة" مقابل "الموثوقية"
وجدت الورقة البحثية فجوة غريبة في طريقة تفكير الذكاء الاصطناعي.
- مشكلة "الحكواتي": الذكاء الاصطناعي بارع في التوليد السلس. إذا طلبت منه كتابة تقرير أو شرح اتجاه ما، فإنه يبدو واثقاً وذكياً. إنه يشبه طالباً يمكنه كتابة مقال جميل ولكنه يرسب في اختبار الرياضيات.
- مشكلة "المنفذ": الذكاء الاصطناعي سيء في التحقق الهيكلي. عندما تتطلب الوظيفة منطقاً صارماً، أو التحقق من الحقائق مقابل القواعد، أو تذكر حالة معينة عبر وقت طويل (مثل وظائف المراجع أو مدير المخاطر)، فإنه ينهار.
تشبيه "صندوق الأدوات"
اختبر الباحثون أيضاً "أطر العمل" المختلفة (البرمجيات التي يعمل داخلها وكيل الذكاء الاصطناعي). ووجدوا أن أداء الذكاء الاصطناعي يعتمد بشدة على كيفية السماح له باستخدام أدواته.
- الوكيل "خفيف الوزن": تخيل ذكاءً اصطناعياً يحاول القيام بكل شيء في ذهنه دون تدوين أي شيء. يصاب بالارتباك بسهء، خاصة في المهام الطويلة.
- الوكيل "المنظم": تخيل ذكاءً اصطناعياً يُجبر على استخدام قائمة مراجعة، وتدوين كل خطوة، والتحقق من عمله قبل الانتقال للخطوة التالية. هذا الإصدار كان أداؤه أفضل بكثير.
الدرس المستفاد: الأمر لا يتعلق فقط بامتلاك "دماغ أذكى" (نموذج ذكاء اصطناعي أفضل)؛ بل يتعلق بامتلاك نظام أفضل لإدارة هذا الدماغ. فالدماغ الذكي بدون نظام جيد لإبقائه على المسار الصحيح سيظل يرتكب الأخطاء في الوظائف عالية المخاطر.
الخاتمة
تخلص الورقة البحثية إلى أنه بينما يتحسن الذكاء الاصطناعي في التحدث عن التمويل، إلا أنه ليس مستعداً بعد للقيام بعمل موظف مالي محترف. يمكنه كتابة التقرير (رؤى السوق)، لكنه يكافح لإدارة المخاطر (التحوط) أو التحقق من الرياضيات (التدقيق).
لقد بنى الباحثون HERCULEAN ليظهروا لنا بالضبط أين تكمن نقاط الضعف في هذه "العضلات"، حتى يتمكن المطورون من بناء أنظمة لا تكتفي فقط بالظهور بمظهر ذكي، بل تعمل بالفعل بموثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.