FinProBench: Evaluating Financial AI Agents with Role-Grounded Rubrics Derived from Professional Deliverables

تخيل أنك تحاول تعليم روبوت كيف يكون محترفاً، مثل طبيب أو محامٍ أو محلل مالي. في عالم الذكاء الاصطائي، لدينا هذه "الوكلاء" الأذكياء للغاية الذين يمكنهم الدردشة، وكتابة الأكواد، وحل الألغاز. ولكن كيف نعرف ما إذا كانوا يقومون بعمل جيد حقاً، أم أنهم يكتفون فقط بالظهور بمظهر من يقوم به؟ هذا هو السؤال الكبير في مجال تقييم الذكاء الاصطناعي. لفترة طويلة، كنا نختبر الذكاء الاصطناعي عبر سؤاله أسئلة بسيطة لها إجابات صحيحة أو خاطئة، مثل اختبار الاختيار من متعدد. لكن العمل المهني الحقيقي ليس اختباراً؛ بل هو مشروع معقد وفوضوي، مثل كتابة تقرير مكون من 50 صفحة أو بناء نموذج مالي. وللحكم على هذا النوع من العمل، نحتاج إلى "نموذج تقييم" (rubric) — ورقة تسجيل درجات مفصلة تخبرنا بالضبط ما الذي يجعل العمل ممتازاً مقابل كونه مجرد عمل مقبول. المشكلة تكمن في أن معظم أوراق التسجيل هذه يتم وضعها بناءً على التخمين لما يجب أن يفعله الذكاء الاصطناعي، أو من خلال النظر إلى إجابات الذكاء الاصطناعي نفسه، وهو أمر يشبه طلب تصحيح الطالب لواجباته المنزلية بنفسه. نحن بحاجة إلى طريقة لبناء أوراق التسجيل هذه بناءً على ما يفعله البشر الحقيقيون في وظائفهم بالفعل.

تقدم هذه الورقة طريقة جديدة لاختبار وكلاء الذكاء الاصطاطي المالي تسمى FinProBench، إلى جانب طريقة ذكية لبناء أوراق التقييم، تُعرف باسم بناء نماذج التقييم القائمة على الدور (RGRC). فكر في RGRC كأنه محقق لا ينظر إلى المشتبه بهم (الذكاء الاصطناعي) ليعرف القواعد، بل يدرس مسرح الجريمة (وثائق العمل المهني الحقيقية) ليرى كيف قام الخبراء بذلك بالفعل. لقد جمع الباحثون أكثر من 1,700 وثيقة حقيقية — مثل تقارير الاستثمار وفحوصات الامتثال — كتبها متخصصون ماليون حقيقيون. واستخدموا هذه الأمثلة الواقعية لتعليم الذكاء الاصطناعي كيفية تقييم عمل الذكاء الاصطناعي الآخر.

وهنا تكمن المفاجأة التي اكتشفوها: الأمر يعتمد على الوظيفة. بالنسبة للمهام المالية الشائعة واليومية والمعروفة جيداً (مثل كتابة تقرير سوق قياسي)، فإن مجرد طلب "القيام بعمل جيد" من الذكاء الاصطناعي (باستخدام أمر نصي) يعمل بشكل جيد تقريباً مثل طريقتهم الجديدة المتطورة. ومع ذلك، بالنسبة للأدوار المتخصصة والصعبة حيث تكون القواعد مخفية أو محددة للغاية (مثل خبير اكتواري متخصص في التأمين)، فإن نهج "الطلب بلطف" يفشل فشلاً ذريعاً. في تلك الحالات، تعد طريقة RGRC، التي تتعلم من المخرجات البشرية الحقيقية، نقطة تحول جذري، حيث رصدت 99.1% من المعايير الضرورية مقارلة بـ 78% فقط للطريقة البسيطة.

وعندما وضعوا وكلاء الذكاء الاصطناعي تحت الاختبار مقابل خبراء بشريين حقيقيين باستخدام أوراق التقييم عالية الجودة هذه، ظل البشر هم المتفوقون في المتوسط، حيث سجلوا 73.7 من 100، بينما تراوح أفضل وكلاء الذكاء الاصطناعي حول 70. لكن الأمر لم يكن هزيمة ساحقة؛ فقد امتلكت أنظمة الذكاء الاصطناعي قواها الخارقة الخاصة: بعضها كان أفضل في التعمق في الرياضيات، بينما كان البعض الآخر بارعاً في التنسيق. ومع ذلك، كان البشر هم الأكثر اتساقاً في جميع المجالات، حيث أتقنوا الهيكل، ودقة البيانات، وقواعد الامتثال. تشير الورقة إلى أنه بينما أصبح الذكاء الاصطناعي جيداً جداً، إلا أنه لا يزال بحاجة إلى التعلم من الأسرار "الضمنية" (غير المعلنة) للمهنيين الحقيقيين ليتمكن حقاً من إتقان الوظائف المعقدة. والأفضل من ذلك؟ نظرًا لأنهم بنوا "نموذج تقييم رئيسي" لكل دور وظيفي، فقد استطاعوا إعادة استخدامه للعديد من المهام المختلفة، مما وفر وقتاً هائلاً — أسرع بـ 6.7 مرة تقريباً من إنشاء ورقة تقييم جديدة من الصفر لكل مهمة.