Finch: Benchmarking Finance & Accounting across Spreadsheet-Centric Enterprise Workflows
تقدم هذه الورقة FinWorkBench (Finch)، وهو معيار مرجعي شامل مستمد من بيانات مؤسسية حقيقية يقيم وكلاء الذكاء الاصطناعي الرائدين في تدفقات عمل مالية ومحاسبية معقدة ومتعددة الوسائط، مما يكشف عن فجوات أداء كبيرة حيث لم تحقق حتى النماذج المتقدمة مثل GPT 5.1 Pro سوى معدل نجاح بنسبة 38.4%.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يقوم بعملك كمحلل مالي. قد تظن: "لا مشكلة! فقط قل له: 'اجمع الأرقام' أو 'اصنع رسماً بيانياً'".
لكن في عالم التمويل الحقيقي، الأمر ليس بهذه البساطة. الأمر لا يشبه حل مسألة رياضية على سبورة بيضاء نظيفة، بل يشبه محاولة إصلاح سقف يسرب الماء بينما تقف على سلم مهتز، تحت المطر، ممسكاً بخريطة كانت مجعدة وملصقة ببعضها البعض، والخريطة مكتوبة بثلاث لغات مختلفة.
هذا هو بالضبط ما تدور حوله ورقة FINCH البحثية.
إليك تفصيل الورقة باللغة البسيطة، باستخدام بعض التشبيهات من الحياة اليومية.
1. المشكلة: "المطبخ الفوضوي" للتمويل
معظم اختبارات الذكاء الاصطناعي اليوم تشبه طلب خبز كعكة من روبوت باستخدام وصفة مثالية ومقاسة بدقة في مطبخ نظيف. المكونات في أوعية مرتبة، والتعليمات واضحة، والفرن مضبوط على درجة الحرارة الصحيحة.
لكن العمل المالي الحقيقي هو مطبخ فوضوي.
- المكونات مبعثرة: البيانات ليست في قائمة واحدة مرتبة. إنها في 50 ملف إكسل مختلف، وبعض ملفات PDF، وبعض رسائل البريد الإلكتروني، وبعض الرسوم البيانية.
- الوصفة مكسورة: التعليمات مخبأة داخل رسائل بريد إلكتروني قديمة ("هل يمكنك تحديث ميزانية عام 2002؟") أو مدفونة في تاريخ كيفية تغير جدول بيانات بمرور الوقت.
- الأدوات غريبة: "الجداول" ليست شبكات مثالية. تحتوي على خلايا مدمجة، وخطوط غريبة، ورسوم بيانية مدرجة في منتصف النص، ومعادلات تبدو وكأنها رموز سرية.
- الوظيفة طويلة: أنت لا تقوم فقط بـ "جمع الأرقام". عليك العثور على البيانات، وتنظيفها، والتحقق مما إذا كانت منطقية، وحساب توقعات جديدة، ورسم رسم بياني، وكتابة تقرير. إنها سلسلة طويلة من الخطوات حيث يمكن لخطأ واحد أن يفسد العملية بأكملها.
2. الحل: FINCH (الـ "صالة الرياضية للواقع الحقيقي")
أنشأ المؤلفون معياراً جديداً يسمى FINCH (معيار التمويل والمحاسبة). فكر في هذا كأنه صالة رياضية لروبوتات الذكاء الاصطناي، ولكن بدلاً من رفع الأثقال، يتعين عليهم التنقل في مكتب فوضوي.
- من أين حصلوا على البيانات؟ لم يبتكروا مشاكل وهمية. لقد بحثوا في أرشيفات حقيقية وتاريخية (مثل رسائل إينرون الشهيرة ووثائق بنكية حقيقية) من عام 2000 إلى 2025. وجدوا 172 مهمة حقيقية كان على البشر القيام بها فعلياً.
- كيف بنوه؟ استخدموا مزيجاً من الذكاء الاصطناعي والخبراء البشريين. تخيل فريقاً من المحققين ينظرون إلى سلسلة رسائل بريد إلكتروني قديمة وكومة من جداول البيانات، ويحاولون اكتشاف: "ما الذي كان يحاول الإنسان فعله هنا؟ ما هي الخطوات التي اتخذها؟ وما هي النتيجة النهائية؟" ثم كتبوا "اختباراً" بناءً على تلك القصة.
- النطاق: هذا ليس اختباراً صغيراً. فهو يتضمن 1,710 جدول بيانات و 27 مليون خلية. إنه مكتبة ضخمة وفوضوية من البيانات المالية.
3. الاختبار: هل تستطيع الروبوتات فعل ذلك؟
أخذ المؤلفون أذكى روبوتات الذكاء الاصطناعي المتاحة اليوم (مثل GPT-5، وClaude، وGemini) وألقوا بهم في هذا المطبخ الفوضوي.
كانت النتائج صادمة:
حتى "العقول الفائقة" فشلت في معظم الأحيان.
- معدل النجاح: أفضل ذكاء اصطناعي نجح في حوالي 38% فقط من المهام. وهذا يعني أنهم فشلوا في أكثر من 6 من كل 10 مرات.
- الوقت: استغرق الذكاء الاصطناعي في المتوسط 17 دقيقة لمحاولة حل مهمة واحدة، ومع ذلك أخطأ فيها.
- مشكلة "السلسلة الطويلة": إذا كانت المهمة تتكون من خطوة واحدة أو اثنتين، فإن الذكاء الاصطناعي يؤدي بشكل جيد. ولكن إذا كانت المهمة تتضمن ثلاث خطوات أو أكثر (مثل: ابحث عن البيانات -> نظفها -> احسبها -> ارسم رسماً بيانياً)، فإن معدل نجاح الذكاء الاصطناعي ينخفض بشدة. إنه مثل روبوت يمكنه ربط حذاء واحد ولكنه ينسى كيف يربط الحذاء الثاني، أو يرتبك عند الحذاء الثالث.
4. لماذا يفشلون؟ (الـ "فخاخ")
وجدت الورقة خمسة أسباب رئيسية تجعل الروبوتات تعاني:
- مشكلة "أين هي؟": البيانات موزعة عبر 10 ملفات مختلفة. غالباً ما يبحث الذكاء الاصطناعي في الملف الخاطئ أو يأخذ الصف الخاطئ من الأرقام. إنه مثل البحث عن مكون معين في خزانة مؤنة تحتوي على 1,000 جرة غير ملصق عليها أسماء.
- مشكلة "الرمز السري": في التمويل، غالباً ما تكون المعادلة الموجودة في الخلية أهم من الرقم الذي تراه. يرى الذكاء الاصطناعي الرقم "100" ولكنه يغفل المنطق الخفي الذي يقول: "هذا الـ 100 هو في الواقع جدول دفع لمدة 55 يوماً". إنه يتجاهل التعليمات الموجودة خلف الستار.
- مشكلة "الجدول الفوضوي": جداول البيانات الحقيقية قبيحة. تحتوي على خلايا مدمجة، وصفوف فارغة، وعناوين غريبة. يرتبك الذكاء الاصطناعي بسبب التنسيق ويعتقد أن العنوان هو نقطة بيانات، أو يفقد عموداً بالكامل.
- مشكلة "تعدد الوسائط": أحياناً تكون البيانات في ملف PDF، وأحياناً في صورة لرسم بياني، وأحياناً في رسالة بريد إلكتروني. يواجه الذكاء الاصطناعي صعوبة في دمج هذه التنسيقات المختلفة في صورة واحدة متماسكة.
- مشكلة "الذاكرة": لأن المهام طويلة جداً، ينسى الذكاء الاصطنا_ما فعله في الخطوة 1 بحلول وصوله إلى الخطوة 10. إنه يفقد خيط القصة.
5. الخلاصة الكبرى
تخلص الورقة إلى أنه بينما يعد الذكاء الاصطناعي مذهلاً في كتابة القصائد أو كتابة أكواد برمجية بسيطة، إلا أنه ليس مستعداً بعد لاستبدال المحلل المالي البشري.
العمل المالي الحقيقي فوضوي للغاية، وطويل للغاية، ومليء بالسياق الخفي الذي يصعب على الروبوتات الحالية التعامل معه بموثوقية. الذكاء الاصطناعي يشبه طالباً عبقرياً يمكنه التفوق في اختبار متعدد الخيارات، ولكنه يتجمد عندما يُطلب منه إصلاح تسريب في أنابيب المياه في العالم الحقيقي.
المستقبل:
يأمل المؤلفون أن يصبح FINCH هو المعيار "لاختبار القيادة" للذكاء الاصطناعي المالي. وحتى يتمكن الذكاء الاصطناعي من اجتياز هذا الاختبار، لا ينبغي لنا الوثوق به لإدارة أموالنا، أو ميزانياتنا، أو ضرائبنا دون وجود إنسان يراقب من خلف كتفه.
باختصار: FINCH هو واقع صادم. إنه يوضح لنا أن "الوسط الفوضوي" للعمل في العالم الحقيقي لا يزال صعباً جداً على الذكاء الاصطناعي أن يتنقل فيه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.