FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents
تقدم هذه الورقة FinRetrieval، وهو معيار لتقييم قدرة الوكلاء الذكيين على استرجاع بيانات مالية محددة من قواعد بيانات مهيكلة، مما يكشف أن توفر الأدوات (لا سيما واجهات برمجة التطبيقات المهيكلة) هو المحرك الأساسي للأداء، مع تسليط الضوء على التأثيرات الدقيقة لأنماط الاستدلال واتفاقيات التسمية الجغرافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف فريقاً من المساعدين البحثيين فائق الذكاء للعثور على أرقام محددة في مكتبة ضخمة من التقارير المالية. سألتهم: "كم بلغت أرباح شركة أبل في الربع الثالث من عام 2024؟"
بعض المساعدين بارعون ولكن يتعين عليهم البحث عبر الفهرس العام للمكتبة (الإنترنت) للعثور على الإجابة. أما الآخرون، فيمتلكون مصعداً خاصاً عالي السرعة (قاعدة بيانات منظمة) يأخذهم مباشرة إلى الرف والصفحة المحددين حيث كُتب هذا الرقم.
هذه الورقة البحثية، FinRetrieval، هي بمثابة "تقرير درجات" يوضح مدى جودة أداء هؤلاء "المساعدين" من الذكاء الاصطناعي في هذه الوظيفة المحددة. قام المؤلفون (من شركة تسمى Daloopa) بإنشاء اختبار يتكون من 500 سؤال حول ماليات شركات حقيقية، وراقبوا كيف حاولت 14 إعداداً مختلفاً للذكاء الاصطناعي الإجابة عليها.
إليك تفصيل ما وجدوه، باستخدام تشبيهات بسيطة:
1. "الأداة" أهم من "العقل"
النتيجة: لم يكن الفرق الأكبر في الأداء نابعاً من نموذج الذكاء الاصطناعي المستخدم (مثل Claude أو Google أو OpenAI)؛ بل كان نابعاً مما إذا كان لديهم إمكانية الوصول إلى قاعدة البيانات المنظمة.
- التشبيه: تخيل محققين. المحقق (أ) عبقري ولكنه لا يملك سوى عدسة مكبرة وأرشيف صحفي قديم ومغبر (البحث في الويب). المحقق (ب) أقل عبقرية بقليل ولكنه يمتلك خط هاتف مباشر إلى قاعدة بيانات الشرطة (واجهة برمجة التطبيقات المنظمة - Structured API).
- النتيجة: عندما اضطر المحقق (أ) (Claude) لاستخدام الصحيفة القديمة، نجح في الإجابة بشكل صحيح بنسبة 20% فقط. كان يجد خيطاً، ثم يرتبك، ويستمر في البحث، وفي النهاية يستسلم. ولكن عندما حصل المحقق (ب) (Claude) على خط الهاتف المباشر، نجح في الإجابة بشكل صحيح بنسبة 91%.
- الدرس المستفاد: منح الذكاء الاصطناعي اتصالاً مباشً بقاعدة بيانات نظيفة أهم بـ 3 إلى 4 مرات من اختيار "أذكى" نموذج ذكاء اصطناعي.
2. "التفكير بعمق" لا يساعد دائماً
النتيسة: اختبرت الورقة "وضع الاستنتاج" (حيث يفكر الذكاء الاصطناعي لفترة طويلة قبل الإجابة). ومن المثير للدهشة، أن الذكاء الاصطناعي الذي كان جيداً بالفعل في استخدام الأدوات لم يتحسن كثيراً مع وقت التفكير الإضافي. أما الذكاء الاصطناعي الذي كان سيئاً في استخدام الأدوات في المقام الأول، فقد تحسن أكثر عند إخباره بأن "يفكر بعمق أكبر".
- التشبيه: فكر في الأمر كطالب يؤدي اختباراً في الرياضيات.
- الطالب (أ) (OpenAI): في الاختبار العادي، ينسى البحث عن الصيغة في الكتاب المدرسي (الأداة). عندما تخبره أن "يفكر بعمق"، فإنه يبحث أخيراً عن الصيغة ويحصل على دفعة كبيرة في درجاته.
- الطالب (ب) (Claude): في الاختبار العادي، يعرف بالفعل مكان الصيغة تماماً ويبحث عنها فوراً. إخباره بأن "يفكر بعمق" يجعله يحلل خطوة بسيطة بشكل مبالغ فيه، مما يعطيه دفعة طفيفة فقط في درجاته.
- الدرس المستفاد: إذا كان الذكاء الاصطناعي بارعاً بالفعل في استخدام أدواته، فإن جعله "يستنتج" لفترة أطول هو مضيعة للوقت والمال. أما إذا كان سيئاً في استخدام الأدوات، فإن "الاستنتاج" يساعده فقط في معرفة كيفية استخدام الأدوات بشكل أفضل.
سازی 3. التخمين الأول هو الأهم
النتيجة: عندما يحصل الذكاء الاصطناعي على الإجابة الصحيحة من محاولته الأولى، فإنه عادة ما يكون سريعاً ودقيقاً. وعندما يخطئ في المرة الأولى، فإنه يميل إلى الدخول في حلقة مفرغة، حيث يكرر طرح نفس الأسئلة مراراً وتكراراً، وتنخفض دقته.
- التشبيه: يشبه الأمر لعب لعبة "ساخن أو بارد".
- ساخن: تخمن الموقع الصحيح فوراً. تفوز في 3 حركات.
- بارد: تخمن بشكل خاطئ. الآن تبدأ في الركض حول المنزل بأكمله بحثاً عن الكنز، فتتعب وترتبك. قد تجده في النهاية، لكنك أكثر عرضة للخطأ أو الاستسلام.
- الدرس المستفاد: المفتاح ليس في عدد المرات التي يبحث فيها الذكاء الاصطناعي؛ بل في ما إذا كان يطرح السؤال الصحيح من المرة الأولى.
4. الجغرافيا هي مشكلة "تسمية"، وليست مشكلة "عقل"
النتيجة: كان الذكاء الاصطناعي أفضل في الإجابة على الأسئلة المتعلقة بالشركات الأمريكية مقارنة بالشركات غير الأمريكية. لكن السبب لم يكن لأن الذكاء الاصطناعي لا يعرف شيئاً عن اليابان أو البرازيل، بل بسبب طريقة تسميتهم لسنواتهم.
- التشبيه: تخيل تقويماً.
- الولايات المتحدة: الجميع يبدأ السنة في 1 يناير.
- اليابان/الهند: بعض الشركات تبدأ "سنتها المالية" في أبريل أو أكتوبر.
- الارتباك: إذا سألت عن "2023"، فإن الشركة الأمريكية تعني من يناير إلى ديسمبر 2023. أما الشركة اليابانية فقد تعني من أبريل 2022 إلى مارس 2023. ارتبك الذكاء الاصطناعي بسبب "المسميات"، وليس بسبب الحسابات.
- الدرس المستفاد: الذكاء الاصطناعي ليس منحازاً؛ إنه فقط يحتاج إلى تعليمات أفضل حول كيفية تسمية هذه الدول للفترات الزمنية.
الملخص: ماذا يجب أن نفعل؟
تخلص الورقة البحثية إلى أنه إذا كنت تريد بناء ذكاء اصطناعي مالي يعمل بكفاءة:
- لا تشترِ فقط أذكى عقل. اشترِ أفضل اتصال بقاعدة بيانات (المصعد).
- لا تهدر المال على ميزات "التفكير" إذا كان الذكاء الاصطناعي بارعاً بالفعل في استخدام أدواته.
- أصلح المسميات. تأكد من أن قاعدة البيانات تشرح بوضوح كيف تحسب البلدان المختلفة سنواتهم وأرباعهم السنوية.
باختصار: الأدوات > العقول. المساعد الذكي الذي يمتلك خريطة سيهزم دائماً العبقري الذي يمتلك بوصلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.