💰 quantitative finance

FinTradeBench: A Financial Reasoning Benchmark for LLMs

تقدم الورقة البحثية FinTradeBench، وهو معيار شامل للاستدلال المالي يضم 1,400 سؤالاً تدمج بين أساسيات الشركات وإشارات التداول لتقييم وكشف القيود الحالية للنماذج اللغوية الكبيرة في التعامل مع مهام اتخاذ القرار المالي المعقدة ومتعددة الوسائط.

المؤلفون الأصليون: Yogesh Agrawal, Aniruddha Dutta, Md Mahadi Hasan, Santu Karmaker, Aritra Dutta

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yogesh Agrawal, Aniruddha Dutta, Md Mahadi Hasan, Santu Karmaker, Aritra Dutta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول اتخاذ قرار بشأن شراء منزل. لديك نوعان مختلفان تماماً من المعلومات للنظر فيهما:

تقرير فحص المنزل (الأساسيات): هذه هي الأوراق الرسمية المملة والقانونية. يخبرك عدد الغرف في المنزل، وعمر السقف، وكم يدين المالك للبنك. إنها حقائق مكتوبة بنص، وتأتي من سجلات رسمية.
طابع الحي (إشارات التداول): هذا هو الشعور العام في الخارج. هل الشارع مزدحم بالناس؟ هل لافتات "للبيع" تظهر وتختفي بكثرة؟ هل سعر المنزل يقفز وينخفض بجنون مثل الأفعوانية (الرولر كوستر)؟ الأمر يتعلق بـ الحركة، والسرعة، والشعور.

لفترة طويلة، كانت نماذج الذكاء الاصطناعي (الحواسيب الذكية) بارعة في قراءة تقرير فحص المنزل. يمكنها تلخيص الأوراق الرسمية بشكل مثالي. لكنها كانت سيئة جداً في فهم طابع الحي. كانت ترتبك عندما تسألها: "المنزل يبدو رائعاً على الورق، ولكن لماذا ينخفض السعر كل يوم؟ هل يجب أن أشتريه؟"

مرحباً بكم في FinTradeBench

قام الباحثون في جامعة سنترال فلوريدا ببناء "اختبار" جديد يسمى FinTradeBench. فكر في الأمر كأنه اختبار مفاجئ ضخم مكون من 1,400 سؤال للذكاء الاصطناعي، مصمم خصيصاً لمعرفة ما إذا كان بإمكانهم التعامل مع كل من الأوراق الرسمية وطابع الحي في وقت واحد.

إليك تفصيل بسيط لما وجدوه:

1. الاختبار: ثلاثة أنواع من الأسئلة

تكون الاختبار من ثلاثة أقسام:

المحاسب: "ما هو ربح الشركة؟" (أوراق رسمية بحتة).
المتداول: "هل سعر السهم يتحرك صعوداً أم هبوطاً؟" (حركة بحتة).
الهجين: "الشركة مربحة، لكن سعر السهم ينهار. هل هذا وقت جيد للشراء؟" (هذا يتطلب دمج الاثنين معاً).

2. "النظارات السحرية" (RAG)

لمساعدة الذكاء الاصطناعي في الإجابة، منح الباحثونهم "نظارات سحرية" تسمى RAG (التوليد المعزز بالاسترجاع). هذا يشبه إعطاء الذكاء الاصطناعي بطاقة مكتبة ليتمكن من البحث عن الحقائق الدقيقة بدلاً من التخمين من ذاكرته.

الأخبار الجيدة: عندما كانت الأسئلة تتعلق بـ المحاسب (الأوراق الرسمية)، عملت النظارات السحرية بشكل مذهل. ارتفعت درجات الذكاء الاصطناعي بنحو 37%. لقد تمكن أخيراً من قراءة التفاصيل الدقيقة دون اختلاق معلومات.
الأخبار السيئة: عندما كانت الأسئلة تتعلق بـ المتداول (تحركات الأسعار)، أدت النظارات السحرية إلى إلحاق الضرر بالذكاء الاصطناعي. انخفضت الدرجات. لماذا؟ لأن الذكاء الاصطناعي شعر بالتشتت. كان يحدق في جدار من الأرقام الخام (مثل جدول بيانات أسعار الأسهم) ولم يعرف كيف يحول هذه الأرقام إلى قصة. لقد تشتت بسبب الضجيج.

3. الذكاء الاصطناعي "الأكثر ذكاءً" مقابل الذكاء الاصطناعي "الأسرع"

اختبر الباحثون 14 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي.

"المفكرون" (مثل DeepSeek-R1): هذه النماذج تشبه المحققين الذين يفكرون خطوة بخطوة. كانوا الأفضل في الأسئلة الهجينة. استطاعوا النظر إلى الربح وانخفاض السعر معاً وقول: "آه، السوق خائف، لكن الشركة في الواقع صحية. هذه فرصة للشراء".
"الملخصون" (مثل LLaMA): هذه النماذج تشبه القراء السريعين الذين يلخصون النصوص. عندما مُنحوا النظارات السحرية، أصابهم الارتباك. قرأوا الوثيقة كاملة لكنهم فاتهم الجوهر. لقد "تشتتوا" بالمعلومات الإضافية وقدموا إجابات أسوأ مما لو لم ينظروا إلى النظارات السحرية على الإطلاق.

4. الدرس الكبير: "السياق هو الملك، لكن الهيكلية هي الملكة"

كان الاكتشاف الأكثر إثارة للدهشة يتعلق بـ كيفية تقديم المعلومات.

عندما أُعطي الذكاء الاصطناعي بيانات خام (قائمة فوضوية من أسعار الأسهم)، فشل.
عندما أُعطي رؤى محسوبة مسبقاً (على سبيل المثال: "السهم أعلى بنسبة 15% من متوسطه")، نجح.

التشبيه: تخيل أنك تطلب من طباخ أن يصنع حساءً.

بدون RAG: تعطيه كتاب وصفات، لكن بدون مكونات. فيبدأ بالتخمين.
RAG القياسي: تعطيه كتاب الوصفات و كيساً ضخماً من الخضروات الخام، غير المقشرة وغير المقطعة. يصبح مرتبكاً وهو يحاول تقطيع كل شيء أثناء قراءة الوصفة.
RAG المثالي: تعطيه كتاب الوصفات و وعاءً من المكونات المقطعة والمقاسة بدقة. سيصنع حساءً مثالياً.

لماذا يهم هذا؟

حالياً، إذا سألت ذكاءً اصطناعياً: "هل يجب أن أشتري سهم تسلا؟"، فقد ينظر إلى تقرير الأرباح (جيد) ومخطط السهم (سيء) ويصاب بالارتباك، ويعطيك إجابة خاطئة.

يثبت هذا البحث ما يلي:

الذكاء الاصطناعي يحتاج للمساعدة في الرياضيات والأرقام. مجرد إعطائهم المزيد من النصوص ليس كافياً؛ إنهم بحاجة إلى أدوات للحساب.
الطريقة التي نغذي بها البيانات مهمة. إذا أردنا للذكاء الاصطناعي أن يكون مستشاراً مالياً، فلا يمكننا مجرد إلقاء البيانات الخام عليهم. نحن بحاجة إلى هيكلة البيانات بحيث يمكنهم "التفكير" فيها، وليس فقط "قراءتها".

باختصار: لقد بنينا اختباراً أفضل لنبين أنه بينما أصبح الذكاء الاصطناعي أكثر ذكاءً في قراءة التقارير المالية، فإنه لا يزال يعاني لفهم العالم الفوضوي والمتحرك لسوق الأسهم. ولإصلاح ذلك، نحتاج إلى تعليم الذكاء الاصطناعي كيفية القيام بالرياضيات، وليس فقط كيفية القراءة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FinTradeBench: معيار للتحليل المالي للنماذج اللغوية الكبيرة".

1. بيان المشكلة

يتطلب اتخاذ القرار المالي في العالم الحقيقي دمج مصدرين متميزين وغالباً ما يكونان متضاربين من المعلومات:

الأساسيات الجوهرية للشركة: مقاييس قائمة على المحاسبة مستمدة من التقارير التنظيمية (مثل تقارير SEC 10-K/10-Q)، مثل الربحية، والرافعة المالية، ونسب التقييم.
إشارات التداول: ديناميكيات السوق المستمدة من بيانات السعر والحجم التاريخية (OHLCV)، مثل الزخم، والتقلب، وانعكاسات الاتجاه.

تركز المعايير المالية الحالية (مثل FinQA وTAT-QA) بشكل أساسي على الاستدلال العددي عبر التقارير والجداول المالية النصية. وهي نادراً ما تقيم:

الاستدلال بناءً على إشارات التداول المستمدة من البيانات السلاسل الزمنية.
دمج الإشارات غير المتجانسة (الأساسيات + ديناميكيات السوق).
السيناريوهات التي تدفع فيها معنويات السوق الأسعار بشكل مستقل عن الأساسيات الحالية (مثل ارتفاع سعر سهم رغم ضعف الأرباح).

وبناءً على ذلك، لا يزال من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة الحالية قادرة على أداء الاستدلال المعقد متعدد الوسائط المطلوب للتحليل المالي الفعلي.

2. المنهجية: تصميم FinTradeBench

قدم المؤلفون FinTradeBench، وهو معيار مصمم لتقييم الاستدلال المالي عبر هذه الأبعاد.

أ. نطاق البيانات والمصادر

التغطية: 1,400 سؤال مستندة إلى شركات مؤشر NASDAQ-100 عبر نافذة زمنية تاريخية مدتها 10 سنوات (2015–2025).
مصادر البيانات:
- التقارير التنظيمية: نماذج 10-K و10-Q للمقاييس الأساسية (ROA، ROE، نسبة الدين إلى حقوق الملكية، إلخ).
- بيانات التداول: بيانات OHLCV اليومية (الافتتاح، الأعلى، الأدنى، الإغلاق، الحجم) لحساب المؤشرات الفنية (RSI، المتوسطات المتحركة، الزخم، التراجعات).
اختيار الإشارات: استناداً إلى مبادئ القابلية للتفسير، والأهمية التجريبية، والسيولة، بما يتماشى مع أدبيات تسعير الأصول الراسخة.

ب. تصنيف الأسئلة

تُصنف الأسئلة إلى ثلاثة أنواع من الاستدلال لاختبار قدرات محددة:

التركيز على الأساسيات (F-type): الاستدلال على المؤشرات المحاسبية (مثلاً: "هل ربحية إنفيديا مستدامة؟").
التركيز على إشارات التداول (T-type): الاستدلال على ديناميكيات السوق (مثلاً: "هل تراجع سهم إنفيديا في يوليو 2025؟").
الهجين (FT-type): استدلال مشترك يتطلب دمج كلا المصدرين (مثلاً: "هل التراجع فرصة شراء بالنظر إلى التقييم؟").

ج. مسار البناء: المعايرة ثم التوسع

لضمان الموثوقية والقابلية للتوسع، استخدم المؤلفون إطار عمل ثلاثي المراحل:

توليد البذور: 150 سؤالاً كتبها خبراء (50 لكل فئة) مع "المؤشرات الذهبية" (المقاييس الرئيسية المطلوبة للإجابة الصحيحة).
توليد المرشحين عبر نماذج متعددة والترشيح الذاتي:
- تم توليد $N=6$ استجابات مرشحة لكل نموذج باستخدام قوالب مطالبات متنوعة (تصنيف TELeR).
- الترشيح الذاتي داخل النموذج: اختار كل نموذج أفضل استجابة له بناءً على الدقة الواقعية واكتمال الاستدلال لتجنب التحيز بين النماذج.
- التدقيق العددي الآلي: قام نموذج لغوي كبير مستقل بالتحقق من الادعاءات العددية مقابل قاعدة معرفية مهيكلة.
محاذاة الحكم بين البشر والنماذج اللغوية:
- قام خبراء ماليون وحكم لغوي مستقل (Claude Sonnet 4.5) بتقييم الاستجابات المترشحة ذاتياً.
- تمت معايرة الحكم اللغوي مقابل التقييمات البشرية لتحقيق متوسط خطأ مطلق (MAE) أقل من 10%، مما يضمن أن التقييم الآلي موثوق للتوسع إلى 1,400 سؤال.

د. إعداد التقييم

النماذج: تم تقييم 14 نموذجاً لغوياً كبيراً (تتراوح من النماذج مفتوحة المصدر الصغيرة مثل LLaMA 8B إلى النماذج المملوكة الضخمة مثل Gemini 2.5 وDeepSeek-R1).
الإعدادات:
- التعلم الصفري (بدون RAG): تجيب النماذج دون سياق خارجي.
- التوليد المعزز بالاسترجاع (RAG): محرك استرجاع ثنائي المسار يجلب:
  - المسار أ: النصوص غير المهيكلة (تقارير SEC) باستخدام تقسيم هرمي وإعادة ترتيب.
  - المسار ب: بيانات السلاسل الزمنية المهيكلة (قطع الأسعار) المسترجعة عبر استعلامات زمنية.
المقاييس: الدقة المطلقة، فرق الاسترجاع ( $\Delta$ )، F1 للمؤشر الذهبي (دقة/استدعاء المقاييس الرئيسية)، درجات دمج السياق، وعمق الاستدلال.

3. المساهمات الرئيسية

معيار FinTradeBench: أول معيار يقيم صراحةً الاستدلال المشترك للأساسيات الجوهرية للشركة وإشارات التداول، مما يسد الفجوة بين الأسئلة النصية المالية والاستعلامات الكمية.
إطار المعايرة ثم التوسع: مسار قوي يجمع بين البذور الخبيرة، وتوليد النماذج المتعددة، والترشيح الذاتي، والحكم اللالي المتوافق مع البشر لإنشاء مجموعة بيانات واسعة النطاق وعالية الجودة.
بنية RAG ثنائية المسار: نظام استرجاع مبتكر مصمم للتعامل مع الطبيعة غير المتماثلة للبيانات المالية (النصوص الكثيفة مقابل السلاسل الزمنية المهيكلة).

4. النتائج والاكتشافات الرئيسية

كشف تقييم 14 نموذجاً لغوياً كبيراً عن فجوات أداء كبيرة وسلوكيات متميزة فيما يتعلق بـ RAG:

RAG يفيد الأساسيات (F-type):
- حسن الاسترجاع الأداء في الأسئلة التي تركز على الأساسيات (مثلاً: زيادة بنسبة 37% في الدقة لـ R1-Distill-Qwen، و23.8% لـ Gemini 2.5 Flash).
- السبب: تمتلك النماذج اللغوية تمثيلات كامنة قوية لتقارير SEC (المتاحة علناً في مرحلة التدريب المسبق)، ويعمل RAG كمرساة تثبيت لتنشيط هذه المعرفة.
RAG يضر إشارات التداول (T-type):
- أدى الاسترجاع إلى تدهور الأداء في أسئلة إشارات التداول للعديد من النماذج (مثلاً: -19.7% لـ Gemini 2.5 Flash-Lite، و**-16.4%** لـ GPT-5-mini).
- السبب: تعاني النماذج في تحليل جداول السلاسل الزمنية الرقمية الخام المسترجعة من RAG. فهي تفتقر إلى الإطار التمثيلي للبيانات الكمية، وغالباً ما "تتشتت" بسبب حجم الأرقام الخام، وتفشل في حساب المؤشرات الوسيطة (مثل الزخم) بشكل صحيح.
الاستدلال الهجين (FT-type):
- تفوقت النماذج ذات قدرات سلسلة الأفكال الكامنة (CoT) (مثل DeepSeek-R1 وR1-Distill-Qwen) بشكل كبير على النماذج القياسية المضبوطة للتعليمات.
- حقق RAG مكاسب هائلة للأسئلة الهجينة (تصل إلى 55.1% لـ R1-Distill-Qwen)، حيث يمكن لهذه النماذج التوفيق بشكل أفضل بين الإشارات المتضاربة (مثلاً: أرباح ضعيفة مقابل زخم سعري قوي).
"تأثير التشتت":
- بينما حسن RAG التثبيت الواقعي السطحي (+13.4% في تكامل الأساسيات)، إلا أنه تسبب في انهيار في F1 للمؤشر الذهبي (-56.5%) وعمق الاستدلال (-10.8%).
- مالت النماذج إلى تلخيص النصوص المسترجعة بطلاقة، لكنها فشلت في عزل المقاييس المحددة ذات الأولوية للخبير اللازمة للوصول إلى استنتاج صحيح.
الحساسية للهيكلية:
- استفادت عائلات Qwen/DeepSeek من RAG.
- أظهرت عائلات LLaMA (حتى بـ 70 مليار معلمة) تدهوراً منهجياً مع RAG، مما يشير إلى أن بنياتها أكثر عرضة للتشتت من النصوص المالية الكثيفة والمليئة بالمصطلحات.

5. الأهمية والتوجهات المستقبلية

معيار قياسي: يوفر FinTradeBench مجموعة بيانات ضرورية كمعيار صناعي لتقييم الذكاء المالي، متجاوزاً مجرد استخراج النصوص إلى الاستدلال متعدد الوسائط المعقد.
محدودية RAG: توضح الدراسة أن أنظمة RAG الحالية ليست حلاً سحرياً. فبينما هي فعالة للاسترجاع النصي، إلا أنها تسبب ضوضاء وحملاً معرفياً زائداً للاستدلال الكمي للسلاسل الزمنية. يجب أن تدمج بنيات RAG المستقبلية بشكل أفضل حساب البيانات المهيكلة (مثل تنفيذ الكود) بدلاً من مجرد الاسترجاع.
الدوافع البحثية: تحفز النتائج الأبحاث المستقبلية في:
- تحسين قدرة النماذج اللغوية الكبيرة على الاستدلال فوق السلاسل الزمنية الرقمية.
- تطوير أنظمة "RAG المثالية" التي تقوم بحساب الإشارات مسبقاً بدلاً من استرجاع البيانات الخام.
- تعزيز بنيات النماذج للتعامل مع الإشارات المالية غير المتجانسة دون تشتت.

تخلص الورقة إلى أنه بينما أصبحت النماذج اللغوية الكبيرة بارعة في تلخيص النصوص المالية، إلا أنها لا تزال تواجه تحديات جوهرية في الاستدلال الرقمي والزمني المطلوب لاتخاذ قرارات التداول في العالم الحقيقي.