Are Large Language Models Reliable Reviewers? A Benchmark for Error Detection in Financial Documents
تقدم هذه الورقة FinED-Bench، وهو أول معيار لتقييم اكتشاف الأخطاء المالية عبر ثلاثة مستويات من التعقيد المعرفي، والذي يكشف أنه بينما تعاني النماذج اللغوية الكبيرة الحالية في هذه المهمة الحرجة، فإن الضبط الدقيق الخاضع للإشراف يمكن أن يعزز أداءها بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك رئيس تحرير لصحيفة ضخمة وعالية المخاطر. مهمتك لا تقتصر فقط على تصحيح الأخطاء المطبعية مثل كلمة "teh" بدلاً من "the"؛ بل يجب عليك التأكد من أن القصة منطقية، وأن الحسابات دقيقة، وأن الحقائق تتوافق مع الواقع. إذا فاتك خطأ واحد، فقد تكون العواقب وخيمة: قد يخسر الناس الأموال، أو تتخذ الشركات قرارات سيئة، أو تُنتهك القوانين. هذا هو عالم الوثائق المالية، حيث يمكن لخطأ واحد في تقرير ما أن يمتد أثره ليسبب فوضى حقيقية في العالم.
هنا يأتي دور "القارئين الخارقين" في عصرنا: النماذج اللغوية الكبيرة (LLMs). فكر فيهم كآلات روبوتية ذكية جداً ومطالعة، قرأت كل شيء تقريباً على الإنترنت. إنهم بارعون في كتابة القصص، والإجابة على الأسئلة، وحتى التنبؤ باتجاهات الأسهم. ولكن يبقى السؤال الكبير: هل تستطيع هذه الروبوتات حقاً رصد متى يكون هناك خطأ في تقرير مالي معقد؟ هل يمكنهم اكتشاف تاريخ غير موجود، أو مصطلح مالي استُخدم بشكل غير صحيح، أو رقم في جدول يتناقض مع جملة في النص؟ تغوص هذه الورقة البحثية في هذا الغموض تحديداً، لتختبر ما إذا كانت نماذج الذكاء الاصطناعي الحالية جاهزة لتكون المدققين الماليين النهائيين، أم أنها لا تزال عرضة لتجاهل الأمور البديهية.
اختبار التدقيق المالي العظيم
قرر الباحثون وراء هذه الدراسة، وهم فريق من جامعة فودان ومجموعة "أنت جروب" (Ant Group)، التوقف عن التخمين والبدء في الاختبار الفعلي. لقد بنوا ملعباً جديداً يسمى FinED-Bench، وهو في الأساس مسار عقبات ضخم ومعقد مصمم خصيصاً لاختبار مدى قدرة الذكاء الاصطناعي على إيجاد الأخطاء في الوثائق المالية.
قبل هذا، كانت معظم اختبارات الذكاء الاصطناعي تشبه التحقق من وجود أخطاء قواعدية في جملة قصيرة. لكن الوثائق المالية مختلفة؛ فهي طويلة، وكثيفة، ومليئة بالمصطلحات المتخصصة. الخطأ هنا ليس مجرد خطأ مطبعي، بل قد يكون "خطأ في الاستدلال المالي"، حيث يذكر التقرتر أن المبيعات ارتفعت بنسبة 10% في فقرة ما، بينما يظهر الجدول في القسم التالي أنها انخفضت بالفعل بنسبة 5%. رصد ذلك يتطلب من الذكاء الاصطناعي أن يستوعب القصة بأكملها في ذهنه ويربط النقاط ببعضها، وليس مجرد قراءة سطر واحد في كل مرة.
لبناء هذا الاختبار، جمع الفريق أكثر من 900 وثيقة مالية حقيقية (مثل تقارير الأسهم والعقود القانونية) نُشرت في عام 2025 — مما يعني أنها جديدة تماماً ولم يسبق للنماذج رؤيتها من قبل. ثم استخدموا نظاماً ذكياً شبه مؤتمت لحقن آلاف الأخطاء المحددة في هذه الوثائق. وقد خلقوا ثلاثة مستويات من الصعوبة:
- أخطاء المعرفة العامة: أشياء يمكن لأي شخص رصدها، مثل تاريخ غير موجود (مثلاً: "30 فبراير") أو رقم هاتف مفقود.
- أخطاء المعرفة بالمجال المالي: أخطاء تتطلب معرفة بالمصطلحات، مثل الخلط بين "نسبة السعر إلى الربحية" و"نسبة السعر إلى القيمة الدفترية".
- أخطاء الاستدلال المالي: المستوى الأصعب، حيث يتعين على الذكاء الاصطناعي مقارنة أجزاء مختلفة من الوثيقة للعثور على التناقضات، مثل ادعاء بالنمو يتناقض مع البيانات الخام.
النتائج: أذكياء، ولكن ليسوا مثاليين
عندما وضع الباحثون أفضل نماذج الذكاء الاصطناي (بما في ذلك نموذج GPT-4o الشهير وعدة إصدارات من Qwen) عبر هذا الاختبار، جاءت النتائج مزيجاً من "الإبهار" و"يا للهول".
النتيجة الرئيسية هي أن نماذج الذكاء الاصطناعي الحالية لا تزال تعاني لتكون مراجعة مالية موثوقة. فحتى أفضل النماذج، GPT-4o، لم ينجح إلا في حوالي 48.34% من الأخطاء الإجمالية. وهذه بالكاد تعتبر درجة نجاح. كانت النماذج جيدة في إيجاد الأخطاء البسيطة (مثل التواريخ الخاطئة)، لكنها انهارت عندما تطلبت الأخطاء استدلالاً معقداً. وبالنسبة لأصعب "أخطاء الاستدلال المالي"، انخفضت درجة GPT-4o إلى 38.00% فقط.
ويصبح الأمر أكثر إثارة للاهتمام عند النظر في طول الوثائق. يبدو أن نماذج الذكاء الاصطناعي مثل القراء الذين يشعرون بالتعب بعد قراءة بضع صفحات. فعندما كانت الوثائق قصيرة (حوالي 2,500 كلمة)، كان أداء النماذج جيداً. ولكن مع زيادة طول الوثائق — لتصل إلى 50,000 كلمة أو أكثر — انهار أداؤها. وفي حالة الوثائق الأطول، انخفضت درجة F1 (وهي مقياس للدقة) لتصل إلى 16.66% فقط. يبدو أن حتى أذكى نماذج الذكاء الاصطناعي يضيع في "منتصف" التقرير الضخم، ويفقد الأخطاء التي قد يلاحظها البشر.
كما بحثت الورقة في النماذج المدربة خصيصاً للتمويل (مثل Fin-R1). ومن المثير للدهشة أن هذه النماذج المتخصصة لم تكن أفضل بكثير من النماذج العامة، بل إن بعضها كان أسوأ حالاً. وهذا يشير إلى أن مجرد تعليم الذكاء الاصطناعي عن التمويل ليس كافياً؛ بل يحتاج إلى تعلم كيفية الاستدلال عبر الوثائق، وليس مجرد حفظ الحقائق.
بصيص الأمل: التدريب يساعد
كان هناك جانب مشرق واحد. فعندما أخذ الباحثون نموذجاً أضعف قليلاً (Qwen3-14B) وأعطوه تدريباً إضافياً مخصصاً لكيفية رصد هذه الأخطاء المالية، قفز أداؤه بنسبة 10.70%. وهذا يشير إلى أنه رغم عدم كمال الذكاء الاصطناعي الحالي، إلا أنه يمكن أن يتحسن كثيراً مع نوعية التدريب الصحيحة. الأمر يشبه إعطاء طالب دليل دراسة محدد للاختبار الذي سيخوضه؛ فهم لا يحتاجون لأن يكونوا عباقرة للنجاح، بل يحتاجون فقط لمعرفة ما الذي يجب أن يبحثوا عنه.
الخلاصة
إذاً، هل نماذج اللغة الكبيرة مراجعة مالية موثوقة في الوقت الحالي؟ الإجابة هي لا، مع الكثير من الحذر. إنها أدوات قوية يمكنها رصد بعض الأخطاء، لكنها ليست جاهزة بعد لاستبدال الخبراء البشر. فهي تعاني مع الوثائق الطويلة، والمنطق المعقد، والتناقضات الدقيقة. ومع ذلك، توضح الورقة أنه مع التدريب المستهدف، يمكنها التحسن بشكل كبير. في الوقت الحالي، إذا كنت تتعامل مع تقرير مالي بمليارات الدولارات، فمن الأفضل على الأرجح أن تجعل بشرياً يدقق عمل الذكاء الاصطناعي. الروبوتات تتعلم، لكنها لم تتقن بعد فن التدقيق المالي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.