💻 computer science

FinCriticalED: A Visual Benchmark for Financial Fact-Level OCR

تقدم الورقة البحثية FinCriticalED، وهو معيار مرئي يتكون من 859 وثيقة مالية من العالم الحقيقي و9,481 حقيقة تم تعليقها من قبل خبراء، لتقييم وكشف الفجوة الكبيرة بين دقة التعرف الضوئي على الحروف (OCR) اللفظية وبين الحفاظ على الأدلة المالية الحاسمة لاتخاذ القرار في النماذج اللغوية الكبيرة متعددة الوسائط.

المؤلفون الأصليون: Yueru He, Xueqing Peng, Yupeng Cao, Yan Wang, Lingfei Qian, Haohang Li, Yi Han, Shuyao Wang, Ruoyu Xiang, Fan Zhang, Zhuohan Xie, Mingquan Lin, Prayag Tiwari, Jimin Huang, Guojun Xiong, Sophia Ananiad

نُشر 2026-04-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yueru He, Xueqing Peng, Yupeng Cao, Yan Wang, Lingfei Qian, Haohang Li, Yi Han, Shuyao Wang, Ruoyu Xiang, Fan Zhang, Zhuohan Xie, Mingquan Lin, Prayag Tiwari, Jimin Huang, Guojun Xiong, Sophia Ananiadou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً جديداً لقراءة كومة من التقارير المالية المعقدة لشركتك. يخبرك مديرك قائلاً: "لا أحتاج فقط إلى ملخص؛ بل أحتاج إلى الأرقام الدقيقة. إذا أخطأت في فاصلة عشرية أو خلطت بين 'مليون' و'مليار'، فقد تخسر الشركة ملايين الدولارات".

هذه هي المشكلة التي يحاول FinCriticalED حلها.

إليك قصة الورقة البحثية، مقسمة إلى مفاهيم وتشبيهات بسيطة.

1. المشكلة: فخ "الجيد بما يكفي"

لفترة طويلة، كنا نختبر الذكاء الاصطناي (تحديداً أنظمة التعرف الضوئي على الحروف OCR التي تقرأ النصوص من الصور) باستخدام مقياس بسيط: "كم كلمة أصبت فيها؟"

فكر في الأمر كاختبار إملاء. إذا كانت الجملة الأصلية هي "الربح كان 1.5 مليون دولار"، وكتب الذكاء الاصطناعي "الربح كان 1.5 مليون دولار"، فإنه يحصل على درجة امتياز. ولكن ماذا لو كتب الذكاء الاصطناعي "الربح كان 1.5 مليار دولار"؟

اختبار الإملاء: يحصل الذكاء الاصطناعي على درجة امتياز (الكلمات مكتوبة بشكل صحيح).
الواقع العملي: لقد كلفك الذكاء الاصطناعي ثروة.

نماذج الذكاء الاصطناعي الحالية بارعة في "تلخيص" جوهر الصفحة (مثل إنسان يتصفح جريدة بسرعة)، لكنها سيئة جداً في الحفاظ على التفاصيل الصغيرة والحاسمة التي تحدد الحقيقة في التمويل. ففاصلة مفقودة، أو رقم متبدل، أو رمز عملة ناقص يمكن أن يغير المعنى تماماً.

2. الحل: معيار "مدقق الحقائق"

قام المؤلفون بإنشاء FinCriticalED (كشف الأخطاء المالية الحرجة). بدلاً من السؤال: "هل نسخت الكلمات بشكل صحيح؟" هم يسألون: "هل حافظت على الحقيقة المالية؟"

لقد بنوا مجموعة بيانات ضخمة تضم 859 وثيقة مالية حقيقية (مثل النماذج الضريبية والتقارير البنكية) واستعانوا بخبراء لتحديد "الحقائق الحرجة" داخلها. لقد عاملوا هذه الحقائق كأنها سبائك ذهب مخبأة داخل صخرة.

سبائك الذهب: الأرقام، التواريخ، وحدات العملات (مثل "$" أو "مليون")، أسماء الشركات، والمصطلحات المالية (مثل "صافي الدخل").
الصخرة: بقية النص.

يختبر هذا المعيار ما إذا كان بإمكان الذكاء الاصطناعي استخراج سبائك الذهب دون صهرها أو استبدالها بالصخور.

3. القاضي الجديد: "المحاسب الصارم"

كيف تُقيم ذكاءً اصطناعياً على هذا؟ لا يمكنك مجرد استخدام برنامج حاسوبي لمقارنة النصوص، لأن "$1.2B" و "1,200 مليون" تعنيان الشيء نفسه، لكنهما تبدوان مختلفتين.

لذلك، بنى المؤلفون "نموذج لغة كبير يعمل كقاضٍ موجه بقواعد حتمية" (Deterministic-Rule-Guided LLM-as-Judge).

التشبيه: تخيل محاسباً صارماً للغاية يتبع القواعد، وهو أيضاً روبوت فائق الذكاء (القاضي).
المهمة: ينظر القاضي إلى الوثيقة الأصلية ومخرجات الذكاء الاصطناعي. لا يهتم بالتنسيق المزخرف. هو يسأل: "هل الرقم 1,200 مليون موجود؟ هل اسم الشركة صحيح؟ هل التاريخ صحيح؟"
المنعطف: إذا حصل الذكاء الاصطناعي على الرقم الصحيح ولكنه وضعه في العمود الخطأ، فإن القاضي يعتبره خطأ. إذا اخترع الذكاء الاصطناعي رقماً غير موجود، فهو خطأ.

4. النتائج: "فجوة الصدق"

اختبر الباحثون 13 نظاماً مختلفاً للذكاء الاصطناعي (من بوتات القراءة المتخصصة إلى النماذج العملاقة مثل GPT-4 و Claude). إليكم ما وجدوه:

وهم المثالية: سجلت العديد من نماذج الذكاء الاصطناعي درجات عالية جداً في "اختبارات الإملاء" (أكثر من 98% دقة). بدت مثالية.
اختبار الواقع: عندما تم اختبارها على "سبائك الذهب" (الحقائق المالية الفعلية)، انخفضت درجاتها بشكل كبير. بعض النماذج نجحت في الحصول على حوالي 65% فقط من الحقائق الحرجة بشكل صحيح.
نقاط الضعف: كانت النماذج أكثر عرضة للخطأ في الأرقام و وحدات العملة.
- التشبيه: الأمر يشبه مترجماً يتحدث الفرنسية بطلاقة ولكنه يستمر في الخلط بين "100" و "1,000".
خطر "الهلوسة": بعض نماذج الذكاء الاصطناعي المتقدمة لم تكتفِ بارتكاب أخطاء صغيرة؛ بل بدأت في اختلاق أشياء. كانت تقرأ جملة ثم "تكملها" بجملة من جزء آخر من الوثيقة، مما يخلق كذبة تبدو مقنعة للغاية.

5. الخلاصة: لماذا هذا مهم؟

هذه الورقة البحثية هي بمثابة جرس إنذار. إنها تخبرنا أن الدرجات العالية في الاختبارات القياسية لا تعني أن الذكاء الاصطناعي جاهز للوظائف عالية المخاطر.

بالنسبة لدردشة عادية (Chatbot): الحصول على "الجوهر" أمر جيد.
بالنسبة لمدقق مالي: الحصول على "الجوهر" أمر خطير. أنت بحاجة إلى الحقيقة الدقيقة والكاملة.

الخلاصة:
FinCriticalED هو "اختبار رخصة قيادة" جديد للذكاء الاصطناعي. قبل أن نسمح للذكاء الاصطناعي بقراءة كشوف حساباتنا البنكية، أو إقراراتنا الضريبية، أو عقودنا القانونية، نحتاج إلى التأكد من أنه لا يبدو فقط وكأنه يقرأ؛ بل نحتاج إلى إثبات أنه يفهم الأرقام فعلياً. وحتى يجتاز هذا الاختبار الجديد والأكثر صرامة، يجب أن نكون حذرين جداً بشأن الوثوق بهم في أموالنا.

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً في فهم المستندات، تعتمد معايير التعرف الضوئي على الحروف (OCR) القياسية بشكل كبير على مقاييس لغوية سطحية (مثل ROUGE، وEdit Distance). وتفشل هذه المقاييس في رصد الأخطاء الحرجة مالياً حيث يمكن للانحرافات البصرية الطفيفة (مثل فقدان نقطة عشرية، أو وضع إشارة سالبة في مكان خاطئ، أو وحدة عملة غير صحيحة) أن تسبب تحولات جوهرية وكارثية في المعنى.

في السياقات المالية عالية المخاطر (مثل تقارير هيئة الأوراق المالية والبورصات SEC، واتفاقيات الاندماج والاستحواذ)، يمكن للنموذج أن يحقق تشابهاً لغوياً عالياً مع النص المصدر بينما ينتج بيانات غير صحيقة واقعياً تؤدي إلى تفسير مالي خاطئ جسيم. وتفتقر المعايير الحالية إلى الدقة اللازمة لعزل هذه الأخطاء "غير المتماثلة" حيث تحدد الإشارات البصرية الصغيرة الحقيقة الواقعية.

2. المنهجية

أ. بناء مجموعة البيانات: FinCriticalED

قام المؤلفون ببناء معيار بصري جديد يتكون من 859 صفحة من مستندات مالية حقيقية تحتوي على 9,481 حقيقة تم تصنيفها من قبل خبراء.

المصادر: مستودعات عامة بما في ذلك SEC EDGAR (تقارير 10-K، 10-Q، 8-K، واتفاقيات الاندماج والاستحواذ) ونماذج ضريبية غير ربحية (2023–2026).
التصنيف: قام أربعة خبراء بخلفيات في التمويل والمحاسبة وعلوم الحاسوب بتصنيف الحقائق يدوياً باستخدام منصة Label Studio.
فئات الحقائق: تركز مجموعة البيانات على خمسة أنواع من الحقول الحرجة:
1. الرقمي (Numeric): الأرقام الموقعة، الكسور، والنسب المئوية (مثلاً: "25.63%", "-2.3").
2. الزمني (Temporal): التواريخ والمدد (مثلاً: "Q2 2025").
3. وحدة العملة (Monetary Unit): رموز العملات والمقاييس (مثلاً: "$"، "مليون"، "ألف").
4. الكيان التقريري (Reporting Entity): الكيانات المسماة (مثلاً: "JPMorgan Chase & Co.").
5. المفهوم المالي (Financial Concept): مصطلحات متخصصة في المجال (مثلاً: "صافي الدخل"، "ربحية السهم EPS").
ضبط الجودة: تم تحقيق اتفاق عالٍ بين المصنفين (Fleiss' $\kappa$ = 0.88).

ب. بروتوكول التقييم

ينقل هذا المعيار التقييم من التداخل النصي إلى التحقق من مستوى الحقيقة.

صياغة المهمة: تولد النماذج مخرجات OCR بتنسيق HTML يحافظ على النص والتخطيط.
المقياس: دقة الحقيقة المالية (FFA)، وتُعرف بأنها نسبة الحقائق التي تم الحفاظ عليها بشكل صحيح إلى إجمالي الحقائق المصنفة.
محرك التحقق: تم تطوير خط معالجة LLM-as-Judge مدعوم بقواعد حتمية (يعمل بواسطة GPT-4o) لتقييم المخرجات.
- المرحلة 1: استخراج الكيانات المصنفة مع تلميحات السياق.
- المرحلة 2: يحدد حكم الـ LLM ما إذا كان الكيان قد وُجد وما إذا كانت القيمة دقيقة دلالياً.
- المرحلة 3: التجاوز الحتمي (Deterministic Override): إذا وجد تطابق تام بعد المعالجة، يتم فرض النتيجة كـ correct=true لمنع السلبيات الكاذبة من قِبل الـ LLM.
- التحقق: حقق الحكم توافقاً بنسبة 95% مع الخبراء البشر بعد عملية تحسين تكرارية.

ج. الإعداد التجريبي

قام المؤلفون باختبار 13 نظاماً من أحدث الأنظمة عبر أربع فئات:

أنابيب OCR: أنظمة نمطية (مثل MinerU2.5، PP-OCRv5).
نماذج OCR VLMs المتخصصة: نماذج محسنة لاستخراج النصوص (مثل DeepSeek-OCR، GLM-OCR).
النماذج اللغوية الكبيرة متعددة الوسائط مفتوحة المصدر: نماذج موحدة للرؤية واللغة (مثل Qwen3-VL، Llama-4-Maverick).
النماذج اللغوية الكبيرة متعددة الوسائط المملوكة: النماذج الرائدة مغلقة المصدر (مثل GPT-4o، GPT-5، Claude-Sonnet-4.6، Gemini-2.5-Pro).

3. النتائج الرئيسية

أ. الفجوة بين الدقة اللغوية والدقة الواقعية

هناك انفصال كبير بين مقاييس OCR التقليدية والموثوقية المالية.

ROUGE مرتفع، FFA منخفض: حققت نماذج مثل MinerU2.5 درجة ROUGE-1 بلغت 95.71% ولكنها انخفضت إلى 54.05% في دقة وحدة العملة (MU-FFA).
الحساسية: يمكن لفرق قدره 0.12 نقطة فقط في ROUGE-1 أن يقابل انخفاضاً بنسبة 7.22% في FFA، مما يثبت أن المقاييس القائمة على التداخل تخفي الأخطاء الحرجة.

ب. الضعف حسب نوع الحقيقة

الأكثر عرضة للخطأ: القيم الرقمية ووحدات العملة هي الأكثر عرضة للأخطاء. على سبيل المثال، سجل نموذج Gemma-3n-E4B-it نسبة 52.65% فقط في الرقمية FFA، وسجل MinerU2.5 نسبة 54.05% في وحدات العملة.
الأكثر صموداً نسبياً: أدت الحقائق الزمنية والمفاهيم المالية أداءً أفضل ولكنها لا تزال دون مستوى الموثوقية المطلوبة للاستخدامات عالية المخاطر (على سبيل المثال، سجل Qwen3.5-397B-A17B نسبة 87.99% في Temporal FFA).

ج. مقارنة أداء النماذج

أفضل المؤدين: حقق Claude-Sonnet-4.6 أعلى FFA إجمالي (97.23%)، يليه عن كثب Qwen3-VL-8B-Instruct (96.88%) و GLM-OCR (96.92%).
المتخصص مقابل العام: لا تزال نماذج OCR المتخصصة (مثل GLM-OCR) قواعد مرجعية تنافسية، خاصة للنصوص المهيكلة. ومع ذلك، بدأت النماذج اللغوية الكبيرة العامة رفيعة المستوى (Claude, Qwen) في مضاهاة أو تجاوزها.
الأداء الضعيف: أظهرت بعض النماذج اللغوية الكبيرة العامة (مثل GPT-4o، Gemma-3n) فجوات كبيرة، حيث وصلت درجات FFA إلى 65.68%، وغالباً ما يكون ذلك بسبب الهلوسة أو المخرجات الناقصة.

د. أنماط الفشل

التعقيد: تتركز الأخطاء في المستندات ذات التخطيط المختلط والمعقد بصرياً (جداول + نصوص).
أخطاء خاصة بالنماذج:
- أنابيب OCR/النماذج المتخصصة: تظهر أخطاء تعرف ثابتة ومتكررة (مثل فساد لغوي ثابت مثل "transferor" $\to$ "transfessor") وعيوب في التنسيق.
- النماذج اللغبية الكبيرة التوليدية: عرضة لـ الاستمرارية المهلوسة (نسخ هياكل الجمل السابقة)، والاستبدالات المدفوعة بالسياق، والفساد الحر غير المستقر.
- المخرجات المفقودة: أظهرت النماذج المملوكة مثل GPT-4o و GPT-5 معدلات عالية من توليد HTML غير مكتمل (فقرات مفقودة بالكامل)، ويرجع ذلك على الأرجح إلى سلوكيات السلامة المتحفظة.

4. المساهمات الرئيسية

مجموعة بيانات FinCriticalED: أول معيار بصري متمحور حول الحقيقة مصمم خصيصاً لتقييم الحفاظ على الأدلة المالية الحرجة، ويحتوي على ما يقرب من 10 آلاف حقيقة مصنفة من قبل الخبراء عبر 5 فئات حرجة.
مقياس تقييم مبتكر: تقديم دقة الحقيقة المالية (FFA) وبروتوكول LLM-as-Judge مدعوم بقواعد حتمية ينتقل من مجرد التداخل النصي إلى التحقق من الدقة الدلالية للحقول الحرجة.
رؤى تجريبية: إثبات أن الدقة اللغوية العالية لا تضمن الموثوقية المالية، مع تحديد أنماط الفشل المحددة في كل من نماذج OCR المتخصصة والنماذج اللغوية الكبيرة العامة.
التقييم المرجعي: تقييم شامل لـ 13 نظاماً متنوعاً، مما يوفر معياراً جديداً لـ OCR المالي الموثوق.

المجموعة والبرمجيات متاحة على: https://the-finai.github.io/FinCriticalED/.

5. الأهمية

الموثوقية في المجالات عالية المخاطر: تسلط الورقة الضوء على أن النماذج اللغبية الكبيرة متعددة الوسائط الحالية ليست موثوقة بعد للتحليل المالي الآلي دون إشراف بشري، حيث يمكن للأخطاء البصرية الصغيرة أن تتسبب في خسائر مالية مادية.
إعادة تعريف نجاح الـ OCR: تجادل الورقة بأن هدف الـ OCR المالي يجب أن ينتقل من "دقة النسخ" إلى "دقة الأدلة"، مما يتطلب من النماذج الحفاظ على الإشارات البصرية المحلية (الإشارات، الفواصل العشرية، الوحدات) بدقة متناهية.
اتجاه البحث المستقبلي: يوفر المعيار بيئة اختبار لتطوير نماذج تجمع بين الصرامة الهيكلية لـ OCR المتخصص وقدرات الاستدلال للنماذج اللغوية الكبيرة، مستهدفةً بشكل خاص الحفاظ على الركائز المالية الحرجة.