FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان "FINAUDITING: معيار متعدد المستندات مهيكل وفق تصنيف مالي لتقييم النماذج اللغوية الكبيرة (LLMs)".

1. بيان المشكلة

تتضمن عملية التدقيق المالي اكتشاف التناقضات الدلالية، والهيكلية، والعددية عبر الإفصاحات المالية واسعة النطاق ومتعددة المستندات. تُقدم التقارير المالية الحديثة بتنسيق XBRL (لغة التقارير الأعمال الموسعة)، وهو تنسيق XML مهيكل يخضع لمعايير محاسبية صارمة (مثل US-GAAP).

• التحدي: التدقيق ليس مجرد معالجة نصوص؛ بل يتطلب استخراج معلومات مهيكلة، استدلالاً متوافقاً مع التصنيفات (Taxonomy-aligned reasoning)، وفحوصات اتساق عبر المستندات.
• قصور النماذج اللغوية الكبيرة الحالية: بينما تؤدي النماذج اللغوية الكبيرة (LLMs) أداءً جيداً في المهام المالية المنعزلة (مثل الأسئلة والأجوبة على مستند واحد)، فإن قدرتها على التعامل مع التدقيق المهني تظل غير مثبتة. تعاني المعايير الحالية من:
  1. العزل السياقي: تركز على المستندات المنفردة أو المقتطفات، متجاهلة التبعيات عبر المستندات.
  2. التقييم السطحي: تفتقر إلى تقييم الاستدلال الهيكلي متعدد الخطوات عبر التسلسلات الهرمية للتقارير.
  3. عدم استغلال التصنيفات (Taxonomy): تفشل في تقييم ما إذا كانت النماذج قادرة على الاستدلال بناءً على التصنيفات المحاسبية الرسمية (GAAP) التي تحدد المفاهيم والعلاقات الصالحة.

2. المنهجية: معيار FINAUDITING

قدم المؤلفون FINAUDITING، وهو معيار مهيكل وفق التصنيفات وواعٍ بالبنية، مستمد من ملفات XBRL حقيقية متوافقة مع معايير US-GAAP.

أ. بناء البيانات

• المصدر: 218 ملف XBRL من قاعدة بيانات SEC EDGAR (2020–2024) مرتبطة بـ 4,545 رسالة خطأ رسمية من لجنة جودة البيانات (DQC).
• الحقيقة الأرضية (Ground Truth): مشتقة بشكل حتمي من قواعد DQC، مما يضمن تسميات عالية الدقة للتناقضات الدلالية، والعلاقية، والعددية.
• الهيكل: تتضمن كل حالة ملفاً مستهدفاً يتكون من ستة مستندات XML مترابطة (Instance, Schema, Calculation, Presentation, Definition, و Label linkbases) بالإضافة إلى تصنيف US-GAAP.
• النطاق: يحتويت مجموعة البيانات على 1,102 حالة مشروحة، بمتوسط 33,000 رمز (token) لكل حالة، مما يحاكي سيناريوهات التدقيق المالي ذات السياق الطويل.
• رقمنة التصنيف (Taxonomy Digitalization): تم تحويل تصنيف US-GAAP إلى كتل مركزة حول المفاهيم (كتل أساسية للسمات، وكتل علاقات للروابط الهرملية/الهيكلية) لتمكين الاسترجاع المهيكل.

ب. صياغة المهام

يحدد المعيار ثلاث مهام تكميلية:

1. المطابقة الدلالية المالية (FinSM):

   • الهدف: تحديد وسوم US-GAAP في الملفات التي لا تتوافق دلالياً مع التصنيف القياسي.
   • المدخلات: استعلام بشأن مصطلح مالي وهيكل الملف الكامل.
   • المخرجات: قائمة بالمفاهيم الخاطئة.
   • المقاييس: معدل الإصابة (HR@k)، الاستدعاء (R@k)، وMacro-F1.

2. استخراج العلاقات المالية (FinRE):

   • الهدف: اكتشاف الأخطاء الهيكلية في العلاقات الهرمية والتركيبية بين البنود المالية.
   • أنواع الأخطاء:
     • الانعكاس (Reversal): انقلاب الهيكل بين الأب والابن.
     • عدم الملاءمة (Inappropriateness): ربط عنصر ابن بأب غير صالح.
     • خطأ التركيب (CombinationErr): تركيبات غير صالحة بين المحور (Axis) والعضو (Member).
   • المخرجات: تصنيف نوع الخطأ المحدد.
   • المقاييس: الدقة (Accuracy)، Macro Precision، Macro Recall، وMacro F1.

3. الاستدلال الرياضي المالي (FinMR):

   • الهدف: التحقق من الصحة العددية عبر مقارنة القيم المبلغ عنها بالقيم المحسوبة عبر روابط الحساب (المنطق المحاسبي).
   • المخرجات: ملف JSON مهيكل يحتوي على القيمة المستخرجة (extracted_value) والقيمة المحسوبة (calculated_value) (المشتقة من قواعد التصنيف).
   • المقاييس: الدقة الإجمالية، معدل الخطأ الهيكلي (SER)، معدل خطأ الاستخراج (EER)، ومعدل خطأ الحساب (CER).

3. المساهمات الرئيسية

1. أول معيار قائم على التصنيف: أول معيار مبني من ملفات XBRL حقيقية يدمج صراحةً الهياكل متعددة المستندات وتصنيفات GAAP الرسمية للتقييم.
2. تصميم مهام واعٍ بالبنية: يقترح ثلاث مهام (FinSM, FinRE, FinMR) تقيم مجتمعة التوافق الدلالي، والاتساق العلاقي، والاستدلال العددي تحت قيود رسمية.
3. التقييم المنهجي: يوفر تقييماً شاملاً لـ 13 نموذجاً من أحدث النماذج (بما في ذلك GPT-4o, DeepSeek-V3, Llama-3/4, Qwen، ونماذج مالية متخصصة مثل Fin-o1 و Fin-R1)، مما يكشف عن فجوات كبيرة في القدرات الحالية.
4. الإطلاق المفتوح: تم إطلاق مجموعة البيانات، وكود التقييم، وكتل التصنيف للجمهور لدعم الأبحان المستقبلية في الذكاء الاصطناعي المالي الموثوق.

4. النتائج التجريبية

قام المؤلفون بتقييم 13 نموذجاً (نموذج واحد مغلق المصدر، 10 نماذج مفتوحة المصدر عامة، ونموذجان مفتوحان للمجال المالي) في بيئة التعلم الصفري (Zero-shot).

• FinSM (المطابقة الدلالية):

  • كان الأداء منخفضاً بشكل موحد عبر جميع النماذج. حتى أفضل نموذج (DeepSeek-V3) حقق معدل إصابة (Hit Rate@20) بنسبة 12.42% فقط.
  • النتيجة: لم يرتبط حجم النموذج أو التدريب المسبوق في المجال بالنجاح. تعاني النماذج من تحديد المفاهيم غير الملائمة دلالياً تحت قيود التصنيف الصارمة، وتعتمد بدلاً من ذلك على التشابه السطحي.

• FinRE (استخراج العلاقات):

  • حقق GPT-4o أفضل أداء (الدقة: 91.82%)، يليه DeepSeek-V3 (82.73%).
  • عانت معظم النماذج مفتوحة المصدر بشكل كبير، حيث حققت بعض النماذج (مثل Qwen3-32B و Fin-o1) دقة 0%.
  • النتيجة: كان "CombinationErr" (التحقق من المحور-العضو) هو المهمة الأكثر صعوبة، مما تسبب في انهيار معظم النماذج إلى درجات تقترب من الصفر في مقياس F1.

• FinMR (الاستدلال الرياضي):

  • كانت الدقة الإجمالية منخفضة للغاية. حقق أفضل نموذج (Fin-o1-14B) نسبة 13.86% فقط.
  • تحليل الأخطاء:
    • هيمنت أخطاء الحساب (CER) (70–83% من الإخفاقات)، مما يشير إلى أن النماذج لا تستطيع تنفيذ منطق حسابي متعدد الخطوات محدد في الروابط.
    • كانت الأخطاء الهيكلية (SER) مرتفعة للعديد من النماذج، مما يظهر عدم القدرة على إخراج تنسيق JSON المطلوب.
  • النتيجة: غالباً ما تستطيع النماذج استخراج الأرقام، لكنها تفشل في إجراء الاستدلال الحسابي العابر للحقائق المطلوب للتدقيق.

5. الأهمية والآثار المترتبة

• محدودية الذكاء الاصطناعي الحالي: تظهر النتائج أن النماذج اللغوية الكبيرة الحالية، حتى النماذج الرائدة، ليست جاهزة بعد للتدقيق المالي المهني. فهي تفتقر إلى القدرة على الاستدلال فوق الهياكل الهرمية والالتزام بالتصنيفات التنظيمية الصارمة.
• الحاجة إلى بنيات متخصصة: تشير النتائج إلى أن توسيع المعلمات (Parameters) وحده غير كافٍ. تتطلب النماذج المستقبلية تأصيلاً هيكلياً صريحاً، توليداً مدعوماً بالاسترجاع (RAG) مصمماً للتصنيفات، وأنظمة متعددة الوكلاء (Multi-agent systems) للتحقق عبر المستندات.
• النشر العملي: يعمل هذا المعيار كبيئة اختبار واقعية لتطوير أنظمة تدقيق "الإنسان في الحلقة" (Human-in-the-loop)، حيث يتولى الذكاء الاصطنا الاصطناعي عمليات الفحص عالية الاستدعاء (تحديد الأخطاء المحتملة) ويقوم البشر بعمليات التحقق عالية المخاطر.
• التقييس: يضع FINAUDITING معياراً جديداً لتقييم الذكاء الاصطناعي المالي، منتقلاً من مجرد فهم النصوص إلى الاستدلال المعقد المدفوع باللوائح.

في الختام، يسلط FINAUDITING الضوء على فجوة حرجة بين قدرات النماذج اللغوية الكبيرة الحالية والمتطلبات الصارمة للتدقيق المالي، داعياً إلى جيل جديد من النماذج المصممة خصيصاً للاستدلال المهيكل، والواعي بالتصنيفات، ومتعدد المستندات.