💬 NLP

FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

تقدم هذه الورقة FinTagging، وهو أول معيار مرجعي شامل يفكك المهمة المعقدة لوسم XBRL إلى تحديد الأرقام المالية وربط المفاهيم المالية، ليكشف أن النماذج اللغوية الكبيرة، رغم تفوقها في استخراج الكيانات المالية، تعاني بشكل كبير في ربطها بتصنيف US GAAP الكامل تحت ظروف واقعية تراعي الهيكلية.

المؤلفون الأصليون: Yan Wang, Lingfei Qian, Xueqing Peng, Yang Ren, Keyi Wang, Yi Han, Dongji Feng, Fengran Mo, Shengyuan Lin, Qinchuan Zhang, Kaiwen He, Chenri Luo, Jianxing Chen, Junwei Wu, Chen Xu, Ziyang Xu, Jimin Hu

نُشر 2026-02-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yan Wang, Lingfei Qian, Xueqing Peng, Yang Ren, Keyi Wang, Yi Han, Dongji Feng, Fengran Mo, Shengyuan Lin, Qinchuan Zhang, Kaiwen He, Chenri Luo, Jianxing Chen, Junwei Wu, Chen Xu, Ziyang Xu, Jimin Huang, Guojun Xiong, Xiao-Yang Liu, Qianqian Xie, Jian-Yun Nie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة FinTagging البحثية، مترجم إلى لغة بسيطة وعملية مع بعض التشبيهات الإبداعية.

المشكلة الكبرى: كابوس "أمين المكتبة" المالي

تخيل أنك أمين مكتبة مسؤول عن مكتبة ضخمة تحتوي على مليوني كتاب (تقارير مالية للشركات). كل يوم، تمتلئ هذه الكتب بآلاف الأرقام: الأرباح، الديون، الرواتب، والضرائب.

لجعل هذه الأرقام مفيدة للحواسيب، والجهات التنظيمية، والمستثمرين، يجب أن يحمل كل رقم منها تسمية (وسماً/Tag) محددة من قاموس ضخم يسمى US-GAAP. هذا القاموس يحتوي على 17,688 تسمية مختلفة.

الطريقة القديمة: تشبه مطالبة إنسان بقراءة كتاب ووضع ملصق يدويًا على كل رقم يقول: "هذا هو الإيراد" أو "هذا هو الدين". إنها عملية بطيئة، مملة، والبشر يرتكبون فيها أخطاء.
الأمل في الذكاء الاصطناعي: أردنا استخدام نماذج اللغات الكبيرة (LLMs) — وهي العقول الذكية جداً وراء أدوات مثل ChatGPT — للقيام بعملية الوسم هذه تلقائياً.

العقبة: الاختبارات السابقة لهذه الأنواع من الذكاء الاصطناعي كانت تشبه إعطاءهم اختباراً قصيراً يحتوي على 5 أسئلة سهلة فقط. أما في العالم الحقيقي، فيتعين على الذكاء الاصطناعي الإجابة على 17,000 سؤال في وقت واحد، وغالباً ما يكون ذلك بالنظر في جداول بيانات فوضوية ونصوص مربكة. الاختبارات القديمة لم تكن توضح لنا ما إذا كان الذكاء الاصطناعي ذكياً بما يكفي للوظيفة الحقيقية.

الحل: FinTagging (الرقصة ذات الخطوتين)

ابتكر مؤلفو هذه الورقة اختباراً جديداً وأكثر صعوبة يسمى FinTagging. بدلاً من مطالبة الذكاء الاصطناعي بتخمين التسمية في قفزة واحدة عملاقة، قاموا بتقسيم المهمة إلى رقصة من خطوتين:

الخطوة 1: "الباحث عن الحقائق" (FinNI)

التشبيه: تخيل محققاً يمسح مسرح الجريمة. وظيفته الوحيدة هي العثات على الأدلة (الأرقام) وتحديد نوع هذا الدليل.
ماذا يفعل: يقرأ الذكاء الاصطناعي المستند (نص أو جداول) ويقول: "لقد وجدت رقماً: 50 مليون دولار. إنه مبلغ نقدي، وليس نسبة مئوية أو عدداً للأشخاص".
النتيجة: الذكاء الاصطناعي جيد جداً في هذا. إنه مثل محقق بارع في رصد آثار الأقدام.

الخطوة 2: "خاطبة التسميات" (FinCL)

التشبيه: الآن يمتلك المحقق الدليل، لكنه يحتاج إلى وضعه في الدرج الصحيح داخل خزانة تحتوي على 17,000 درج. هذا هو الجزء الصعب. هل الـ "50 مليون دولار" هي "نقد متوفر"؟ أم "نقد مقيد"؟ أم "دخل استثماري"؟
ماذا يفعل: ينظر الذكاء الاصطناعي إلى السياق (الجمل المحيطة بالرقم) ويحاول مطابقتها مع التسمية المثالية في القاموس الضخم.
النتيجة: هنا يعاني الذكاء الاصطناعي. حتى النماذج الأكثر ذكاءً تصاب بالارتباك. قد يختارون درداً "قريباً" ولكن ليس دقيقاً تماماً. الأمر يشبه معرفة كلمة "تفاحة" ولكن عدم معرفة ما إذا كان الشخص يقصد الفاكهة أم شركة التكنولوجيا دون مزيد من السياق.

ماذا اكتشفوا؟

اختبر الباحثون 13 نموذجاً مختلفاً من الذكاء الاصطناعي (بما في ذلك أسماء كبيرة مثل GPT-4o و Llama و DeepSeek) على هذا الاختبار الجديد والأكثر واقعية. وإليكم ما وجدوه:

"فجوة الاستخراج": الذكاء الاصطناعي محقق رائع (الخطوة 1). يمكنه العثور على الأرقام في الجداول والنصوص الفوضوية بشكل شبه مثالي.
"فجوة المواءمة": الذكاء الاصطناعي أمين مكتبة مرتبك (الخطوة 2). عندما يتعين عليه اختيار التسمية الدقيقة من بين 17,000 خيار، فإنه غالباً ما يختار التسمية الخاطئة. هو يفهم الرقم، لكنه لا يفهم تماماً القواعد المحاسبية المحددة وراءه.
الاختبارات القديمة كانت "غشاً": الاختبارات السابقة كانت تطلب من الذكاء الاصطناعي الاختيار من قائمة صغيرة تضم 100 تسمية فقط. هذا يشبه اختبار طيار عبر سؤاله فقط عن الهبوط على مدرج لا توجد به رياح. أما FinTagging فيختبرهم في وسط إعصار. عندما تختبرهم باستخدام القائمة الكاملة المكونة من 17,000 تسمية، ينخفض أداؤهم إلى الصفر تقريباً إذا لم تستخدم طريقة الخطوتين.

لماذا يهم هذا الأمر؟

تخيل أن التقارير المالية هي لغة المال. إذا كانت التسميات خاطئة، فإن "الترجمة" ستكون خاطئة أيضاً.

إذا أخطأ الذكاء الاصطناعي في تسمية "دين" على أنه "ربح"، فقد يشتري المستثمرون أسهماً في شركة تعاني في الواقع من مشاكل مالية.
إذا لم تتمكن الجهات التنظيمية من الوثوق بالوسوم، فلن تتمكن من تطبيق القواعد.

الخلاصة:
تقول هذه الورقة: "لا تثقوا فقط في الذكاء الاصطناعي للقيام بالمهمة كاملة في خطوة واحدة". نحن بحاجة لبناء أنظمة حيث يقوم الذكاء الاصطنا أولاً بإيجاد الأرقام (وهو بارع في ذلك) ثم يستخدم عملية ذكية وخطوة بخطوة لمطابقتها مع القواعد (وهو أمر يحتاج فيه إلى مساعدة).

لقد أطلقوا أيضاً مجموعة البيانات والبرمجيات (مثل كتاب الوصفات) لكي يتمكن باحثون آخرون من تجربة حل مشكلة "خاطبة التسميات" وبناء ذكاء اصطناعي مالي أفضل للجميع.

ملخص في جملة واحدة

يوضح اختبار FinTagging، وهو اختبار جديد وواقعي، أن الذكاء الاصطناعي بارع في العثور على الأرقام في التقارير المالية ولكنه لا يزال بحاجة إلى الكثير من المساعدة لتسميتها بشكل صحيح وفقاً للقواعد المحاسبية المعقدة، مما يثبت حاجتنا إلى نهج أكثر ذكاءً يعتمد على الخطوات المتعددة لأتمتة التقارير المالية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information" (تقييم النماذج اللغوية الكبيرة في استخراج وهيكلة المعلومات المالية).

1. بيان المشكلة

تتمثل المشكلة الجوهرية التي تعالجها الورقة في الطبيعة المكلفة والمعرضة للخطأ لعملية وسم (Tagging) لغة XBRL (لغة التقارير التجارية الموسعة) في التقارير المالية.

السياق: تنشر أكثر من مليوني شركة سنويًا تقارير مالية يجب وسمها بمفاهيم معيارية من نظام US-GAAP (أكثر من 17,000 مفهوم فريد) لضمان قابلية القراءة الآلية من قبل المنظمين والأسواق.
محدودية النهج الحالية:
- التبسيط المفرط: تتعامل الاختبارات المعيارية الحالية (مثل FiNER وFNXL) مع عملية الوسم كمهام تصنيف بسيطة أحادية الخطوة على مجموعات فرعية مختزلة من المفاهيم (مثل أفضل 139 أو 2,800 مفهوم)، متجاهلةً بذلك التصنيف الكامل الذي يتجاوز 17 ألف مفهوم.
- العمى الهيكلي: غالبًا ما تقوم مجموعات البيانات الحالية بإزالة الهيكل الجدولي من الوثائق المالية، رغم أن الجداول هي الناقل الأساسي للبيانات الرقمية.
- فجوة التقييم: يعتمد العمل السابق على "التصنيف المتطرف للمجموعات المغلقة"، وهو ما يفشل في تقييم النماذج اللغوية الكبيرة (LLMs) في الظروف الواقعية حيث لا يمكن تمثيل التصنيف الكامل داخل سياق النموذج (In-context). يؤدي هذا إلى حدوث "هلوسة" في الوسوم أو أداء يقترب من الصفر في الإعدادات ذات النطاق الكامل.

2. المنهجية: إطار عمل FinTagging

قدم المؤلفون FinTagging، وهو أول إطار عمل شامل مصمم لتقييم النماذج اللغوية الكبيرة في مهام الوسم المتوافق مع الهيكل وذو النطاق الكامل لـ XBRL. لقد أعادوا صياغة المهمة من تصنيف أحادي الخطوة إلى نموذج "الاستخراج والمواءمة" (Extract-and-Align) ثنائي المرحلة:

أ. صياغة المهمة

تم تفكيك المهمة إلى مهمتين فرعيتين:

تحديد الأرقام المالية (FinNI):
- الهدف: استخراج الكيانات الرقمية (الحقائق - Facts) من السياقات غير المتجانسة (النصوص السردية والجداول المهيكلة) وتصنيف أنواع بياناتها الخشنة (مثل monetaryItemType أو percentItemType).
- المدخلات: نص أو بيانات جداول مسلسلة.
- المخرجات: قائمة من أزواج {الحقيقة، النوع}.
ربط المفاهيم المالية (FinCL):
- الهدف: ربط كل كيان مستخرج بالمفهوم الأكثر دقة وتحديدًا في تصنيف US-GAAP الكامل (17,688 مفهومًا).
- الآلية: نهج "الاسترجاع وإعادة التصنيف" (Retrieval-Rerank).
  - الاسترجاع (Retrieval): استخدام التشابه الدلالي (text-embedding-3-small) لاسترجاع أفضل ( $k$ ) من المفاهيم المرشحة من التصنيف الكامل.
  - إعادة التصنيف (Reranking): يقوم النموذج اللغوي بتحليل الكيان، ونوعه، والسياق الهيكلي، لاختيار أفضل وسم واحد من بين المرشحين المسترجعين.

ب. بناء مجموعة البيانات

المصدر: 142 تقرير (10-K) مقدم لـ SEC للفترة (2023–2024) تغطي 11 قطاعًا صناعيًا.
سلسلة التوسيم (Annotation Pipeline):
- الاستخراج الآلي: قام محلل قائم على القواعد بإعادة بناء الروابط بين الإفصاحات المقروءة بشريًا والبيانات الوصفية لـ Inline XBRL لاستخراج 261,457 كيانًا رقميًا.
- ضبط الجودة: اختارت طريقة أخذ عينات استراتيجية (greedy minimal-cover) مجموعة تدقيق متنوعة تضم حوالي 2,000 حالة (جمل وجداول) تغطي جميع المفاهيم المرصودة.
- التحقق البشري: قام اثنان من المحللين المبتدئين ومُحكم (Adjudicator) خبير بالتحقق من البيانات، محققين معامل اتفاق "كوهين كابا" ( $\kappa$ ) قدره 0.81 (اتفاق جوهري).
مجموعات البيانات المنشورة:
- FinNI-eval: تضم 28,787 حالة لاستخراج الكيانات وتصنيف الأنواع.
- FinCL-eval: تضم 261,457 زوجًا من (الاستعلام-الإجابة) لربط المفاهيم مقابل التصنيف الكامل الذي يتجاوز 17 ألفًا.

3. المساهمات الرئيسية

صياغة جديدة: تحويل وسم XBRL من "تصنيف متطرف" إلى عملية "استخراج ومواءمة" ثنائية المرحلة، مما يسمح بالتقييم مقابل تصنيف US-GAAP الكامل (17,688 مفهومًا) بدلاً من المجموعات الفرعية المختزلة.
موارد عالية الدقة: إصدار FinNI-eval و FinCL-eval، وهما أول مجموعات بيانات في المجال المالي تدمج صراحةً الهياكل الجدولية المعقدة وتتطلب استدلالًا مشتركًا عبر النصوص والجداول.
رؤى تشخيصية: تحديد "فجوة مواءمة المعرفة" (Knowledge-Alignment Gap). فبينما تتفوق النماذج اللغوية الكبيرة في استخراج الأرقام، فإنها تعاني بشكل كبير في المواءمة الدلالية الدقيقة مع مفاهيم محاسبية محددة دون إطار عمل مهيكل.

4. النتائج التجريبية

قام المؤلفون بتقييم 13 نموذجًا لغويًا كبيرًا (بما في ذلك GPT-4o، DeepSeek-V3، Llama-3/4، Qwen3، والنموذج المتخصص في المجال Fino1) في إعدادات التعلم الصفري (Zero-shot).

الأداء العام:
- الاستخراج (FinNI): تؤدي النماذج اللغية الكبيرة بشكل جيد نسبيًا. حقق DeepSeek-V3 أفضل قيمة F1 (0.6932)، مدفوعًا بارتفاع معدل الاستدعاء (Recall). وتعمم النماذج بشكل جيد على الكيانات ذات الذيل الطويل (Long-tail entities).
- المواءمة (FinCL): ينخفض الأداء بشكل حاد. حتى أفضل النماذج (DeepSeek-V3، GPT-4o) حققت دقة أقل من 0.19 في إعداد الاسترجاع وإعادة التصنيف.
- المقارنة: تفوقت نماذج اللغة المسبقة التدريب التقليدية (BERT، FinBERT) التي تم ضبطها بدقة على تصنيفات مختزلة في مقياس micro-F1 للوسوم المتكررة، لكنها فشلت في التعميم على التصنيف الكامل، مما يؤكد محدودية نهج المجموعات المغلقة.
دراسات الاستئصال (Ablation Studies):
- فشل الخطوة الواحدة: عندما أُجبرت النماذج على أداء عملية الوسم كخطوة واحدة للتصنيف المتطرف (الاختيار من بين 17 ألف مفهوم بدون استرجاع)، انهارت جميع النماذج إلى أداء 0%.
- انتشار الخطأ: تعاني السلسلة الكاملة (الاستخراج + الاسترجاع + إعادة التصنيف) من تراكم الأخطاء. أدى توفير كيانات "ذهبية" (Gold entities) إلى تحسين الدقة بشكل كبير، مما يثبت أن استخراج الكيانات هو العائق الأساسي. ومع ذلك، حتى مع وجود كيانات مثالية، ظلت دقة إعادة التصنيف منخفضة (أقل من 0.21)، مما يشير إلى أن فك الالتباس الدلالي الدقيق هو التحدي الجوهري.
الوعي بالهيكل:
- كانت دقة الاسترجاع للبيانات القائمة على الجداول أقل بكثير من الكيانات القائمة على النصوص.
- تفوق استخدام السياق المدرك للهيكل (SAC) (تسلسل صفوف الجداول خطيًا) بشكل كبير على سياق النافذة الثابتة (FWC)، مما يبرز ضرورة الحفاظ على المعلومات الهيكلية.

5. الأهمية والخاتمة

معيار قياسي: يضع FinTagging معيارًا صارمًا لتقييم النماذج اللغوية الكبيرة في التقارير المالية، متجاوزًا مجرد الأسئلة والأجوبة أو الاستخراج إلى مهام الامتثال التنظيمي المعقدة والمهيكلة.
الآثار العملية: تشير النتائج إلى أنه بينما تعد النماذج اللغية الكبيرة أدوات قوية لتحديد الحقائق المالية، إلا أنها لا تستطيع بعد استبدال الخبرة البشرية في ربط هذه الحقائق بتصنيفات تنظيمية دقيقة دون دعم معماري كبير (مثل التوليد المعزز بالاسترجاع والتحفيز المهيكل).
العمل المستقبلي: تسلط الورقة الضوء على الحاجة إلى نماذج يمكنها فهم أفضل للدلالات الهرمية للتصنيفات والفروق الهيكلية الدقيقة للجداول المالية. يوفر الكود والمجموعات البيانية المنشورة أساسًا لتطوير أنظمة وسم XBRL مؤتمتة وأكثر موثوقية.