💬 NLP

HiFi-KPI: A Dataset for Hierarchical KPI Extraction from Earnings Filings

تقدم هذه الورقة HiFi-KPI، وهي مجموعة بيانات واسعة النطاق تحتوي على 1.65 مليون فقرة و198,000 تسمية منظمة هرمياً ومرتبطة بتصنيفات iXBRL لتسهيل استخراج وتصنيف مؤشرات الأداء الرئيسية من تقارير الأرباح، إلى جانب مجموعة فرعية مخففة (Lite) منسقة للتقييم السريع وكود مصدري مفتوح المصدر.

المؤلفون الأصليون: Rasmus Aavang, Giovanni Rizzi, Rasmus Bøggild, Alexandre Iolov, Mike Zhang, Johannes Bjerva

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rasmus Aavang, Giovanni Rizzi, Rasmus Bøggild, Alexandre Iolov, Mike Zhang, Johannes Bjerva

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول قراءة تقرير مالي لشركة عملاقة مثل أبل أو تسلا. هذه التقارير تشبه الغابات الكثيفة والضخمة من الأرقام والنصوص. ولجعل هذه التقارير مفهومة، تحتاج الحواسيب إلى خريطة.

لسنوات طويلة، استخدم العالم المالي خريطة رقمية تسمى iXBRL. وهي تشبه خزانة ملفات ضخمة حيث يتم وسم كل رقم (مثل "الإيرادات" أو "الربح") بملصق محدد. ولكن تكمن المشكلة في أن هذه الملصقات محددة للغاية.

فكر في الأمر على هذا النحو:

الطريقة القديمة: بدلاً من أن يرى الكمبيوتر ملصقاً يقول "فاكهة"، فإنه يرى "تفاحة حمراء، 2023، ولاية واشنطن، نوع جالا، 150 جرام". إذا أردت مقارنة "التفاح" عبر شركات مختلفة، سيصاب الكمبيوتر بالارتباك لأن إحدى الشركات تسميها "تفاحة جالا" والأخرى تسميها "ريد ديليشس". الأمر يشبه محاولة مقارنة مكتبتين، حيث يتم تصنيف كتب إحداهما حسب "الاسم الأوسط للمؤلف" وتصنيف الأخرى حسب "لون غلاف الكتاب". إنها فوضى عارمة.
النتيجة: الحواسيب بارعة في القراءة، لكنها سيئة جداً في فهم السياق (مثل العملة التي يُقاس بها المال، أو التواريخ التي تغطيها تلك الأرقام) عندما تكون الملصقات محددة بشكل مفرط كهذا.

مرحباً بـ HiFi-KPI (الخريطة "عالية الدقة")

قام مؤلفو هذه الورقة البحثية ببناء أداة جديدة تسمى HiFi-KPI. فكر فيها كأنها مترجم عالمي وأمين مكتبة ذكي في آن واحد.

إليك ما فعلوه، مقسماً ببساة:

1. المجموعة الضخمة (المكتبة)

قاموا بجمع 1.65 مليون فقرة من آلاف التقارير المالية الرسمية (مثل نماذج 10-K و10-Q التي تقدمها الشركات للحكومة).

التشبيه: تخيل أنهم قرأوا كل صفحة في كل تقرير مالي تم تقديمه في الولايات المتحدة خلال السنوات السبع الماضية. هذا قدر هائل من القراءة!

2. "التسلسل الهرمي الذكي" (نظام التنظيم)

كان النظام القديم يحتوي على 198,000 ملصق مختلف ومربك. قام HiFi-KPI بتنظيم هذه الملصقات في تسلسل هرمي (شجرة عائلة).

التشبيه: بدلاً من إجبار الكمبيوتر على حفظ 198,000 اسم محدد، علموه فهم العائلة.
- الجد: "الأموال المحققة" (الإيرادات)
- الأب: "الأموال الناتجة عن بيع الأشياء"
- الابن: "الأموال الناتجة عن تأجير مبنى معين في عام 2023"
هذا يسمح للكمبيوتر بالتقريب أو التباعد. إذا لم يتمكن من العثور على "إيجار المبنى لعام 2023" بدقة، فإنه لا يزال بإمكانه القول بثقة: "آه، هذا مجرد إيرادات". وهذا يجعل النظام أكثر ذكاءً ومرونة.

3. "قرائن السياق" (عمل المحقق)

رقم مثل "50 مليون دولار" لا قيمة له بدون سياق. هل هي دولارات أم يورو؟ هل هي للعام الماضي أم للعام القادم؟

التشبيه: HiFi-KPI لا يلتقط الرقم فحسب؛ بل يلتقط المشهد بأكمله. فهو يربط الـ "50 مليون دولار" بالتواريخ المحددة (من 1 يناير إلى 31 ديسمبر) وبالعملة (الدولار الأمريكي). الأمر يشبه المحقق الذي لا يكتفي بالعثور على دليل، بل يدون أيضاً أين وجده ومتى.

4. النسخة "المخففة" (عجلات التدريب)

مجموعة البيانات الكاملة ضخمة ومعقدة. لذا، قام المؤلفون أيضاً بإنشاء HiFi-KPI-Lite.

التشبيه: هذا يشبه "دليل الدراسة" أو "مجموعة بطاقات تعليمية". لقد طلبوا من خبير مالي بشري اختيار أهم 4 أشياء يجب البحث عنها: الأرباح (Earnings)، والأرباح قبل الفائدة والضرائب (EBIT)، وربحية السهم (EPS)، والإيرادات (Revenue).
قاموا بربط آلاف الملصقات الحاسوبية المربكة بهذه المفاهيم البشرية الأربعة البسيطة. وهذا يسمح للباحثين باختبار نماذج الذكاء الاصطنا الجديدة بسرعة دون الحاجة إلى حاسوب فائق القدرة.

ماذا اختبروا؟ (السباق)

وضع المؤلفون أنواعاً مختلفة من الذكاء الاصطناعي تحت الاختبار لمعرفة من يستطيع قراءة هذه التقارير بشكل أفضل:

الذكاء الاصطناعي "التقليدي" (نماذج الترميز - Encoder Models): هؤلاء يشبهون الطلاب المجتهدين الذين قرأوا الكتاب المدرسي عدة مرات.
- النتيجة: كانوا ممتازين في تحديد الملصقات (بنسبة دقة تتجاوز 90%). هم بارعون في قول: "هذه الجملة تتحدث عن الإيرادات".
ذكاء "الجني الجديد" (النماذج اللغوية الكبيرة مثل GPT وQwen وغيرها): هؤلاء هم نماذج الذكاء الاصطناعي البراقة والمبدعة التي يمكنها كتابة القصص والدردشة.
- النتيجة: كانوا جيدين في الأساسيات لكنهم واجهوا صعوبة في التفاصيل. غالباً ما أخطأوا في التواريخ أو خلطوا بين العملات.
- المشكلة: إذا طلبت من "جني" استخراج رقم محدد مع تاريخه وعملته، فقد يقوم أحياناً بالتخمين. الأمر يشبه صديقاً ذكياً يعرف الفكرة العامة، لكنه قد يخطئ في تحديد الوقت الدقيق لاجتماعك.

لماذا يهم هذا الأمر؟

للمستثمرين: تخيل القدرة على المقارنة الفورية بين "إيرادات" 500 شركة دون الحاجة لقراءة 500 ملف PDF يدوياً. هذه الأداة تقوم بأتمتة ذلك، مما يساعد المستثمرين على رصد الاتجاهات بشكل أسرع.
للشركات: يساعدهم ذلك على التحقق من تقاريرهم الخاصة بحثاً عن الأخطاء قبل تقديمها.
للجهات التنظيمية: يجعل من السهل اكتشاف ما إذا كانت الشركة تخفي شيئاً ما أو تضع ملصقات غير صحيحة.

الخلاصة

تقول الورقة البحثية: "لقد بنينا مكتبة ضخمة ومنظمة من البيانات المالية التي تعلم الحواسيب كيفية فهم سياق الأرقام، وليس مجرد الأرقام نفسها."

على الرغم من أن أحدث نماذج الذكاء الاصطناعي البراقة (LLMs) مثيرة للإعجاب، إلا أن الورقة توضح أنه بالنسبة لهذه المهمة المحددة وعالية المخاطر، فإن النماذج المتخصصة والمعدلة بدقة (الطلاب المجتهدين) هي الأكثر موثوقية حالياً من "الجن البراق". ومع ذلك، فإن مجموعة البيانات الجديدة هذه توفر للجميع أساساً أفضل لبناء أدوات أكثر ذكاءً في المستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "HiFi-KPI: مجموعة بيانات للاستخراج الهرمي لمؤشرات الأداء الرئيسية من التقارير المالية".

1. بيان المشكلة

تعالج الورقة تحدي أتمتة استخراج مؤشرات الأداء الرئيسية (KPIs) من تقارير الأرباح المالية المودعة لدى هيئة الأوراق المالية والبورصات الأمريكية (SEC).

مصدر البيانات: تلتزم الشركات العامة بتقديم تقار تقارير بلغة تقارير الأعمال الموسعة المتضمنة خطياً (iXBRL). وبينما توفر iXBRL وسوماً قابلة للقراءة آلياً، إلا أن التصنيفات الأساسية معقدة للغاية ودقيقة جداً.
المشكلة الجوهرية: يحتوي تصنيف iXBRL على ما يصل إلى 198,000 تسمية فريدة. هذه التسميات غالباً ما تكون محددة للغاية لكل شركة على حدة (مثل aapl:EquitySecuritiesFVNIAccumulatedGrossUnrealizedGainBeforeTax) مما يؤدي إلى:
- ضعف التعميم: النماذج المدربة على وسوم محددة لشركة واحدة تواجه صعوبة في التعميم على شركات أخرى.
- ندرة البيانات: تظهر العديد من التسميات بشكل نادر جداً، مما يجعل التعلم الخاضع للإشراف أمراً صعباً.
- صعوبة التوسيم: حتى بالنسبة للخبراء، فإن ربط النص بالتسمية الصحيحة المحددة يستغرق وقتاً طويلاً وعرضة للخطأ (تظهر البيانات الحالية معدلات خطأ تتجاوز 34% في بعض التقارير).
- نقص السياق: تفتقر مجموعات البيانات الحالية غالباً إلى المعلومات السياقية الحاسمة (الفترات الزمنية، العملات، القيم العددية) المضمنة في هيكل iXBRL، وهو أمر حيوي للتحليل المالي الدقيق.

2. المنهجية

يقترح المؤلفون إطار عمل شاملاً يتضمن إنشاء مجموعة بيانات، وتوحيد التصنيف، والتجميع الهرمي.

أ. بناء مجموعة البيانات (HiFi-KPI)

المصدر: 42,018 تقريراً ربع سنوي (10-Q) و14,389 تقريراً سنوياً (10-K) من عام 2017 إلى يونيو 2024.
الاستخراج: باستخدام beautifulsoup والتعبيرات النمطية (regular expressions)، استخرج المؤلفون نطاقات النصوص المرتبطة بوسوم iXBRL، مع الحفاظ على:
- مقتطف النص.
- وسم iXBRL المحدد.
- الفترات الزمنية المرتبطة (تاريخ البداية والنهاية).
- القيم العددية والعملات.
النطاق: تحتوي مجموعة البيانات النهائية على 1.65 مليون فقرة و4.5 مليون كيان.
ضبط الجودة: حددت عملية تدقيق يدوي لـ 300 عينة عشوائية أخطاء في تحليل التاريخ، والعملة، والنطاق، والقيمة. تم تطبيق التعبيرات النمطية لتصفية "البدايات الخاطئة" والمقتطفات المشوهة، مما أدى إلى معدل خطأ نهائي أقل من %1.

ب. توحيد وتجميع التصنيف

لحل مشكلة التحديد المفرط، قام المؤلفون بتوحيد تصنيفي iXBRL الرئيسيين:

العرض (.pre): يحدد التخطيط المرئي والعلاقات الهرمية في التقارير.
الحساب (.cal): يحدد العلاقات الحسابية (على سبيل المثال، $A + B = C$ ).

خوارزمية التجميع من الأسفل إلى الأعلى:
بدلاً من استخدام 198 ألف تسمية خام، نفذ المؤلفون طريقة تجميع هرمي من الأسفل إلى الأعلى:

بدءاً من العقد الورقية (التسميات المحددة)، يتم ربط التسميات تكرارياً بآبائها المباشرين.
يقلل هذا من التحديد ويزيد من عدد الفئات، مما يسمح بتدريب النماذج عند مستويات مختلفة من التفصيل (على سبيل المثال، ربط "دخل عقود الإيجار التشغيلية" بمفهوم "الإيرادات" الأوسع).
تختار الخوارزمية الأب الأكثر شيوعاً عبر الشركات لإنشاء تصنيف موحد.

ج. HiFi-KPI-Lite

من أجل النماذج الأولية السريعة والتقييم، تم إنشاء مجموعة فرعية منسقة مكونة من 8,000 فقرة.

الربط الخبير: قام خبير متخصص رفيع المستوى بربط وسوم iXBRL المحددة بأربعة مفاهيم مالية عامة: الأرباح (Earnings)، والأرباح قبل الفوائد والضرائب والإهلاك والاستهلاك (EBIT)، وربحية السهم (EPS)، والإيرادات (Revenues).
الغرض: يعمل كمعيار لمهام الاستخراج المهيكل حيث يكون الهدف هو استخراج التسمية، والقيمة، والعملة، والتاريخ.

3. المساهمات الرئيسية

مجموعة بيانات HiFi-KPI: أول مورد واسع النطاق (1.65 مليون فقرة) يربط وسوم iXBRL بسياقها الهيكلي الكامل (الوقت، العملة، القيمة) ويوفر رؤية موحدة للتصنيف. وهي تحقق 0% من المدخلات غير الموسومة وكثافة قدرها 2.77 وسم/مدخل، متفوقة على مجموعات البيانات السابقة مثل FiNER-139.
التصنيفات الموحدة: إصدار تصنيفات .pre و .cal المنظفة والموحدة التي تسمح للباحثين باختيار مستويات محددة من التفصيل لمهامهم.
طريقة اختيار مستوى التفصيل: خوارزمية مبتكرة من الأسفل إلى الأعلى لطي التسمات المحددة في فئات أوسع وأكثر قابلية للتعميم، لمعالجة توزيع "الذيل الطويل" للملصقات المالية.
خطوط الأساس الشاملة: تقييم ثلاث مهام متميزة:
- تصنيف النصوص (التنبؤ بتسمية المدخل).

تسمية التسلسل (التصنيف على مستوى الرمز/الكلمة).
- الاستخراج المهيكل باستخدام النماذج اللغوية الكبيرة (LLMs).

4. النتائج التجريبية

تصنيف النصوص وتسمية التسلسل

النماذج: تم اختبار BERT-base-uncased و FLANG-BERT (المتخصص في المجال المالي) و EmbeddingGemma-300M.
النتائج:
- التفصيل مهم: أدت التسميات ذات المستوى الأقل تفصيلاً (عبر التجميع من الأسفل إلى الأعلى) إلى تحسين درجات Macro-F1 بشكل كبير من خلال تقليل ندرة التسميات.
- أداء التصنيف: تفوق تصنيف العرض (.pre) عموماً على تصنيف الحساب (.cal)، ويرجع ذلك على الأرجح إلى هيكله الأكثر عمقاً وتوزيع عناصره الأفضل.
- الأداء: حققت النماذج القائمة على الترميز (Encoder-based) درجة أعلى من 0.906 في مقياس Macro-F1 لمهام التصنيف للتسميات الممثلة جيداً. كما قدمت نماذج تسمية التسلسل أداءً ممتازاً، حيث أظهرت نماذج BERT و FLANG-BERT أداءً يقارب الكمال في أعلى 1,000 وسم متكرر.

الاستخراج المهيكل القائم على LLM (HiFi-KPI-Lite)

النماذج: تم تقييم Gemma-3-27B و Qwen3-30B و Mistral-Small-3.2-24B و DeepSeek-V3.1.
المهمة: استخراج كائن JSON يحتوي على التسمية، والقيمة، والعملة، ونطاق التاريخ.
النتائج:
- الأداء: واجهت النماذج اللغوية الكبيرة (LLMs) صعوبات في استخراج الكيانات الكاملة، حيث حققت درجة F1 تبلغ ~0.440 (أفضل أداء كان لنموذج Qwen3).
- تحليل الأخطاء:
  - التواريخ: كانت المصدر الرئيسي للخطأ. فشلت النماذج غالباً في تحليل عبارة "انتهت في ثلاثة أشهر" بشكل صحيح، حيث خلطت بين تاريخ البداية والنهاية (على سبيل المثال، توقع Gemma-27B نفس التاريخ للبداية والنهاية).
  - التطبيع (Normalization): واجهت النماذج صعوبة في تطبيع القيم (على سبيل المثال، تحويل "$61 million" إلى 61000000.0).
  - الدقة مقابل الاستدعاء: كان نموذج DeepSeek-V3.1 متحفظاً (دقة عالية، استدعاء منخفض)، بينما مال نموذج Qwen إلى تخمين التسميات حتى مع انخفاض الثقة (استدعاء عالٍ، دقة أقل).
- المقارنة: تفوقت النماذج المعتمدة على الترميز (Encoder) بشكل كبير على النماذج اللغوية الكبيرة في تصنيف التسميات، بينما أظهرت النماذج اللغوية الكبيرة إمكانات واعدة لكنها تتطلب تحسيناً في الاستخراج المهيكل المعقد.

5. الأهمية والتأثير المستقبلي

قيمة المستثمر: يتيح الاستخراج الآلي الدقيق لمؤشرات الأداء الرئيسية تحليل تقارير الأرباح في الوقت الفعلي، مما قد يحقق عوائد قصيرة الأجل كبيرة ويمنع أخطاء الاستثمار الناتجة عن سوء تفسير التواريخ أو العملات.
الكفاءة التنظيمية: يوفر الهيئات القانونية والتنظيمية أدوات للتحقق من الامتثال بشكل أكثر كفاءة.
التقدم البحثي: تسد HiFi-KPI فجوة حرجة في معالجة اللغات الطبيعية المالية (Financial NLP) من خلال توفير مجموعة بيانات تستفيد من الثراء الهيكلي لـ iXBRL، متجاوزة مجرد تحليل المشاعر إلى استخراج المعلومات المهيكلة والمعقدة.
العلم المفتوح: تم جعل جميع الأكواد والبيانات وخوارزمية التجميع من الأسفل إلى الأعلى مفتوحة المصدر، مما يسهل إعادة الإنتاج ومزيد من الأبحاث.

الخاتمة

تثبت الورقة أنه بينما يكون تصنيف iXBRL الخام شديد التفصيل لدرجة تعيق التعميم المباشر، فإن التجميع الهرمي جنباً إلى جنب مع مجموعات البيانات الغنية بالسياق يتيح استخراجاً آلياً عالي الأداء. وبينما تتفوق النماذج المعتمدة على الترميز (Encoder) في مهام التصنيف، لا تزال النماذج اللغوية الكبيرة (LLMs) تواجه تحديات في الاستخراج المهيكل الدقيق (خاصة فيما يتعلق بالتواريخ والتطبيع)، مما يوضح مساراً واضحاً للبحث المستقبلي في الضبط الدقيق الخاص بالمجال وهندسة الأوامر (Prompt Engineering).