ملخص تقني: قياس الأداء الفعال: التحديات والفرص في استخراج مؤشرات الأداء الرئيسية (KPIs) من مكالمات الأرباح

بيان المشكلة

بينما تُعد مكالمات الأرباح مصدراً حيوياً للمعلومات المالية اللحظية للمستثمرين، إلا أن استخراج مؤشرات الأداء الرئيسية (KPIs) منها يظل تحدياً كبيراً. فخلافاً للتقارير الصادرة عن هيئة الأوراق المالية والبورصات (SEC) ذات الهيكل المنظم (مثل تقارير 10-Q و10-K)، والتي تعتمد على نماذج محددة وغالباً ما تستخدم وسوم XBRL، فإن مكالمات الأرباح غير منظمة، وحوارية، وتفتقر إلى التصنيفات المدمجة. هذا "التحول في النطاق" (Domain Shift) يخلق حاجزاً لغوياً حيث تفشل النماذج المدربة على التقارير المنظمة في التعميم على الطبيعة الحرة والمتدفقة لمكالمات المؤتمرات. علاوة على ذلك، تعتمد مجموعات البيانات والأساليب الحالية غالباً على تصنيفات محددة مسبقاً، والتي لا يمكنها استيعاب مؤشرات الأداء الناشئة والمفتوحة التي يتم مناقشتها بشكل متكرر في هذه المكالمات.

المنهجية

يقترح المؤلفون إطار عمل شاملاً لمعالجة هذه التحديات، بالانتقال من النطاقات المنظمة الراسخة إلى البيانات الحوارية غير المنظمة.

1. إنشاء المعايير المرجعية (Benchmark Creation)

قدمت الدراسة ثلاث مجموعات بيانات مبتكرة مشتقة من 20 شركة من شركات S&P 500:

• المعيار المرجعي لتقارير SEC (SECB): مجموعة بيانات مصممة للحفاظ على سياق أوسع من الأعمال السابقة (مثل HiFi-KPI)، مما يسد الفجوة بين التقارير ذات القوالب الجاهزة والنصوص الحوارية. وهي تستخدم وسوماً زنيفة (regex_dollar و regex_percentage) لالتقاط مؤشرات الأداء غير المصنفة.
• المعيار المرجعي لمكالمات الأرباح (ECB): مجموعة بيانات واسعة النطاق تضم 10,477 جزءاً من مكالمات الأرباح للفترة 2023-2024، مقسمة حسب أدوار المتحدثين.
• ECB-A (المصنفة): مجموعة فرعية عالية الجودة للتقييم تحتوي على 587 جزءاً مع 2,460 كياناً تم تصنيفها من قبل خبراء و934 مجموعة علاقاتية. تم إجراء التصنيفات من قبل خبير متخصص باستخدام عملية من مرحلتين (تحديد الكيانات ثم التحقق من العلاقات) للتمييز بين المقاييس التقليدية (المالية) وغير التقليدية (التشغيلية).

2. النماذج التجريبية

قيم المؤلفون نهجين متميزين:

• النماذج القائمة على الترميز (Fine-tuning): قاموا بتقييم قدرات التعميم للنماذج التي تم ضبطها بدقة على تقارير SEC (مثل SEC-BERT-Base و BERT-SL1000 ومتغيراتها) عند تطبيقها على مكالمات الأرباح. تُعامل هذه النماذج كمهام لتوسيم التسلسل (Sequence Labeling).
• التعلم في السياق (In-Context Learning - Generative): استخدموا نماذج لغوية كبيرة (LLMs) من الطراز الرفيع (Llama-3.3، Qwen3-30B-A3B، Gemma-3-27B، و Gemini 3 Pro) مع توجيه (Prompting) مهيكل بأسلوب "التعلم من أمثلة قليلة" (Few-shot). يستخدم هذا النهج استراتيجية استخراج العلاقات لاستخراج مؤشرات الأداء الرئيسية ديناميكياً دون الاعتماد على تصنيف مغلق. يقوم النظام بتحديد نطاقات الكيانات (اسم مؤشر الأداء، القيمة، النطاق، التاريخ، والنمط) وتجميعها في مجموعات علاقاتية.

3. مقاييس التقييم

يستخدم التقييم على ECB-A نظام تسجيل متعدد الأوجه:

• F1 الدقيق (Exact F1): يتطلب تطابقاً حرفياً للسلاصوص لكل من القيمة والتسمية.
• F1 الدلالي (Semantic F1): يستخدم مشفرًا متقاطعًا للتشابه (STSB-RoBERTa-Large) للسماح بالخرائط "متعدد لواحد"، مما يلتقط التكافؤ الدلالي حتى لو اختلفت الحدود اللفظية.
• F1 المطابقة (Match F1): درجة F1 "ناعمة" تقوم بمواءمة التنبؤات مع الحقائق بناءً على القيمة.
• حكم النموذج اللغوي الكبير (LLM Judge): تقييم آلي باستخدام DeepSeek-V3.2 لتحديد ما إذا كان استخراج النموذج مكافئاً دلالياً للتصنيف الذي وضعه الخبير.
• التقييم البشري: خطوة تحقق نهائية تتضمن ثلاثة مقيمين للتحقق من دقة مخرجات النظام المجمعة.

النتائج الرئيسية

1. قيود التحول في النطاق (Domain Shift)

أظهرت النماذج القائمة على الترميز (Encoder-Based) التي تم ضبطها بدقة على تقارير SEC (مثل SEC-BERT-Base) ضعفاً في التعميم على مكالمات الأرباح. فبينما كان أداؤها معقولاً في مجموعات البيانات المنظمة (FiNER-139، HiFi-KPI)، انخفض أداؤها بشكل كبير في ECB-A، حيث فشلت غالباً في التنبؤ بتسميات متوافقة للأرقام المستخرجة. وهذا يؤكد أن التحول اللغوي من التقارير ذات القوالب إلى المكالمات الحوارية يمثل عقبة رئيسية أمام أساليب توسيم التسلسل التقليدية.

2. أداء النماذج التوليدية (Generative Models)

تفوقت النماذج اللغوية الكبيرة التوليدية بشكل كبير على أجهزة الترميز المدربة على SEC في مجال مكالمات الأرباح غير المنظمة.

• حقق Gemini 3 Pro أفضل أداء بنسبة F1 دقيقة بلغت 11.5% واستخرج 45.5% من مؤشرات الأداء المصنفة وفقاً لحكم النموذج اللغوي الكبير.
• المقاييس الدلالية: بينما ظلت درجات F1 الدقيقة منخفضة (تتراوح بين 3.2% و11.5%)، كانت درجات F1 الدلالية أعلى بكثير (تصل إلى 61.6% لـ Gemini 3 Pro). يشير هذا إلى أن النماذج اللغوية الكبيرة تنجح في التقاط المفاهيم والعلاقات المالية الأساسية حتى عندما تواجه صعوبة في الحدود اللفظية الصارمة.
• التوسع (Scaling): تحسن الأداء مع زيادة حجم النماذج، مما يشير إلى أن تعقيد المهمة يستفيد من القدرات الاستيعابية الأكبر للنماذج.

3. تجميع النظام والتتبع الطولي

من خلال تجميع مخرجات عدة نماذج (Gemma، Llama، Qwen) وتطبيق التجميع الدلالي (مع عتبة تشابه قدرها 0.85)، أنشأ المؤلفون نظاماً قادراً على التتبع الطولي المتسق لمؤشرات الأداء دون الحاجة إلى أنطولوجيات محددة مسبقاً.

• حدد النظام 1,323 مؤشر أداء رئيسي يتم تتبعها باستمرار عبر أربع فترات على الأقل لـ 20 شركة.
• التحقق البشري: حقق النظام المجمع النهائي دقة بلغت 79.67% (478/600) في التقييم البشري، رغم التوافق المتوسط بين المقيمين (معامل كريبندورف ألفا = 0.429).
• دراسة حالة: نجح النظام في تتبع "إيرادات iPhone" عبر عدة فصول، متوافقاً تماماً مع قيم SEC المعلنة، مما يثبت فائدته للتحليل المالي.

الأهمية والادعاءات

يدعي البحث أنه يوفر خط أساس قوياً للمهمة الناشئة المتمثلة في الاستخراج الآلي لمؤشرات الأداء الرئيسية من مكالمات الأرباح. وتتمثل مساهماته الرئيسية في:

1. إثبات حدود الأساليب الحالية: يوضح تجريبياً أن النماذج المدربة على تقارير SEC المنظمة لا يمكنها التعميم على اللغة الذاتية، والترويجية، وغير المنظمة لمكالمات الأرباح.
2. تقديم معايير مرجعية: إن إصدار SECB وECB وECB-A يسد فجوة حرجة في موارد معالجة اللغات الطبيعية المالية، حيث يوفر أول مجموعة بيانات مصنفة من قبل الخبراء خصيصاً لاستخراج مؤشرات الأداء من مكالمات الأرباح.
3. التحقق من فعالية النماذج اللغوية الكبيرة للاستخراج المفتوح: تثبت الدراسة أن النماذج اللغوية الكبيرة، عندما يتم توجيهها عبر توجيه مهيكل، يمكنها استخراج مؤشرات الأداء الناشئة من النصوص غير المنظمة بفعالية، متفوقة بذلك على أجهزة الترميز التقليدية.
4. التطبيق العملي: يتيح النظام المقترح التتبع المتسق لمؤشرات الأداء عبر الزمن، مما يوفر مساراً لمعالجة أسرع وأكثر كفاءة للمعلومات المالية الجديدة للتحليل السوقي.

يظل المؤلفون متواضعين فيما يتعلق بحالة التقدم الحالي، حيث يقرون بأنه رغم كون النظام واعداً، إلا أن معدل الخطأ يستلزم الإشراف البشري. كما يشيرون إلى أن التباين العالي في "ثقافة المكالمات" عبر الشركات المختلفة والغموض المتأصل في جلسات الأسئلة والأجوبة يمثلان تحديات مستمرة. ويعتبر هذا العمل خطوة تأسيسية نحو أدوات اتخاذ القرار المالي اللحظية، مؤكداً أنه رغم عدم تحقيق الاستقلالية الكاملة بعد، فإن المسار نحو الامتصاص الآمن والفعال لبيانات مكالمات الأرباح هو مسار قابل للتطبيق.