ملخص تقني: V4FinBench

بيان المشكلة

يُعد التنبؤ بإفلاس الشركات مهمة مالية عالية المخاطر تتميز بالاختلال الشديد في توازن الفئات والحاجة إلى التنبؤ متعدد الآفاق الزمنية. ورغم أهميته القصوى للمستثمرين والدائنين والجهات التنظيمية، إلا أن الموارد العامة لدراسة هذه المشكلة لا تزال نادرة. فالمعايير المرجعية المجانية واسعة الاستخدام (مثل مجموعات بيانات أسواق الأسهم البولندية، والتايوانية، والأمريكية) تحتوي عادةً على ما بين 6,000 و80,000 ملاحظة (شركة-سنة)، وهو ما لا يكفي لعمليات الضبط الدقيق (fine-tuning) ذات المعنى للنماذج التأسيسية الحديثة. توجد موارد أكبر وأغنى، لكنها تقع خلف جدرد دفع مقابل اشتراكات، مما يحد من إمكانية إعادة الإنتاج وتقييم الأساليب التي تتطلب بيانات ضخمة للتكيف. علاوة على ذلك، تفتقر مجموعات البيانات العامة الحالية غالباً إلى تسميات (labels) متعددة الآفاق أو تعريفات متسقة للتعثر، مما يجعل من الصعب تقييم السلوكيات المعتمدة على الأفق الزمني أو مقارنة الأساليب في ظل ظروف مالية واقعية.

المنهجية وبناء المعيار المرجعي

لمعالجة هذه الفجوات، قدم المؤلفون V4FinBench، وهو معيار مرجعي عام يتكون من 1,106,879 ملاحظة (شركة-سنة) من اقتصادات مجموعة فيسيغراد (V4) (جمهورية التشيك، المجر، بولندا، وسلوفاكيا) تغطي الفترة من 2006 إلى 2021.

البيانات والميزات

• المصدر: تم استخراج البيانات من خدمة EMIS، وهي تغطي 203,900 شركة فريدة.
• الميزات: يتم وصف كل ملاحظة بـ 131 ميزة، تشمل بيانات الشركة الوصفية، النسب المالية، مقاييس النمو، مقاييس الحجم، والمؤشرات النسبية للقطاع.
• تعريف التعثر: على عكس الدراسات السابقة التي تعتمد على ملفات الإفلاس القانونية الرسمية، يستخدم V4FinBench معياراً مركباً للتعثر المالي. تُصنف الشركة على أنها متعثرة في سنتها المالية الأخيرة فقط إذا استوفت ثلاثة شروط في آن واحد:
  1. الملاءة (Solvency): حقوق الملكية سالبة بالنسبة لإجمالي الأصول ($< 0$).
  2. الربحية (Profitability): الأرباح قبل الفائدة والضرائب والإهلاك والاستهلاك (EBITDA) سالبة بالنسبة لإجمالي الأصول ($< 0$).
  3. السيولة (Liquidity): النسبة الجارية أقل من 0.6 ($< 0.6$).
• مهام متعددة الآفاق: يحدد المعيار المرجعي ست مهام تنبؤ ثنائية تتوافق مع آفاق زمنية $h \in \{0, 1, \dots, 5\}$ سنوات مستقبلاً. لكل أفق، يتم إزالة السنوات الـ $h$ الأخيرة من البيانات للشركات المتعثرة، وتُسمى الملاحظة الناتجة كحالة إيجابية.
• الاختلال (Imbalance): تظهر المهام الناتلة اختلالاً شديداً في التوازن بين الفئات، حيث تتراوح معدلات الحالات الإيجابية بين 0.19% و0.36%.

بروتوكول التقييم

يحدد المؤلفون بروتوكول تقييم ثابتاً وقابلاً لإعادة الإنتاج:

• الطي (Folding): تحقق (cross-validation) طبقي خماسي الطيات مع تجميع على مستوى الشركة داخل الدول لمنع تسرب البيانات.
• المعالجة المسبقة: يتم تعويض القيم المفقودة باستخدام وسيط (median) مجموعة التدريب؛ وتتم معايرة الميزات باستخدام إحصائيات مجموعة التدريب.
• المقاييس: نظراً للاختلال، يُعد F1-score و ROC-AUC هما المقاييس الأساسية. يتم معايرة عتبات القرار في طية التحقق عن طريق تعظيم قيمة F1 على منحنى الدقة والاستدعاء (precision-recall curve).

الأساليب التي تم تقييمها

يقيم البحث ثلاث عائلات من الأساليب:

1. النماذج الجدولية الكلاسيكية الأساسية: الانحدار اللوجستي (LR)، الإدراك المتعدد الطبقات (MLP)، الغابة العشوائية (Random Forest)، XGBoost، CatBoost، و LightGBM.
2. النموذج التأسيسي الجدولي (TabPFN): متعلم سياقي مدرب مسبقاً تم ضبطه بدقة باستخدام بناء سياق واعٍ بالاختلال. يقارن المؤلفون ثلاث استراتيجيات لبناء السياق المكون من 10,000 عينة:
   • بدون إعادة أخذ العينات: أخذ عينات موحدة (مما يترك الفئة الأقل تمثيلاً بشكل ضعيف).
   • أخذ عينات عشوائي من الفئة الأقل: أخذ عينات فرعية عشوائية من الفئة الأكثر انتشاراً بنسبة 0.3.
   • أخذ عينات النماذج الأولية (Prototype undersampling): اختيار ممثلي الفئة الأكثر انتشاراً عبر تجميع K-means للحفاظ على هيكل السكان غير المتعثرين.
3. النماذج اللغوية الكبيرة (LLM): نموذج Llama-3-8B الذي تم ضبطه بدقة عبر تقنية QLoRA على سجلات مالية مسلسلة منسقة في شكل محادثات بأسلوب التعليمات.

النتائج الرئيسية

1. TabPFN مقابل النماذج الكلاسيكية الأساسية

• بناء السياق أمر جوهري: حقق أخذ عينات النماذج الأولية (Prototype undersampling) أفضل النتائج لـ TabPFN، متفوقاً على أخذ العينات العشوائي وعدم أخذ العينات. يشير هذا إلى أن الحفاظ على التنوع الهيكلي للفئة الأكثر انتشاراً أمر بالغ الأهمية بما يتجاوز مجرد زيادة التعرض للفئة الأقل.
• الأداء: باستخدام أخذ عينات النماذج الأولية، طابق TabPFN أو تجاوز نماذج الأشجار المعززة بالتدرج (gradient-boosted trees) (أقوى النماذج الكلاسيكية الأساسية) في مقياس ROC-AUC عند كل أفق زمني. أما في مقياس F1-score، فقد طابق TabPFN نماذج تعزيز التدرج عند الأفق المباشعي ($h=0$) وتجاوزها من الأفق $h=2$ فصاعداً.

2. أداء النماذج اللغوية الكبيرة (Llama-3-8B)

• المقارنة: تراجع نموذج Llama-3-8B الذي تم ضبطه عبر QLoRA عن نماذج الأشجار المعززة بالتدرج (تحديداً XGBoost) في مقياس ROC-AUC عند كل أفق زمني، وكان عموماً أضعف في مقياس F1-score.
• الاعتماد على الأفق الزمني: قدم النموذج اللغوي أفضل أداء عند الأفق المباشعي، لكن قدرته على التصنيف انخفضت بشكل حاد بعد $h=0$، وظل قريباً من مستوى الصدفة في الآفاق الأطول. واتسعت الفجوة بين النموذج اللغوي وXGBoost بشكل كبير مع زيادة أفق التنبؤ.

3. نقل التعلم عبر مجموعات البيانات (Cross-Dataset Transfer)

• التحقق الخارجي: قيم المؤلفون نسخة (checkpoint) من نموذج TabPFN التي تم ضبطها بدقة باستخدام V4FinBench على مجموعة بيانات الإفلاس الأمريكية (اقتصاد، وفترة زمنية، ومجموعة ميزات مختلفة).
• النتيجة: أدى النموذج الذي تم ضبطه بدقة إلى تحسين نموذج TabPFN الأصلي (المدرب مسبقاً) في كل من ROC-AUC (0.818 $\to$ 0.842) و F1-score (0.372 $\to$ 0.409). يشير هذا إلى أن عملية التكيف قد استوعبت هيكل التعثر المالي القابل للنقل بدلاً من مجرد الإفراط في التخصيص (overfitting) لأنماط V4 المحددة.

الأهمية والمساهمات

يقدم البحث ثلاث مساهمات رئيسية:

1. مجموعة بيانات V4FinBench: معيار مرجعي عام واسع النطاق للتعثر المؤسسي مصمم خصيصاً لدعم الضبط الدقيق للنماذج التأسيسية. تغطي 1.1 مليون ملاحظة عبر أربعة دول، ستة آفاق تنبؤ، ومعيار تعثر مركب، مما يعالج ندرة مجموعات البيانات المالية المتاحة مجاناً والكبيرة.
2. بروتوكول تقييم قابل لإعادة الإنتاج: إطار عمل موحد لمقارنة الأساليب الجدولية الكلاسيكية، والنماذج التأسيسية الجدولية، والأساليب القائمة على النماذج اللغوية الكبيرة تحت ظروف الاختلال الشديد في الفئات والتنبؤ متعدد الآفاق الزمنية.
3. رؤى تجريبية:
   • يثبت أن بناء السياق الواعي بالاختلال (تحديداً أخذ عينات النماذج الأولية) أمر حاسم لتكييف النماذج التأسيسية الجدولية مع البيانات المالية شديدة الاختلال، مما يسمح لها بمنافسة أو تجاوز النماذج الأساسية القوية المعززة بالتدرج.
   • يوضح أنه في هذا الإعداد من التنبؤ المهيكل، فإن ضبط النماذج اللغوية الكبيرة عبر السجلات المسلسلة ليس منافساً بعد للنماذج الجدولية القوية، خاصة بالنسبة لآفاق التنبؤ الأطول.
   • يقدم دليلاً أولياً على أن معايير مثل V4FinBench يمكن أن تدعم التكيف الذي ينتقل إلى توزيعات خارجية، مما يلتقط هياكل مالية قابلة لإعادة الاستخدام.

يؤكد المؤلفون أن V4FinBench مخصص للمقارنة المرجعية والبحث، وليس لاتخاذ القرارات المؤتمتة المباشرة. كما يشيرون إلى القيود المتعلقة بالنطاق الجغرافي (وسط أوروبا) واستخدام تسميات التعثر المالي المركبة بدلاً من ملفات الإفلاس القانونية الرسمية، ويحثون على توخي الحذر عند النشر دون تحليل إضافي للتحقق والعدالة.