Machine Learning versus Deep Learning for Public Financial Report Classification and Popularity Prediction: A Feasibility Study on Ghana's Controller and Accountant-General's Department
تُقيّم هذه الدراسة الجدوى أداء نماذج تعلم الآلة التقليدية والتعلم العميق على التقارير المالية لإدارة المراقب والمحاسب العام في غانا، حيث كشفت أنه بينما حقق نموذج XGBoost المضبوط بدقة تصنيفاً مثالياً للفئات، إلا أن دراسة الاستئصال اللاحقة أظهرت أن ميزات الكلمات المفتاحية قد ضخمت هذه النتائج بشكل كبير، مما يؤكد الحاجة الماسة إلى التحقق الصارم من الميزات قبل نشر مثل هذه الأدوات في سياقات القطاع العام.
المؤلفون الأصليون:Emmanuel Osei-Dwomoh, Gabriel Osei Forkuo
تقوم الحكومات حول العالم بوضع سجلاتها المالية عبر الإنترنت بشكل متزايد. يهدف هذا التحول إلى تحقيق الشفافية، مما يسمح للمواطنين والمراجعين برؤية كيفية إنفاق المال العام دون الحاجة إلى زيارة مكتب فعلي. ومع ذلك، مع نمو هذه الأرشيفات الرقمية، تصبح إدارتها صعبة. فقد تنشر دائرة حكومية واحدة مئات الوثائق خلال بضع سنوات، تتراوح من بيانات الميزانية السنوية إلى تعميمات الرواتب. إن فرز هذه الملفات يدويًا عملية بطيئة وعرضة للخطأ، بينما يعد معرفة التقارير التي يرغب الناس في قراءتها أمرًا أكثر صعوبة. ولحل هذه المشكلة، تتطلع الوكالات إلى استخدام الحواسيب للقيام بعمليات الفرز والتنبؤ نيابة عنها. وهنا يأتي دور تعلم الآلة؛ وهي برامج حاسوبية تتعلم التعرف على الأنماط في البيانات، مثل الكلمات الموجودة في عنوان المستند، لاتخاذ قرارات مثل "هذا تقرير رواتب" أو "هذا التقرير سيتم تحميله كثيرًا". ولكن هناك عقبة: فهذه البرامج عادة ما تحتاج إلى آلاف الأمثلة لتتعلم جيدًا. وعندما تمتلك دائرة حكومية بضع مئات من الوثائق فقط، فمن غير الواضح ما إذا كانت هذه الأدوات الذكية قادرة على العمل حقًا، أم أنها مجرد تخمينات بناءً على اختصارات محظوظة.
في غانا، تمتلك إدارة مراقب عام الحسابات والمدير العام للحسابات مجموعة واسعة من التقارير المالية العامة. وقد قرر باحثان، إيمانويل أوسي دو مـوه وغابرييل أوسي فوركو، اختبار ما إذا كانت الأدوات المؤتمتة يمكنها تنظيم هذه المجموعة المحددة والتنبؤ بشعبيتها. لقد جمعا 131 تقريرًا رسميًا نُشرت بين عامي 2019 و2024. وشملت هذه الوثائق كل شيء من نسخ دليل الحسابات إلى مواد معايير المحاسبة الدولية. وعمل الباحثان على بناء نوعين مختلفين من النماذج الحاسوبية للقيام بهذه المهمة. اعتمد النوع الأول على تعلم الآلة "التقليدي"، حيث يقوم محلل بشري بعناية بإنشاء قائمة من الدلائل المحددة، مثل حساب عدد مرات ظهور كلمة "ميزانية" أو ملاحظة طول الملف. أما النوع الثاني فقد استخدم "التعلم العميق"، وهو نهج أكثر تعقيدًا حيث يقرأ الحاسوب النص الخام للعناوين والأوصاف حرفًا بحرف، محاولًا إيجاد أنماط بنفسه دون مساعدة بشرية. واختبر الباحثان هذه النماذج في ثلاث مهام محددة: فرز التقارب في الفئة الصحيحة، وتخمين ما إذا كان سيتم تحميل التقرير أكثر من المتوسط، والتنبؤ بالعدد الدقيق للتحميلات.
كانت النتائج مفاجئة وكشفت عن فخ خفي في كيفية تعلم هذه الأنظمة. فعندما أجرى الباحثون الاختبارات لأول مرة، بدا نموذج تعلم الآلة التقليدي مثاليًا؛ إذ صنف كل تقرير في مجموعة الاختبار بدقة في فئته الصحيحة، محققًا درجة كاملة. كما أدى نموذج التعلم العميق بشكل جيد جدًا في هذه المهمة. ومع ذلك، اشتبه الباحثون في أن هذه الدرجة المثالية لم تكن بسبب فهم الكمبيوتر الحقيقي لمحتوى التقارير. فقد لاحظء أن الدلائل التي قدموها للنموذج التقليدي تضمنت كلمات مفتاحية محددة تكاد تكون مطابقة لأسماء الفئات. على سبيل المثال، إذا كان عنوان التقرير "تعميم رواتب 2024"، فقد تم إعطاء النموذج علامة تفيد بأن "كلمة رواتب موجودة". وبما أن الفئة هي "الرواتب"، فقد كان النموذج يُعطى الإجابة فعليًا قبل أن يبدأ حتى.
ولإثبات ذلك، قام الباحثون بإزالة تلك الدلائل الخاصة بالكلمات المفتاحية وأعادوا تشغيل الاختبار مرة أخرى. فاختفت الدرجة المثالية، وانخفضت دقة النموذج بشكل كبير، ليستقر عند مستوى لا يزال جيدًا للغاية ولكنه بعيد عن الكمال. وقد أكد ذلك أن النجاح الأولي كان ناتجًا إلى حد كبير عن اختصار: فالتقارير غالبًا ما تحتوي على أسماء فئاتها في عناوينها. كما وجدت نماذج التعلم العميق، التي تقرأ النص مباشرة، هذا الاختصار وحققت درجات عالية مماثلة، مما أثبت أن النص الخام نفسه كان يحتوي على الإجابة، وليس بالضرورة فهمًا عميقًا لهيكل الوثيقة. وعندما نظر الباحثون في المهام الأخرى، تغيرت الصورة. فقد كان التنبؤ بالتقارير التي ستكون شائعة أصعب بكثير؛ حيث أدت النماذج التقليدية أداءً معقولًا، وصنفت التقارير الشائعة بنجاح في حوالي ثلاثة أرباع الحالات، بينما عانت نماذج التعلم العميق بشكل أكبر. كما أظهرت نماذج التعلم العميق سلوكًا غريبًا: فعندما حاول الباحثون "ضبط" النماذج عن طريق إعطائها وقتًا أطول للتدريب، ساء أداؤها في الواقع. ويشير هذا إلى أنه مع هذه المجموعة الصغيرة من الوثائق، كانت نماذج التعلم العميق المعقدة حساسة للغاية وبدأت في حفظ بيانات التدريب بدلاً من تعلم قواعد عامة.
خلصت الدراسة إلى أنه بالنسبة للأرشيفات الحكومية الصغيرة مثل هذه، فإن أدوات تعلم الآلة التقليدية البسيطة تعد نقطة انطلاق أفضل من أنظمة التعلم العميق الأكثر تعقيدًا. فهذه الأدوات الأبسط أسهل في الفهم وأقل عرضة للتعطل عندما تكون البيانات محدودة. ومع ذلك، يحذر الباحثون من أن أي شخص يستخدم هذه الأدوات يجب أن يكون حذرًا من الاعتماد على الاختصارات. فإذا تم تدريب نموذج على التعرف على فئة لأن كلمة "رواتب" تظهر في العنوان، فقد يفشل تمامًا عندما يستخدم تقرير جديد صياغة مختلفة. إن الخلاصة الأكثر صدقًا لهذا العمل هي أنه بينما يمكن للحواسيب المساعدة في تنظيم هذه السجلات المالية، إلا أنها ليست سحرية بعد. فهي تعمل بشكل أفضل عندما تكون البيانات واضحة والدلائل حقيقية، ولكن في مجموعات البيانات الصغيرة وغير المكتملة، يمكن لنتائجها المبهرة أن تخفي أحيانًا نقصًا في الفهم الحقيقي. ويقترح الباحثون أنه قبل أن تقوم أي بوابة حكومية بنشر مثل هذا النظام، يجب اختباره بصرامة لضمان أنه يتعلم الأشياء الصحيحة، وليس مجرد نسخ الملصقات.
ملخص تقني: تعلم الآلة مقابل التعلم العميق لتصنيف التقارير المالية العامة والتنبؤ بشعبيتها
بيان المشكلة تعمل الوكالات الحكومية، مثل إدارة مراقب وحسابات العموم في غانا (CAGD)، على رقمنة التقارير المالية بشكل متزايد لتعزيز الشفافية. ومع ذلك، تواجه البوابات الصغيرة للقطاع العام عقبة عملية: العبء اليدوي لتنظيم وتصنيف وتوقع شعبية مئات أو آلاف المستندات لا يمكن التوسع معه. وبينما تقدم أدوات التصنيف الآلي والتنبؤ بالشعبية حلاً، فإن تطبيقها على مجموعات البيانات الصغيرة وغير المتوازنة (مثل 131 تقريراً) يحمل مخاطر كبيرة. قد تظهر نماذج تعلم الآلة (ML) والتعلم العميق (DL) التقليدية دقة عالية جداً بسبب "تسرب البيانات" (ميزات تعكس الملصقات/التصنيفات)، أو بسبب الإفراط في التخصيص (Overfitting) على عينات صغيرة، مما يؤدي إلى ثقة زائفة في قابليتها للنشر. تستقصي هذه الدراسة جدوى استخدام هذه الأدوات على مجموعة بيانات حقيقية وصغيرة من التقارير المالية العامة الغانية، مع اختبار ما إذا كانت مقاييس الأداء العالية تعكس فهماً حقيقياً للمستند أم أنها مجرد نتاج لبنية البيانات.
المنهجية استخدمت الدراسة مساراً صارماً وشاملاً يقارن بين عائلتين من النماذج عبر ثلاث مهام: (1) التنبؤ بفئة التقرير (خمس فئات)، (2) تصنيف الشعبية الثنائي ("تحميل عالٍ")، و(3) انحدار عدد التحميلات (Log-download count).
مجموعة البيانات: تم تجميع مجموعة من 131 تقريراً فريداً (2019-2024) من بوابة (CAGD) ولقطات أرشيف الإنترنت. ولمعالجة عدم توازن الفئات وندرة البيانات، تم دمج الفئات النادرة (أقل من 8 أمثلة) في فئة واحدة هي "أخرى"، مما نتج عنه خمس فئات مستهدفة.
هندسة الميزات:
تعلم الآلة (البيانات الجدولية): شملت الميزات 25 مؤشراً للكلمات المفتاحية المهندسة (مثل وجود كلمة "payroll" أو "IPSAS")، وبيانات وصفية رقمية (طول العنوان، سنة النشر، الربع السنوي)، وامتدادات الملفات. تم استكمال البيانات الرقمية المفقودة باستخدام الوسيط (Median) لمجموعة التدريب.
التعلم العميق (على مستوى الحروف): تم تحويل النص الخام (العنوان والوصف المدمجين) إلى نوافذ ثابتة بطول 128 حرفاً تم تحويلها إلى أكواد رقمية، لتجنب الكلمات المفتاحية المصممة يدوياً.
النماذج التي تم تقييمها:
تعلم الآلة الكلاسيكي: الانحدار اللوجستي (مع تنظيم L2)، والغابة العشوائية (Random Forest)، وتعزيز التدرج الفائق (XGBoost). تمت معالجة عدم توازن الفئات عبر تقنية SMOTE في مجموعة التدريب.
التعلم العميق: شبكة الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه (BiLSTM)، والشبكة العصبية التلافيفية للنصوص (TextCNN). تمت معالجة عدم توازن الفئات عبر دالة خسارة التقاطع المستعرض الموزونة بالفئات (Class-weighted cross-entropy).
البروتوكول: تم استخدام تقسيم واحد طبقي بنسبة 70/15/15 (تدريب/تحقق/اختبار). خضعت النماذج لعملية بحث عشوائي عن المعلمات الفائقة (Hyperparameters)، تلتها مرحلة ضبط دقيق حيث أُعيد تدريب النموذج الفائز على مجموعة التدريب والتحقق المدمجة.
الاستئصال والتحقق: كان من المكونات الحاسمة دراسة استئصال تسرب الكلمات المفتاحية، حيث تمت إزالة 25 ميزة من الكلمات المفتاحية لاختبار ما إذا كانت الدقة العالية تعتمد على إشارات تكرارية (Tautological signals). بالإضافة إلى ذلك، تمت مقارنة نموذج أساسي بسيط يعتمد على (TF-IDF bag-of-words)، واستُخدمت طريقة "بوتستراب" غير المعلمية (2,000 إعادة عينة) لإنشاء فترات ثقة 95% لجميع المقاييس.
النتائج الرئيسية
تصنيف الفئات (خمس فئات):
حقق نموذج XGBoost المضبوط بدقة مثالية في اختبار الدقة (1.00) ومقياس F1 الكلي (1.00) مع وجود ميزات الكلمات المفتاحية.
ومع ذلك، كشفت دراسة الاستئصال عن تسرب كبير للبيانات: أدى حذف ميزات الكلمات المفتاحية الـ 25 إلى انخفاض الدقة إلى 0.80 ومقياس F1 الكلي إلى 0.74. وظلت هذه الفجوة مستقرة (0.20–0.25) عبر خمس تقسيمات مستقلة للبيانات.
حقق نموذج أساسي بسيط (TF-IDF + Logistic Regression) أيضاً دقة 1.00 بدون كلمات مفتاحية مهندسة، مما يؤكد أن أسماء الفئات أو متغيراتها القريبة موجودة صراحة في عناوين التقارير أو أوصافها، مما يخلق "طريقاً مختصراً" لأي نموذج يعتمد على النص.
حقق بطل التعلم العميق (TextCNN) في البداية نفس أداء XGBoost، لكن أداءه تراجع (من F1 كلي 1.00 إلى 0.73) بعد الضبط الدقيق، ويرجع ذلك على الأرجح إلى الإفراط في التخصيص على مجموعة التدريب/التحقق الصغيرة (111 عينة).
التنبؤ بالشعبية (تصنيف التحميل العالي الثنائي):
افتقرت هذه المهمة إلى الاختصارات الواضحة بين الكلمات المفتاحية والملصقات. تفوق نموذج الانحدار اللوجستي (AUC 0.80) على نموذج TextCNN المضبوط بدقة (AUC 0.65).
أظهر النموذج عدم تماثل: فقد كان أفضل في تحديد التقارير ذات التحميل غير العالي (F1 0.81) مقارنة بالتقارير ذات التحميل العالي (F1 0.62)، وهو تحدٍ نموذجي في اكتشاف الأقلية غير المتوازنة.
لم يوفر الضبط الدقيق أي تحسن يذكر لنماذج تعلم الآلة، بينما أدى إلى تراجع الأداء في نماذج التعلم العميق.
التنبؤ بالتحميل (الانحدار):
حققت الغابة العشوائية (Random Forest) معامل تحديد (R-squared) قدره 0.85 في مجموعة الاختبار. ومع ذلك، كانت فترة الثقة 95% الناتجة عن البوتستراب واسعة (-0.03 إلى 0.95)، مما يشير إلى عدم يقين عالٍ بسبب صغر حجم العينة (n = 20 للاختبار).
المساهمات الرئيسية
تقييم جدوى صادق: تقدم الدراسة تقييماً شفافاً لتعلم الآلة والتعلم العميق على مجموعات البيانات العامة الصغيرة، حيث توضح صراحة كيف يمكن تضخيم "الدرجات المثالية" عبر تسرب الميزات (الكلمات المفتاحية التي تعكس الملصقات).
الاستئصال كأداة تشخيصية: من خلال إزالة ميزات الكلمات المفتاحية بشكل منهجي، حدد المؤلفون مقدار التسرب، موضحين أنه رغم كون درجة 1.00 مجرد نتيجة اصطناعية، إلا أن إشارة حقيقية (دقة 0.80) لا تزال قائمة في البيانات الوصفية غير المتعلقة بالكلمات المفتاحية.
تحليل الضبط الدقيق: توثق الورقة كيف يمكن للضبط الدقيق (عبر دمج التدريب والتحقق) أن يؤدي إلى تدهور أداء التعلم العميق بسبب زيادة التباين، بينما ظلت نماذج تعلم الآلة الكلاسيكية مستقرة.
مقارنة النماذج الأساسية: أثبت إدراج نموذج TF-IDF الأساسي أن هندسة الميزات المعقدة لم تكن ضرورية لمهمة التصنيف، حيث احتوى النص الخام وحده على الإشارة التنبؤية.
الأهمية والادعاءات تضع الورقة نفسها كـ "دراسة جدوى" و"فحص صادق" بدلاً من كونها حلاً نهائياً للنشر. تكمن أهميتها الأساسية في:
نصيحة النشر الحذر: تجادل الدراسة بأنه بالنسبة لبوابات القطاع العام الصغيرة مثل CAGD، فإن تعلم الآلة الكلاسيكي (خاصة الانحدار اللوجستي أو الغابة العشوائية) يعد نقطة انطلاق أكثر منطقية وقابلية للتفسير والمتانة من التعلم العميق، الذي عانى من عدم الاستقرار في الضبط الدقيق بسبب صغر حجم العينة.
إعادة تقييم المقاييس: تؤكد الورقة أن الدقة الرئيسية (مثل 1.00) تكون مضللة إذا كانت مدفوعة بتسرب الكلمات المفتاحية. يجب على الممارسين الاعتماد على الأداء بعد الاستئصال (مثل دقة ~0.80 للفئات) وفترات ثقة البوتستراب لوضع توقعات واقعية.
الدقة المنهجية: تدعو الدراسة إلى إجراء استئصال شامل للميزات واستخدام فترات الثقة عند العمل مع مجموعات البيانات الحكومية الصغيرة وغير المتوازنة لمنع نشر نماذج قد تفشل عند مواجهة تقارير جديدة أو مصاغة بكلمات مختلفة.
يخلص المؤلفون إلى أنه بينما تعتبر الأدوات الآلية ممكنة، إلا أن أداءها الحالي متواضع ويعتمد بشكل كبير على خصائص محددة للبيانات. ويوصون بأن أي نشر حي يجب أن يُخطط له بناءً على مقاييس الأداء المستبعدة للكلمات المفتاحية (Ablated performance)، كما يجب إعادة تقييم النماذج بمجرد زيادة حجم مجموعة البيانات.