Machine Learning versus Deep Learning for Public Financial Report Classification and Popularity Prediction: A Feasibility Study on Ghana's Controller and Accountant-General's Department
यह व्यवहार्यता अध्ययन घाना के नियंत्रक और लेखा-महालेखाकार विभाग की वित्तीय रिपोर्टों पर शास्त्रीय मशीन लर्निंग और डीप लर्निंग मॉडल के प्रदर्शन का मूल्यांकन करता है, जिससे यह स्पष्ट होता है कि हालांकि फाइन-ट्यून्ड XGBoost ने सटीक श्रेणी वर्गीकरण प्राप्त किया, लेकिन उसके बाद के एब्लेशन अध्ययन ने प्रदर्शित किया कि कीवर्ड विशेषताओं ने इन परिणामों को काफी बढ़ा दिया था, जो सार्वजनिक क्षेत्र के संदर्भों में ऐसे उपकरणों को तैनात करने से पहले कठोर फीचर सत्यापन की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दुनिया भर की सरकारें अपने वित्तीय रिकॉर्ड को तेजी से ऑनलाइन रख रही हैं। यह बदलाव पारदर्शिता लाने के लिए किया गया है, जिससे नागरिक और लेखा परीक्षक बिना किसी भौतिक कार्यालय का दौरा किए यह देख सकें कि सार्वजनिक धन कैसे खर्च किया जाता है। हालाँकि, जैसे-जैसे ये डिजिटल संग्रह बढ़ते जा रहे हैं, उन्हें प्रबंधित करना कठिन होता जा रहा है। एक ही सरकारी विभाग कुछ वर्षों में सैकड़ों दस्तावेज़ प्रकाशित कर सकता है, जो वार्षिक बजट विवरण से लेकर पेरोल सर्कुलर तक हो सकते हैं। इन फाइलों को हाथ से छाँटना धीमा है और इसमें गलतियों की संभावना अधिक है, जबकि यह समझना कि लोग वास्तव में कौन सी रिपोर्ट पढ़ना चाहते हैं, उससे भी अधिक कठिन है। इस समस्या को हल करने के लिए, एजेंसियां कंप्यूटरों की ओर देख रही हैं ताकि वे उनके लिए छंटाई और भविष्यवाणी कर सकें। यहीं पर मशीन लर्निंग काम आती है। ये कंप्यूटर प्रोग्राम डेटा में पैटर्न पहचानना सीखते हैं, जैसे कि दस्तावेज़ के शीर्षक में मौजूद शब्द, ताकि वे "यह एक पेरोल रिपोर्ट है" या "यह रिपोर्ट अक्सर डाउनलोड की जाएगी" जैसे निर्णय ले सकें। लेकिन एक पेंच है: इन प्रोग्रामों को अच्छी तरह सीखने के लिए आमतौर पर हजारों उदाहरणों की आवश्यकता होती है। जब एक सरकारी विभाग के पास केवल कुछ सौ दस्तावेज़ होते हैं, तो यह स्पष्ट नहीं होता कि क्या ये स्मार्ट उपकरण वास्तव में काम कर सकते हैं, या वे केवल भाग्यशाली शॉर्टकट के आधार पर अनुमान लगा रहे हैं।
घाना में, नियंत्रक और लेखा महालेखाकार विभाग सार्वजनिक वित्तीय रिपोर्टों का एक विशाल संग्रह रखता है। दो शोधकर्ताओं, इमैनुएल ओसेई-ड्वोमोह और गेब्रियल ओसेई फोर्कुओ ने यह परीक्षण करने का निर्णय लिया कि क्या स्वचालित उपकरण इस विशिष्ट संग्रह को व्यवस्थित कर सकते हैं और इसकी लोकप्रियता की भविष्यवाणी कर सकते हैं। उन्होंने 2019 और 2024 के बीच प्रकाशित 131 आधिकारिक रिपोर्टें एकत्र कीं। इन दस्तावेजों में चार्ट-ऑफ-अकाउंट्स संस्करणों से लेकर अंतर्राष्ट्रीय लेखांकन मानकों की सामग्री तक सब कुछ शामिल था। शोधकर्ताओं ने इस काम को संभालने के लिए दो अलग-अलग प्रकार के कंप्यूटर मॉडल बनाने का लक्ष्य रखा। पहला प्रकार "क्लासिकल" मशीन लर्निंग पर आधारित था, जहाँ एक मानव विश्लेषक सावधानीपूर्वक विशिष्ट सुरागों की एक सूची बनाता है, जैसे कि "बजट" शब्द कितनी बार आता है या फाइल की लंबाई कितनी है। दूसरा प्रकार "डीप लर्निंग" का उपयोग करता था, जो एक अधिक जटिल दृष्टिकोण है जहाँ कंप्यूटर शीर्षकों और विवरणों के कच्चे टेक्स्ट को अक्षर दर अक्षर पढ़ता है, और बिना मानवीय सहायता के अपने आप पैटर्न खोजने की कोशिश करता है। उन्होंने इन मॉडलों का परीक्षण तीन विशिष्ट कार्यों पर किया: रिपोर्टों को सही श्रेणी में छाँटना, यह अनुमान लगाना कि क्या कोई रिपोर्ट औसत से अधिक बार डाउनलोड की जाएगी, और डाउनलोडों की सटीक संख्या की भविष्यवाणी करना।
परिणाम आश्चर्यजनक थे और उन्होंने इस बात का खुलासा किया कि ये सिस्टम कैसे सीखते हैं, उसमें एक छिपा हुआ जाल था। जब शोधकर्ताओं ने पहली बार परीक्षण चलाया, तो क्लासिकल मशीन लर्निंग मॉडल एकदम सही लग रहा था। इसने परीक्षण समूह की प्रत्येक रिपोर्ट को उसकी सही श्रेणी में सफलतापूर्वक वर्गीकृत किया, और एक त्रुटिहीन स्कोर प्राप्त किया। डीप लर्निंग मॉडल ने भी इस कार्य में बहुत अच्छा प्रदर्शन किया। हालाँकि, शोधकर्ताओं को संदेह था कि यह पूर्ण स्कोर इसलिए नहीं था क्योंकि कंप्यूटर वास्तव में रिपोर्ट की सामग्री को समझता था। उन्होंने देखा कि उनके द्वारा क्लासिकल मॉडल को दिए गए सुरागों में ऐसे विशिष्ट कीवर्ड शामिल थे जो श्रेणी के नामों के लगभग समान थे। उदाहरण के लिए, यदि किसी रिपोर्ट का शीर्षक "2024 पेरोल सर्कुलर" था, तो मॉडल को एक फ्लैग दिया गया था कि "पेरोल शब्द मौजूद है।" चूंकि श्रेणी "पेरोल" थी, इसलिए मॉडल को काम शुरू करने से पहले ही उत्तर बताया जा रहा था।
इसे सिद्ध करने के लिए, शोधकर्ताओं ने उन विशिष्ट कीवर्ड सुरागों को हटा दिया और परीक्षण को फिर से चलाया। वह पूर्ण स्कोर गायब हो गया। मॉडल की सटीकता काफी कम हो गई, जो कि अभी भी काफी अच्छी थी लेकिन पूर्णता से बहुत दूर थी। इसने पुष्टि की कि प्रारंभिक सफलता काफी हद तक एक शॉर्टकट के कारण थी: रिपोर्टों के शीर्षकों में अक्सर उनके स्वयं के श्रेणी नाम मौजूद थे। डीप लर्निंग मॉडल, जो सीधे टेक्स्ट को पढ़ते थे, उन्होंने भी इस शॉर्टकट को खोज निकाला और समान उच्च स्कोर प्राप्त किया, जिससे यह सिद्ध हुआ कि कच्चा टेक्स्ट स्वयं उत्तर प्रदान कर रहा था, न कि दस्तावेज़ की संरचना की गहरी समझ। जब शोधकर्ताओं ने अन्य कार्यों को देखा, तो तस्वीर बदल गई। यह भविष्यवाणी करना कि कौन सी रिपोर्ट लोकप्रिय होगी, बहुत कठिन था। क्लासिकल मॉडल ने उचित रूप से प्रदर्शन किया, और लगभग तीन-चौथाई समय लोकप्रिय रिपोर्टों की सही पहचान की, जबकि डीप लर्निंग मॉडल अधिक संघर्ष करते दिखे। डीप लर्निंग मॉडल ने एक अजीब व्यवहार भी दिखाया: जब शोधकर्ताओं ने उन्हें अधिक प्रशिक्षण समय देकर "फाइन-ट्यून" करने की कोशिश की, तो उनका प्रदर्शन वास्तव में खराब हो गया। इससे पता चलता है कि इतने छोटे दस्तावेज़ संग्रह के साथ, जटिल डीप लर्निंग मॉडल बहुत संवेदनशील थे और सामान्य नियम सीखने के बजाय प्रशिक्षण डेटा को रटने लगे थे।
अध्ययन यह निष्कर्ष निकालता है कि इस तरह के छोटे सरकारी अभिलेखागारों के लिए, जटिल डीप लर्निंग सिस्टम की तुलना में सरल, क्लासिकल मशीन लर्निंग उपकरण एक बेहतर शुरुआती बिंदु हैं। ये सरल उपकरण समझने में आसान हैं और सीमित डेटा होने पर इनके टूटने की संभावना कम है। हालाँकि, शोधकर्ता चेतावनी देते हैं कि जो कोई भी इन उपकरणों का उपयोग कर रहा है, उसे शॉर्टकट पर भरोसा न करने के प्रति सावधान रहना चाहिए। यदि किसी मॉडल को इसलिए प्रशिक्षित किया जाता है क्योंकि शीर्षक में "पेरोल" शब्द दिखाई देता है, तो यह पूरी तरह से विफल हो सकता है जब कोई नई रिपोर्ट अलग शब्दावली का उपयोग करती है। इस कार्य का सबसे ईमानदार निष्कर्ष यह है कि हालांकि कंप्यूटर इन वित्तीय रिकॉर्डों को व्यवस्थित करने में मदद कर सकते हैं, लेकिन वे अभी तक जादू नहीं हैं। वे तब सबसे अच्छा काम करते हैं जब डेटा स्पष्ट हो और सुराग वास्तविक हों, लेकिन छोटे, अपूर्ण डेटासेट पर, उनके प्रभावशाली स्कोर कभी-कभी वास्तविक समझ की कमी को छिपा सकते हैं। शोधकर्ता सुझाव देते हैं कि किसी भी सरकारी पोर्टल द्वारा ऐसे सिस्टम को तैनात करने से पहले, इसका कड़ाई से परीक्षण किया जाना चाहिए ताकि यह सुनिश्चित हो सके कि यह सही चीजें सीख रहा है, न कि केवल लेबल की नकल कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।