FinBalance: A Multi-Document Accounting Reconciliation Benchmark
यह शोध पत्र FinBalance को प्रस्तुत करता है, जो विविध उद्योगों और कठिनाई स्तरों के स्रोत दस्तावेजों से निर्मित एक मल्टी-डॉक्यूमेंट अकाउंटिंग रिकॉन्सिलिएशन बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स स्रोत सामग्रियों को सुसंगत बैलेंस शीट्स में सटीक रूप से मिलान करने में संघर्ष करते हैं, और अक्सर उनके द्वारा रिपोर्ट किए गए वित्तीय विवरणों और उनके अपने द्वारा जनरेट की गई प्रविष्टियों से प्राप्त विवरणों के बीच महत्वपूर्ण अंतर प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक वित्तीय रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास सुरागों का एक बिखरा हुआ ढेर है: इनवॉइस, बैंक स्टेटमेंट, अनुबंध और रसीदें। आपका काम केवल उन्हें पढ़ना नहीं है; बल्कि यह पता लगाना है कि वास्तव में क्या हुआ, हर एक लेनदेन के लिए एक औपचारिक रिपोर्ट (एक "जर्नल एंट्री") लिखना है, और फिर उन सभी को जोड़कर एक अंतिम "बैलेंस शीट" बनाना है (जो कंपनी के वित्तीय स्वास्थ्य का एक स्नैपशॉट हो)।
यदि आपको कोई ऐसा सुराग मिलता है जो दूसरे का खंडन करता है (जैसे कि एक इनवॉइस कहता है कि आपने 120 का भुगतान किया), तो आपको उस त्रुटि को तुरंत चिह्नित करना होगा। आप इसे अनदेखा नहीं कर सकते या इसका अनुमान नहीं लगा सकते।
यह बिल्कुल वही है जिसके बारे में पेपर FinBalance है। यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक नया "परीक्षा" पेश करता है ताकि यह देखा जा सके कि क्या वह इस वास्तविक दुनिया के अकाउंटिंग डिटेक्टिव वर्क को कर सकता है।
समस्या: AI पढ़ने में अच्छा है, मिलान करने में बुरा
लेखक बताते हैं कि अधिकांश वर्तमान AI परीक्षण एक छात्र को एक तैयार पाठ्यपुस्तक का अध्याय देने और पूछने जैसे हैं, "मुख्य विचार क्या है?" उत्तर पहले से ही वहां लिखा होता है; AI को बस उसे ढूंढना होता है।
लेकिन वास्तविक अकाउंटिंग कठिन है। यह एक छात्र को मुड़ी-तुड़ी रसीदों का एक जूता बॉक्स, एक बैंक स्टेटमेंट और एक अनुबंध देने और कहने जैसा है, "गणित समझें, आधिकारिक रिपोर्ट लिखें, और मुझे बताएं कि क्या कुछ मेल नहीं खा रहा है।"
समाधान: द फिनबैलेंस बेंचमार्क (The FinBalance Benchmark)
शोधकर्ताओं ने एक विशाल, सिंथेटिक "प्रशिक्षण मैदान" बनाया जिसे FinBalance कहा जाता है।
- सेटअप: उन्होंने एक कंप्यूटर प्रोग्राम बनाया जो एक सख्त अकाउंटेंट की तरह कार्य करता है। यह हजारों नकली लेकिन यथार्थवादी व्यावसायिक परिदृश्य (scenarios) उत्पन्न करता है जो 8 विभिन्न उद्योगों (जैसे रिटेल, हेल्थकेयर और टेक) में फैले हुए हैं।
- दस्तावेज: प्रत्येक परिदृश्य के लिए, यह टेक्स्ट के साथ दस्तावेजों का एक समूह बनाता है (स्कैन किए गए PDF का अनुकरण करते हुए)। कुछ वास्तविक साक्ष्य हैं, कुछ "डिस्ट्रैक्टर्स" (धोखा देने के लिए बनाए गए नकली कागज) हैं, और कुछ में जानबूझकर विरोधाभास शामिल हैं।
- ग्राउंड ट्रुथ (Ground Truth): क्योंकि एक कंप्यूटर ने इस परिदृश्य को उत्पन्न किया है, इसलिए AI को सटीक सही उत्तर पता है। वह जानता है कि सही जर्नल एंट्रीज क्या हैं, अंतिम बैलेंस शीट क्या है, और कौन से दस्तावेज किन नंबरों का समर्थन करते हैं।
परीक्षण: AI ने कैसा प्रदर्शन किया?
शोधकर्ताओं ने आज के सबसे स्मार्ट उपलब्ध छह AI मॉडलों का 710 अकाउंटिंग पहेलियों पर परीक्षण किया। परिणाम आश्चर्यजनक और विनम्र करने वाले थे:
- "मैथ बनाम रिपोर्ट" का अंतर:
कल्पना कीजिए कि एक छात्र जो अपने दिमाग में गणित तो पूरी तरह से कर सकता है लेकिन परीक्षा के कागज पर अंतिम उत्तर गलत लिख देता है।
- AI मॉडल व्यक्तिगत लेनदेन ( "जर्नल एंट्रीज") को समझने में आश्चर्यजनक रूप से अच्छे थे।
- हालांकि, जब उन्होंने उन सबको जोड़ने और अंतिम "बैलेंस शीट" लिखने की कोशिश की, तो वे अक्सर विफल रहे।
- आंकड़ा: छह में से चार मॉडलों में, एक बड़ा अंतर था। वे अपने स्वयं के नोट्स से सही वित्तीय चित्र को फिर से बना सकते थे, लेकिन जो रिपोर्ट उन्होंने वास्तव में जमा की वह गलत थी। यह एक शेफ की तरह है जो एक बेहतरीन भोजन पकाता है लेकिन उसे गलत प्लेट पर गलत लेबल के साथ परोस देता है।
- "खोई हुई रसीद" की समस्या:
सबसे बड़ी विफलता गणित नहीं थी; बल्कि उत्तर को प्रमाण से जोड़ना था।
- जब AI ने एक नंबर सही निकाला, तो वह अक्सर उस विशिष्ट दस्तावेज की ओर इशारा नहीं कर पाता था जो उसे सिद्ध करता था।
- भले ही शोधकर्ताओं ने AI को कहा, "आपको अपने स्रोतों का उल्लेख करना ही होगा," इससे बहुत कम सुधार हुआ। AI असली सबूत और डिस्ट्रैक्टर्स के बीच अंतर करने में संघर्ष कर रहा था।
- "दूसरी राय" का तरीका:
शोधकर्ताओं ने एक चतुर समाधान आजमाया। AI द्वारा अपना उत्तर जमा करने के बाद, उन्होंने AI के अपने नंबरों को एक सख्त कैलकुलेटर ("लेजर") के माध्यम से चलाया और AI को उस अंतर को दिखाया जो उसके द्वारा कहे गए और उसके अपने नंबरों द्वारा निहित अंतर के बीच था।
- परिणाम: इस "फीडबैक" ने AI को अपनी अंतिम रिपोर्ट को काफी हदता तक सुधारने में मदद की। यह एक शिक्षक की तरह है जो कहता है, "तुमने कहा कि कुल 120 है। अपना गणित जांचो।"
- कैच (Catch): इस सुधार का एक नुकसान भी था। जब AI विरोधाभासों (दस्तावेजों में त्रुटियों) को पकड़ने की कोशिश कर रहा था, तो इस फीडबैक ने कभी-कभी इसे त्रुटियों को पहचानने में और भी खराब बना दिया, क्योंकि यह गणित को ठीक करने पर बहुत अधिक केंद्रित हो गया था बजाय इसके कि यह महसूस करे कि दस्तावेज गलत थे।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI वित्तीय टेक्स्ट को समझने में बेहतर हो रहा है, लेकिन यह अभी तक एक विश्वसनीय अकाउंटेंट बनने के लिए तैयार नहीं है। यह संघर्ष करता है:
- विभिन्न दस्तावेजों के बीच संबंध जोड़ने में।
- अपने निष्कर्षों को एक सुसंगत अंतिम रिपोर्ट में एकत्रित (जोड़ने) करने में।
- वास्तविक साक्ष्य और नकली भटकाव के बीच अंतर करने में।
लेखक इस बात पर जोर देते हैं कि यह बेंचमार्क एक "तनाव परीक्षण" (stress test) है। यदि एक AI इन साफ-सुथरे, कंप्यूटर-जनरेटेड पहेलियों को भी पूरी तरह से हल नहीं कर सकता है, तो निश्चित रूप से इस जटिल, वास्तविक दुनिया की अकाउंटिंग के लिए इस पर भरोसा नहीं किया जा सकता है जहाँ रसीदें धुंधली होती हैं, पन्ने गायब होते हैं, और नियम और भी जटिल होते हैं।
संक्षेप में: AI वर्तमान में वित्तीय दस्तावेजों का एक महान "रीडर" है लेकिन एक खराब "रिकोंसाइलर" (मिलान करने वाला) है। वह नंबर तो ढूंढ सकता है, लेकिन वह अक्सर साक्ष्य के निशान खो देता है और अंतिम रिपोर्ट सही ढंग से लिखने में विफल रहता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।