DiligenceProv: A Truth-Ledger Benchmark for Verifiable Financial Due-Diligence Answers from Large Language Models
यह शोध पत्र DiligenceProv को प्रस्तुत करता है, जो एक नवीन बेंचमार्क और निर्माण पद्धति है, जिसमें उच्च-दांव वाले वित्तीय ड्यू डिलिजेंस (due diligence) में लार्ज लैंग्वेज मॉडल्स की सत्यापन क्षमता, साक्ष्य पुनर्प्राप्ति और परिभाषात्मक सटीकता का मूल्यांकन करने और उनमें सुधार करने के लिए पंजीकृत त्रुटियों वाले सिंथेटिक डील रूम का उपयोग किया गया है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई कंपनी खरीदी या बेची जाती है, तो यह प्रक्रिया उसकी वित्तीय सेहत की गहन जांच पर टिकी होती है, जिसे 'ड्यू डिलिजेंस' (उचित तत्परता) कहा जाता है। सलाहकार हफ्तों तक एक "डील रूम" में समय बिताते हैं, जो दस्तावेजों का एक संग्रह होता है जिसमें ऑडिट किए गए वित्तीय विवरणों और अर्निंग रिपोर्ट्स से लेकर ड्राफ्ट अनुबंधों और मैनेजमेंट प्रेजेंटेशन तक सब कुछ शामिल होता है। उनका काम महत्वपूर्ण सवालों के जवाब देना है: एक व्यवसाय वास्तव में कितना कमाता है? उसके सबसे बड़े ग्राहकों से जुड़े जोखिम क्या हैं? इस उच्च-दांव वाले वातावरण में, एक उत्तर केवल उतना ही अच्छा है जितनी उसके पीछे का प्रमाण। एक समीक्षक को न केवल अंतिम संख्या को, बल्कि उस विशिष्ट परिभाषा को भी सत्यापित करने में सक्षम होना चाहिए जिसका उपयोग गणना के लिए किया गया था, और उस सटीक दस्तावेज को भी जो उस दावे का समर्थन करता है। यदि कोई उत्तर आत्मविश्वास से भरा दिखता है लेकिन गलत है, तो यह निवेश के निर्णय को शून्य उत्तर की तुलना में अधिक खतरनाक तरीके से गुमराह कर सकता है।
आर्टिफिशियल इंटेलिजेंस, विशेष रूप से लार्ज लैंग्वेज मॉडल्स, इस क्षेत्र में प्रवेश कर रहे हैं, जो इन जटिल दस्तावेजों को पढ़ने और विश्लेषण करने की गति बढ़ाने का वादा करते हैं। हालांकि, एक महत्वपूर्ण बाधा अभी भी बनी हुई है। वर्तमान एआई सिस्टम टेक्स्ट को प्रवाहपूर्ण तरीके से पढ़ सकते हैं, लेकिन वे वित्त में आवश्यक विशिष्ट प्रकार के सत्यापन के साथ संघर्ष करते हैं। वे एक ऐसा नंबर पेश कर सकते हैं जो दिखने में तर्कसंगली हो लेकिन वास्तव में गलत हो, या वे एक ऐसा दस्तावेज उद्धृत कर सकते हैं जो उनके निष्कर्ष का समर्थन न करता हो। मुख्य चुनौती यह नहीं है कि क्या एआई शब्दों को पढ़ सकता है, बल्कि यह है कि क्या वह एक एकल सत्य को खोजने के लिए विरोधाभासी सूचनाओं के बिखरे हुए संग्रह में नेविगेट कर सकता है जिसे एक मानव विशेषज्ञ स्वीकार करेगा।
इसे संबोधित करने के लिए, शोधकर्ताओं ने 'डिलिजेंसप्रोव' (DiligenceProv) नामक एक नया परीक्षण स्थल बनाया है। यह एक मानक परीक्षण नहीं है जो साफ-सुथरी, सार्वजनिक वित्तीय रिपोर्टों पर आधारित है जहाँ उत्तर पहले से ही सुलझे हुए और सहमत होते हैं। इसके बजाय, शोधकर्ताओं ने एक काल्पनिक कंपनी बनाई और तीस दस्तावेजों का एक यथार्थवादी सेट तैयार किया, जिसमें वित्तीय विवरण, ऋण अनुसूचियां और मैनेजमेंट प्रेजेंटेशन शामिल थे। उन्होंने जानबूझकर वास्तविक सौदों में पाए जाने वाले प्रकार के बिखराव को पेश किया: जैसे एक ही अर्निंग मेजर को तीन अलग-अलग तरीकों से परिभाषित करना, ऐसे पुराने नंबर जो वर्तमान दिखते हों, और ऐसे प्रश्न जिनका जवाब दस्तावेजों में उपलब्ध ही नहीं है। लक्ष्य यह देखना था कि क्या एक एआई सिस्टम ऐसे उत्तर दे सकता है जिसे एक मानव समीक्षक सत्यापित कर सके, जिसमें नंबर, परिभाषा और साक्ष्य तीनों को एक साथ जांचा जा सके।
शोधकर्ताओं ने पाया कि दस्तावेजों को केवल यथार्थवादी बनाना सबसे उन्नत एआई सिस्टम को चुनौती देने के लिए पर्याप्त नहीं था। एक यथार्थवादी लेकिन पूरी तरह से सुसंगत दस्तावेजों के साथ प्रारंभिक परीक्षण में, एक शीर्ष-स्तरीय कमर्शियल मॉडल ने हर सवाल का सही जवाब दिया, भले ही सवाल कठिन क्यों न थे। सिस्टम को कोई समस्या नहीं हुई क्योंकि दस्तावेजों में वे जाल (traps) नहीं थे जो वास्तविक वार्ताओं में मौजूद होते हैं। शोधकर्ताओं को एहसास हुआ कि इन प्रणालियों को वास्तव में परखने के लिए, उन्हें कठिनाई को इंजीनियर करना होगा। उन्होंने एक "ट्रुथ लेजर" (सत्य बहीखाता) बनाया, जो प्रत्येक तथ्य का एक मास्टर रिकॉर्ड है, और फिर दस्तावेजों को इस तरह लिखा कि उनमें पंजीकृत खामियां (registered imperfections) हों। इनमें दस्तावेजों के बीच के टकराव, वास्तविक भटकाव जो सही उत्तर की तरह दिखते थे लेकिन गलत थे, और वे रिक्त स्थान शामिल थे जहाँ जानकारी मौजूद नहीं थी लेकिन उसे स्पष्ट रूप से अनुपलब्ध नहीं बताया गया था।
जब उन्होंने इन इंजीनियर किए गए बिखराव के विरुद्ध एआई मॉडल्स का परीक्षण किया, तो परिणाम नाटकीय रूप से बदल गए। सबसे उन्नत मॉडल्स, जो पहले पूर्ण स्कोर कर रहे थे, इन पंजीकृत खामियों के बीच नेविगेट करने में विफल रहने लगे। अधिक आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि कई मध्यम स्तर के मॉडल्स के लिए, एआई को तीस दस्तावेजों का पूरा सेट देने से वास्तव में उसका प्रदर्शन छह सावधानीपूर्वक चुने गए पृष्ठों की तुलना में खराब हो गया। जब एआई के पास पूरा 'रूम' उपलब्ध था, तो वह अक्सर उन पुराने नंबरों या मनगढ़ंत उद्धरणों से विचलित हो गया जो अतिरिक्त टेक्स्ट में दिखाई दे रहे थे। वह किसी नंबर का गलत संस्करण उठा लेता या ऐसा दस्तावेज बना देता जो अस्तित्व में ही नहीं था। हालांकि, जब शोधकर्ताओं ने केवल सबसे प्रासंगिक अंश प्रदान किए, तो एआई का प्रदर्शन काफी बेहतर रहा। इस मामले में, रिट्रीवल (पुनर्प्राप्ति) प्रक्रिया ने एक सुरक्षात्मक फिल्टर के रूप में कार्य किया, जिसने मॉडल को पूरे डॉक्यूमेंट सेट के शोर और भ्रम से बचाया।
अध्ययन से यह भी पता चला कि इन एआई सिस्टम के लिए सबसे कठिन काम साक्ष्य खोजना नहीं, बल्कि यह समझना था कि उनका उपयोग कैसे किया जाए। भले ही शोधकर्ताओं ने मॉडल्स को सटीक सही दस्तावेज और सही नंबर दिए हों, फिर भी मॉडल्स ने गलतियाँ कीं। वे अक्सर एक वित्तीय मीट्रिक की सही परिभाषा लागू करने में विफल रहे या वे एक ड्राफ्ट अनुबंध और अंतिम अनुबंध के बीच अंतर नहीं कर सके। त्रुटियां जानकारी की कमी के कारण नहीं थीं, बल्कि नियमों को लागू करने में अनुशासन की कमी के कारण थीं। शोधकर्ताओं ने इन विफलताओं को विशिष्ट श्रेणियों में वर्गीकृत किया, जैसे "कॉन्फिडेंट-रॉन्ग" (आत्मविश्वासपूर्ण-गलत) उत्तर जहाँ एआई एक गलत तथ्य को निश्चितता के साथ बताता है, या "डिस्ट्रैक्टर कैप्चर" जहाँ वह एक भ्रामक नंबर की ओर आकर्षित हो जाता है।
एक विशेष रूप से चिंताजनक निष्कर्ष यह था कि एआई की यह बताने में असमर्थता कि वह कुछ नहीं जानता। वास्तविक दुनिया में, यदि किसी दस्तावेज में कोई विशिष्ट पूर्वानुमान (forecast) नहीं है, तो सही उत्तर यह कहना है कि जानकारी उपलब्ध नहीं है। परीक्षणों में, एआई मॉडल्स ने शायद ही कभी उत्तर देने से मना किया। इसके बजाय, जब उनके सामने डेटा की कमी आई, तो उन्होंने अनुमान लगाने या विस्तार करने की कोशिश की, जिससे एक ऐसा निर्मित नंबर बन गया जो संरचित और पेशेवर दिखता था। वित्त में यह एक खतरनाक व्यवहार है, जहाँ एक आत्मविश्वास से भरा गलत नंबर, स्पष्ट रूप से जानकारी की कमी स्वीकार करने की तुलना में अधिक हानिकारक हो सकता है।
शोधकर्ताओं ने निष्कर्ष निकाला कि वित्तीय ड्यू डिलिजेंस में कठिनाई केवल टेक्स्ट की जटिलता के बारे में नहीं है, बल्कि इस बारे में है कि साक्ष्य को कैसे एक्सेस और प्रबंधित किया जाता है। सबसे मजबूत एआई सिस्टम के लिए, सभी दस्तावेजों के पूर्ण संदर्भ तक पहुंच होने से वे लगभग पूर्ण स्कोर तक पहुँच गए, जो यह सुझाव देता है कि उनकी मुख्य सीमा केवल सही जानकारी उपलब्ध होने की उपलब्धता है। अन्य मॉडल्स के लिए, बहुत अधिक जानकारी होना एक बोझ था। अध्ययन सुझाव देता है कि इन प्रणालियों को वास्तविक सौदों के लिए भरोसेमंद बनाने के लिए, उन्हें ऐसे वर्कफ़्लो की आवश्यकता है जो सरल रिट्रीवल के बजाय सत्यापन और परिभाषा को प्राथमिकता देते हों। यह बेंचमार्क अब अन्य शोधकर्ताओं के उपयोग के लिए उपलब्ध है, जो इन प्रणालियों को वास्तविक धन के भरोसे में लेने से पहले मापने और सुधारने का एक तरीका प्रदान करता है। यह कार्य प्रदर्शित करता है कि उच्च-दांव वाले वित्तीय कार्यों के लिए, विश्वसनीयता का मार्ग एआई को अधिक स्मार्ट बनाने में नहीं, बल्कि ऐसे सिस्टम बनाने में है जो अपने उत्तरों को नियमों और साक्ष्यों के एक सख्त सेट के विरुद्ध सत्यापित कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।