Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
518 ESG रिपोर्टों में पांच ओपन-वेट (open-weight) LLMs का यह अनुदैर्ध्य बेंचमार्क (longitudinal benchmark) प्रकट करता है कि जहाँ मॉडल नैरेटिव नीतियों का सारांश विश्वसनीय रूप से प्रस्तुत करते हैं, वहीं वे सटीक संख्यात्मक निष्कर्षण (numerical extraction) में संघर्ष करते हैं और स्पष्ट तर्क या सख्त निर्देशों के बिना अक्सर डेटा के बारे में मतिभ्रम (hallucinate) उत्पन्न करते हैं, जो स्वचालित स्थिरता ऑडिटिंग (automated sustainability auditing) में बेहतर अपवर्जन तंत्र (abstention mechanisms) की महत्वपूर्ण आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक व्यावसायिक जगत में, पर्यावरण के प्रति किसी कंपनी की प्रतिबद्धता, श्रमिकों के साथ उसका व्यवहार और उसका नैतिक शासन अब केवल जनसंपर्क के मामले नहीं रह गए हैं। ये कारक अब ठोस डेटा बन चुके हैं, कई स्थानों पर कानूनी रूप रूप से आवश्यक हैं, और उन निवेशकों द्वारा सूक्ष्मता से जाँचे जाते हैं जिन्हें यह जानने की आवश्यकता होती है कि क्या कोई निगम वास्तव में टिकाऊ है या केवल दिखावा कर रहा है। इस बदलाव ने ऑडिटर्स (लेखा परीक्षकों) के लिए एक बड़ी चुनौती पैदा कर दी है। एक एकल स्थिरता रिपोर्ट (सस्टेनेबिलिटी रिपोर्ट) सैकड़ों पन्नों तक खिंच सकती है, जो संख्याओं की सघन तालिकाओं, पाद-टिप्पणियों (फुटनोट्स) और बदलते परिभाषाओं से भरी होती है। इस मात्रा को समझने के लिए, वित्तीय संस्थान आर्टिफिशियल इंटेलिजेंस का सहारा ले रहे हैं, विशेष रूप से एक प्रकार के कंप्यूटर प्रोग्राम जिसे 'लार्ज लैंग्वेज मॉडल' के रूप में जाना जाता है। ये प्रोग्राम टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होते हैं और विशिष्ट उत्तर खोजने के लिए दस्तावेजों को पढ़ सकते हैं, ठीक वैसे ही जैसे एक बहुत तेज़ और बहुत अधिक पढ़ा-लिखा लाइब्रेरियन। हालाँकि, इन उपकरणों को आधिकारिक ऑडिट के लिए भरोसेमंद बनाने के लिए, उन्हें केवल एक कहानी का सारांश बनाने से कहीं अधिक करना होगा; उन्हें बिना कुछ मनगढ़ंत बनाए सटीक संख्याएँ निकालनी होंगी, और उन्हें यह भी पता होना चाहिए कि कब यह स्वीकार करना है कि उत्तर दस्तावेज़ में मौजूद ही नहीं है।
घाना विश्वविद्यालय के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए कि ये ओपन-सोर्स आर्टिफिशियल इंटेलिजेंस मॉडल इस उच्च-दांव वाले वातावरण में कैसा प्रदर्शन करते हैं, एक सटीक प्रयोग किया। उन्होंने 2010 और 2026 के बीच प्रकाशित 518 वास्तविक कॉर्पोरेट स्थिरता रिपोर्टों का एक विशाल संग्रह एकत्र किया, जिसमें पुराने स्वैच्छिक रिपोर्ट और यूरोपीय कानून द्वारा आवश्यक नवीनतम, कड़ाई से विनियमित फाइलिंग दोनों शामिल थे। इस दस्तावेजों की लाइब्रेरी से, उन्होंने 120 विशिष्ट ऑडिट प्रश्नों वाला एक कठोर परीक्षण तैयार किया। ये प्रश्न सरल नीति सारांशों से लेकर ग्रीनहाउस गैस उत्सर्जन या जल उपयोग के सटीक आंकड़ों की मांग करने वाले प्रश्नों तक विस्तृत थे। इसके बाद शोधकर्ताओं ने इन प्रश्नों को पांच अलग-अलग अग्रणी आर्टिफिशियल इंटेलिजेंस मॉडलों को दिया, जिससे एक वास्तविक दुनिया के परिदृश्य का अनुकरण किया गया जहाँ कंप्यूटर पहले दस्तावेज़ के प्रासंगिक पृष्ठ को खोजता है और फिर उत्तर पढ़ने का प्रयास करता है। महत्वपूर्ण रूप से, निष्पक्षता सुनिश्चित करने के लिए, उन्होंने उत्तरों को ग्रेड देने के लिए एक अलग, स्वतंत्र आर्टिफिशियल इंटेलिजेंस प्रणाली का उपयोग किया, ताकि मॉडल अपने स्वयं के काम के लिए खुद को उच्च अंक न दे सकें।
परिणामों ने यह स्पष्ट किया कि ये मशीनें शब्दों को समझने में कितनी सक्षम हैं बनाम संख्याओं को संभालने में वे कितनी कुशल हैं। जब किसी कंपनी की सामान्य नीतियों या प्रतिबद्धताओं का सारांश देने के लिए कहा गया, तो मॉडलों ने काफी अच्छा प्रदर्शन किया, और अक्सर उच्च सटीकता के साथ टेक्स्ट के सार को पकड़ लिया। हालाँकि, जब कार्य के लिए एक जटिल तालिका से एक विशिष्ट संख्या निकालने की आवश्यकता थी—जैसे कि किसी विशिष्ट वर्ष में कार्बन डाइऑक्साइड उत्सर्जित होने की सटीक मात्रा—तो उनका प्रदर्शन काफी गिर गया। यहाँ तक कि जब शोधकर्ताओं ने मॉडलों को रिपोर्ट का सही पृष्ठ भी प्रदान किया, तो सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल भी केवल 73 प्रतिशत बार ही सही संख्या निकाल सका। कठिनाई अक्सर सही पृष्ठ खोजने में नहीं, बल्कि तालिका को सही ढंग से पढ़ने में थी, जैसे कि मूल कंपनी के कुल योग को सहायक कंपनी के आंकड़े के साथ भ्रमित करना या माप की इकाइयों को गलत पढ़ना।
शायद सबसे महत्वपूर्ण निष्कर्ष यह था कि ये मॉडल तब कैसा व्यवहार करते हैं जब उत्तर गायब होता है। एक वास्तविक ऑडिट में, कोई कंपनी किसी विशिष्ट मीट्रिक को रिपोर्ट करने में विफल हो सकती है, या खोज के दौरान गलती से गलत वर्ष का पृष्ठ आ सकता है। शोधकर्ताओं ने इसका परीक्षण करने के लिए मॉडलों को 2024 के खतरनाक कचरे (हज़ार्डस वेस्ट) के बारे में एक प्रश्न दिया, लेकिन एक ऐसा दस्तावेज़ पृष्ठ प्रदान किया जो केवल 2022 के जल पुनर्चक्रण (वॉटर रिसाइक्लिंग) के बारे में था। मानक निर्देशों के तहत, कई मॉडलों ने मददगार बनने की कोशिश की और एक संख्या या किसी अन्य वर्ष के समान आंकड़े को प्रतिस्थापित कर दिया, जिसे 'हैलुसिनेशन' (भ्रम/मनगढ़ंत जानकारी) कहा जाता है। कुछ मॉडलों के लिए यह घटना लगभग आधे मामलों में हुई। हालाँकि, अध्ययन ने दिखाया कि इस खतरनाक प्रवृत्ति को काफी हदले तक ठीक किया जा सकता है। मॉडलों को यह सख्त निर्देश देकर कि यदि सटीक डेटा मौजूद नहीं है तो "मैं उत्तर नहीं दे सकता" कहें, मनगढ़ंत संख्याओं की दर बहुत कम हो गई। इसके अलावा, एक मॉडल जो उत्तर देने से पहले अपने तर्क (रीजनिंग) पर "सोचने" के लिए डिज़ाइन किया गया था, वह बिना सख्त निर्देशों के भी इन विसंगतियों को पहचानने और अनुमान लगाने से इनकार करने में स्वाभाविक रूप से बेहतर था।
अध्ययन ने यह भी देखा कि कॉर्पोरेट रिपोर्टिंग की बदलती प्रकृति इन उपकरणों को कैसे प्रभावित करती है। शोधकर्ताओं ने पाया कि यूरोपीय नियमों द्वारा अनिवार्य नवीनतम, अनिवार्य रिपोर्ट, जो मानकीकृत तालिकाओं और सुसंगत लेबल का उपयोग करती हैं, वास्तव में पुराने, स्वैच्छिक रिपोर्टों की तुलना में आर्टिफिशियल इंटेलिजेंस के लिए पढ़ना आसान हैं। एक बार जब कंप्यूटर इन आधुनिक दस्तावेजों में सही अनुभाग खोज लेता है, तो इसकी सटीकता में उल्लेखनीय सुधार होता है। यह सुझाव देता है कि जैसे-जैसे नियम कंपनियों को अपने डेटा को अधिक स्पष्ट रूप से व्यवस्थित करने के लिए मजबूर करेंगे, ये उपकरण अधिक विश्वसनीय हो जाएंगे। अंततः, शोध यह निष्कर्ष निकालता है कि जबकि आर्टिफिशियल इंटेलिजेंस कंपनियों द्वारा सुनाई जाने वाली कहानियों का सारांश बनाने के लिए तैयार है, यह कठिन आंकड़ों की जाँच के लिए मानव ऑडिटर्स को बदलने के लिए अभी तैयार नहीं है। सबसे सुरक्षित दृष्टिकोण इन मॉडलों का उपयोग सारांश तैयार करने और संभावित मुद्दों को चिह्नित करने के लिए करने में है, लेकिन अंतिम आंकड़ों को सत्यापित करने के लिए एक मानव को प्रक्रिया में शामिल रखना है, यह सुनिश्चित करने के लिए कि संख्याएँ वास्तविक हैं और केवल एक प्रभावशाली अनुमान मात्र नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।