From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

आधुनिक औद्योगिक दुनिया में, कंपनियाँ उन नियमों के बढ़ते पहाड़ का सामना कर रही हैं जो ग्रह और लोगों की गोपनीयता की रक्षा के लिए बनाए गए हैं। इन नियमों का पालन करने को सिद्ध करने के लिए, व्यवसायों को विशिष्ट दस्तावेज़ बनाने होते हैं, जिन्हें अक्सर अनुपालन आर्टिफ़ैक्ट्स (compliance artifacts) कहा जाता है। इन्हें विस्तृत रिपोर्टों के रूप में समझें जो किसी उत्पाद के लिए पासपोर्ट या कंप्यूटर सिस्टम के लिए सुरक्षा ऑडिट के रूप में कार्य करती हैं। एक प्रमुख यूरोपीय नियम प्रत्येक बेची जाने वाली बैटरी के लिए एक डिजिटल पासपोर्ट की आवश्यकता रखता है, जिसमें यह स्पष्ट रूप से सूचीबद्ध हो कि इसके अंदर कौन सी सामग्रियाँ हैं और उन्हें कैसे पुनर्चक्रित (recycle) किया जा सकता है। एक अन्य नियम किसी भी ऐसे सिस्टम के लिए जोखिम मूल्यांकन (risk assessment) की मांग करता है जो व्यक्तिगत डेटा को संभालता है, ताकि यह सुनिश्चित हो सके कि लोगों की निजी जानकारी सुरक्षित है। इन दस्तावेज़ों को हाथ से बनाना कठिन है क्योंकि आवश्यक डेटा कई अलग-अलग कंप्यूटर सिस्टम में बिखरा हुआ है और यह अव्यवस्थित, असंगत स्वरूपों में आता है। जैसे-जैसे कंपनियाँ इस कागजी कार्रवाई से जूझ रही हैं, वे कृत्रिम बुद्धिमत्ता (artificial intelligence), विशेष रूप से लार्ज लैंग्वेज मॉडल्स (large language models) की ओर मुड़ी हैं ताकि ये रिपोर्ट उनके लिए लिख सकें। ये कंप्यूटर प्रोग्राम टेक्स्ट पढ़ने और नई सामग्री उत्पन्न करने में उत्कृष्ट हैं, लेकिन यह स्पष्ट नहीं है कि क्या उन पर बिना कुछ गलत तथ्य गढ़े या महत्वपूर्ण विवरण छोड़े, सख्त कानूनी निर्देशों का पालन करने के लिए भरोसा किया जा सकता है।

शोधकर्ताओं की एक टीम ने ठीक यही परीक्षण करने के लिए कि ये कृत्रिम बुद्धिमत्ता उपकरण अनिवार्य रिपोर्ट लिखने के लिए पूछे जाने पर कैसा प्रदर्शन करते हैं, एक शोध शुरू किया। उन्होंने यह देखने के लिए कि क्या निर्देशों की प्रकृति परिणाम को बदल देती है, दो बहुत ही अलग प्रकार के दस्तावेज़ों पर ध्यान केंद्रित किया। पहला था एक डिजिटल बैटरी पासपोर्ट, जो नियामकों द्वारा परिभाषित एक बहुत ही स्पष्ट, कठोर संरचना वाला दस्तावेज़ है। दूसरा था एक डेटा संरक्षण प्रभाव मूल्यांकन (Data Protection Impact Assessment), जो गोपनीयता कानूनों के लिए आवश्यक एक दस्तावेज़ है जो निर्देशों में बहुत अधिक खुला-उन्मुख (open-ended) और अस्पष्ट है। शोधकर्ताओं ने पाँच अलग-अलग कृत्रिम बुद्धिमत्ता मॉडलों को कार्यों की एक श्रृंखला दी। कुछ मामलों में, उन्होंने मॉडलों को रिपोर्ट लिखने के लिए एक सरल, संक्षिप्त निर्देश दिया। अन्य मामलों में, उन्होंने एक लंबा, विस्तृत मार्गदर्शिका प्रदान की जिसमें विस्तार से बताया गया था कि किस जानकारी की आवश्यकता है और उसे कैसे फॉर्मेट करना है। उन्होंने इन परीक्षणों को कई बार चलाया ताकि यह देखा जा सके कि क्या मॉडल हर बार समान परिणाम देंगे, और फिर उन्होंने जाँच की कि क्या उत्पन्न रिपोर्टों में सभी कानूनी रूप से आवश्यक जानकारी शामिल है।

परिणामों ने यह खुलासा किया कि मॉडल दो प्रकार के दस्तावेज़ों को संभालने के तरीके के बीच एक गहरा अंतर था। जब डिजिटल बैटरी पासपोर्ट बनाने के लिए कहा गया, तो कृत्रिम बुद्धिमत्ता सिस्टम उल्लेखनीय रूप से सुसंगत थे। क्योंकि इस दस्तावेज़ के नियम इतने विशिष्ट थे, इसलिए मॉडलों ने लगभग समान आउटपुट दिए, चाहे निर्देश छोटे हों या लंबे। उन्होंने बैटरी सामग्रियों के बारे में आवश्यक डेटा को सफलतापूर्वक निकाला और लगभग हर बार इसे सही ढंग से फॉर्मेट किया। हालाँकि, कहानी पूरी तरह से बदल गई जब मॉडलों ने डेटा संरक्षण प्रभाव मूल्यांकन पर काम किया। यहाँ, कठोर संरचना की कमी का अर्थ था कि मॉडल निरंतरता बनाए रखने में संघर्ष करते रहे। जब केवल बुनियादी विनियमन पाठ के साथ अतिरिक्त मार्गदर्शन के बिना निर्देश दिए गए, तो मॉडलों ने अक्सर ऐसी रिपोर्टें बनाईं जिनमें प्रमुख भाग छूट गए थे या जो एक प्रयास से दूसरे प्रयास में बहुत भिन्न थीं। शोधकर्ताओं ने पाया कि इन अस्पष्ट कार्यों के लिए, मॉडल को विश्वसनीय परिणाम प्राप्त करने के लिए अधिक संदर्भ और विशिष्ट उदाहरण प्रदान करना आवश्यक था। बिना उस अतिरिक्त मदद के, मॉडल डेटा भंडारण सीमाओं को कैसे संभालना है या व्यक्तियों के जोखिम का आकलन कैसे करना है जैसे महत्वपूर्ण विवरण छोड़ देते थे।

सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि मॉडल ने निर्देशों के विवरण के स्तर के प्रति कैसी प्रतिक्रिया दी। सख्त बैटरी पासपोर्ट के लिए, प्रॉम्प्ट में अधिक विवरण जोड़ने से आउटपुट की गुणवत्ता में कोई महत्वपूर्ण बदलाव नहीं आया, लेकिन इससे आउटपुट में 'हैलुसिनेशन' (hallucinations - गलत तथ्य गढ़ना) की संभावना बढ़ सकती है। गोपनीयता मूल्यांकन के लिए, हालांकि, इसके विपरीत था। मॉडलों को अच्छा प्रदर्शन करने के लिए उस अतिरिक्त संदर्भ की आवश्यकता थी। जब निर्देश बहुत अस्पष्ट थे, तो मॉडल अक्सर आवश्यक अनुभागों को शामिल करने में विफल रहे, जिससे पता चलता है कि वर्तमान कानूनी भाषा इन उपकरणों के लिए स्वयं विश्वसनीय रूप से व्याख्या करने के लिए बहुत व्यापक है। अध्ययन ने यह भी रेखांकित किया कि विभिन्न कृत्रिम बुद्धिमत्ता मॉडल अलग-अलग व्यवहार करते थे; कुछ सभी कार्यों में लगातार विश्वसनीय थे, जबकि अन्य महत्वपूर्ण जानकारी को छोड़ने के प्रति प्रवृत्त थे जब निर्देश स्पष्ट नहीं थे।

अंततः, शोध यह सुझाव देता है कि कानूनी अनुपालन के लिए कृत्रिम बुद्धिमत्ता का उपयोग करने की सफलता इस बात पर बहुत अधिक निर्भर करती है कि बनाया जा रहा दस्तावेज़ किस प्रकार का है। बैटरी पासपोर्ट जैसे अत्यधिक संरचित कार्यों के लिए, तकनीक न्यूनतम सेटअप के साथ उपयोग के लिए तैयार है। लेकिन गोपनीयता मूल्यांकन जैसे जटिल, खुले-उन्मुख कार्यों के लिए, केवल कंप्यूटर को कानून का पालन करने के लिए कहना पर्याप्त नहीं है। शोधकर्ताओं ने निष्कर्ष निकाला कि इन उपकरणों को विनियमन के अस्पष्ट भागों के लिए प्रभावी ढंग से काम करने के लिए, कंपनियों को विस्तृत, विशिष्ट प्रॉम्प्ट तैयार करने में समय निवेश करना चाहिए जो कृत्रिम बुद्धिमत्ता को आवश्यक चरणों के माध्यम से मार्गदर्शन दे सके। जब तक विनियम स्वयं इस बारे में अधिक विशिष्ट नहीं हो जाते कि इन दस्तावेज़ों में क्या होना चाहिए, या जब तक इन मशीनों को निर्देश देने के हमारे तरीके में सुधार नहीं होता, तब तक अनुपालन के लिए कृत्रिम बुद्धिमत्ता का उपयोग कुछ कार्यों के लिए उच्च विश्वसनीयता और अन्य के लिए महत्वपूर्ण जोखिम का मिश्रण बना रहेगा।