CTRAG: An In-Context Retrieval-based Framework for Automated Compliance Checking using LLMs
यह शोध पत्र CTRAG को प्रस्तुत करता है, जो एक नवीन रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) फ्रेमवर्क है जो एडेप्टिव चंकिंग (adaptive chunking), डायनेमिक रिट्रीवल (dynamic retrieval) और इन-कॉन्टेक्स्ट लर्निंग (in-context learning) का लाभ उठाकर नियंत्रण प्रश्नों (control questions) को कंपनी के दस्तावेज़ों के साथ क्रॉस-रेफरेंस करके नियामक अनुपालन सत्यापन (regulatory compliance verification) को स्वचालित और महत्वपूर्ण रूप से सटीक बनाता है, जैसा कि एक बिग फोर (Big Four) प्रोफेशनल सर्विसेज फर्म में सफल वास्तविक दुनिया के परिनियोजन द्वारा प्रमाणित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन अपराध स्थल के बजाय, आपका "अपराध" एक कंपनी द्वारा नियमों को तोड़ना है। व्यवसाय की दुनिया में, हजारों नियम होते हैं—जैसे कि पैसा संभालने, रहस्यों की रक्षा करने या डेटा को सुरक्षित रखने के लिए एक विशाल, अदृश्य नियम पुस्तिका। यह जांचना कि क्या कोई कंपनी इन नियमों का पालन कर रही है, "अनुपालन" (compliance) कहलाता है। पारंपरिक रूप से, यह काम मानव ऑडिटरों का होता है जिन्हें ढेर सारे बिखरे हुए कागजी दस्तावेजों को पढ़ना पड़ता है, ताकि वे उन छोटे सुरागों को खोज सकें जो साबित करते हैं कि कंपनी नियमों के अनुसार चल रही है। यह काम धीमा, उबाऊ है, और इंसान थक जाते हैं, जिसका अर्थ है कि वे कभी-कभी सुराग छोड़ देते हैं या भ्रमित हो जाते हैं।
एआई (AI) की दुनिया में कदम रखें, विशेष रूप से एक प्रकार का स्मार्ट कंप्यूटर दिमाग जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है। एक LLM को एक सुपर-फास्ट पाठक के रूप में सोचें जिसने दुनिया में लगभग सब कुछ पढ़ा है और वह इंसानों की तरह बात कर सकता है। हालाँकि, इसमें एक पेंच है: ये स्मार्ट दिमाग कभी-कभी चीजें बना लेते हैं (जिसे "हैलुसिनेशन" कहा जाता है) या विशिष्ट तथ्यों को भूल जाते हैं क्योंकि वे उस पर निर्भर होते हैं जो उन्होंने याद किया है, न कि उस पर जो उनके सामने मौजूद है। इसे ठीक करने के लिए, वैज्ञानिक "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) नामक एक तरकीब का उपयोग करते हैं। कल्पना कीजिए कि आप जासूस को एक टॉर्च और खोजने के लिए विशिष्ट फाइलों का एक ढेर दे रहे हैं। एआई पहले दस्तावेजों में तथ्यों को खोजता है, फिर अपनी बुद्धि का उपयोग करके उत्तर लिखता है। यह शोध पत्र इस बात की खोज करता है कि कंपनियों द्वारा नियमों के पालन की जांच करने के लिए उस टॉर्च की खोज और अंतिम रिपोर्ट को यथासंभव सटीक कैसे बनाया जाए।
जासूस का नया टूलकिट: CTRAG
इस शोध पत्र के पीछे के शोधकर्ताओं ने, जो एक प्रमुख पेशेवर सेवा फर्म के साथ काम कर रहे हैं, CTRAG नामक एक नई प्रणाली बनाई है। CTRAG को एक हाई-टेक अनुपालन जासूस के रूप में समझें, जिसे यह स्वचालित करने के लिए डिज़ाइन किया गया है कि क्या कोई कंपनी नियमों का पालन कर रही है। पीडीएफ (PDF) के माध्यम से घंटों समय बिताने के बजाय, CTRAG नियमों को (जो प्रश्नों के रूप में लिखे गए हैं) लेता है और उत्तर खोजने के लिए कंपनी के दस्तावेजों में खोज करता है।
शोध का मुख्य लक्ष्य यह पता लगाना था कि इस एआई जासूस को खोजने के लिए सिखाने का सबसे अच्छा तरीका क्या है। उन्होंने विभिन्न रणनीतियों का परीक्षण किया यह देखने के लिए कि कौन सी रणनीति एआई को अप्रासंगिक शोर से विचलित हुए बिना सही सुराग खोजने में मदद करती है।
"चंकिंग" की पहेली: पाई को कैसे काटें
सबसे बड़ी चुनौतियों में से एक यह थी कि कंपनी के दस्तावेजों को कैसे विभाजित किया जाए। कल्पना कीजिए कि आपके पास 500 पन्नों का एक उपन्यास है और आपको एक विशिष्ट वाक्य ढूंढना है। यदि आप पुस्तक को छोटे 200-कैरेक्टर के टुकड़ों में काटते हैं (जैसे किसी पन्ने को डाक टिकट की तरह काटना), तो आप कहानी के संदर्भ को खो सकते हैं। यदि आप इसे बड़े 3000-कैरेक्टर के टुकड़ों में काटते हैं (जैसे पूरी किताब को आधा करना), तो आपको बहुत अधिक अतिरिक्त टेक्स्ट मिल सकता है जिससे विशिष्ट सुराग शब्दों के समुद्र के बीच खो सकता है।
टीम ने विभिन्न "चंक साइज" (पाठ के टुकड़ों का आकार) का परीक्षण किया:
- छोटे टुकड़े (200 कैरेक्टर): ये बहुत छोटे और खंडित थे। एआई भ्रमित हो गया क्योंकि वह पूरी तस्वीर नहीं देख पा रहा था।
- बड़े टुकड़े (3000 कैरेक्टर): ये बहुत अव्यवस्थित थे। एआई बहुत अधिक जानकारी से अभिभूत हो गया, जैसे कि घास के ढेर में सुई खोजने की कोशिश करना जहाँ घास का ढेर आग की लपटों में घिरा हो।
- सही संतुलन (The Sweet Spot): उन्होंने पाया कि छोटे टुकड़े (लगभग 800 कैरेक्टर) सबसे अच्छा काम करते हैं। यह किताब को प्रबंधनीय पैराग्राफों में काटने जैसा था। यह आकार शोर में डूबने के बजाय संदर्भ को स्पष्ट रखने के लिए बिल्कुल सही था।
उन्होंने "मेटा-चंकिंग" (Meta-chunking) नामक एक उन्नत विधि भी आजमाई, जो केवल एक निश्चित संख्या के अक्षरों पर काटने के बजाय तार्किक कहानी के ब्रेक के आधार पर टेक्स्ट को काटने की कोशिश करती है। हालांकि यह सुनने में स्मार्ट लगा, लेकिन यह इस विशिष्ट कार्य के लिए बहुत धीमा और गणनात्मक रूप से महंगा साबित हुआ, इसलिए वे सरल, निश्चित-आकार के कट के साथ ही रहे।
"टॉर्च" की सेटिंग: कितने फाइलों की जांच करें?
जब एआई कोई प्रश्न पूछता है, तो उसे उत्तर देने के लिए कितने दस्तावेज़ स्निपेट्स (snippets) निकालने का निर्णय लेना होता है। इसे K-वैल्यू (या टॉप-K) कहा जाता है।
- यदि एआई केवल 1 स्निपेट देखता है, तो वह उत्तर मिस कर सकता है यदि वह दूसरे फाइल में छिपा हो।
- यदि वह 5 स्निपेट देखता है, तो वह अतिरिक्त, अप्रासंगिक विवरणों से भ्रमित हो सकता है।
- शोधकर्ताओं ने पाया कि 4 स्निपेट्स (K=4) देखना एक आदर्श संतुलन था। इसने एआई को निर्णय लेने के लिए पर्याप्त सबूत दिए बिना विचलित होने से बचाया।
एआई को इंसान की तरह सोचना सिखाना
सबसे बड़ी सफलता इन-कॉन्टेक्स्ट लर्निंग (ICL) नामक एक तकनीक से मिली। कल्पना कीजिए कि आप एक नए इंटर्न को केस सुलझाने के लिए सिखा रहे हैं। आप केवल यह नहीं कहते कि "नियम ढूंढो"; बल्कि आप उन्हें उदाहरण दिखाते हैं: "यहाँ एक मामला है जहाँ एक कंपनी ने क्लाउड प्रदाता का उपयोग किया था, और यहाँ बताया गया है कि यह 'पास' क्यों माना जाता है भले ही कंपनी ने खुद वह काम नहीं किया हो।"
एआई "अप्रत्यक्ष अनुपालन" (indirect compliance) के मामले में संघर्ष करता था—ऐसी स्थितियाँ जहाँ एक कंपनी नियमों का पालन करती है क्योंकि उनका वेंडर (जैसे क्लाउड प्रदाता) उनका पालन करता है। मदद के बिना, एआई "फेल" कह देता क्योंकि कंपनी ने सीधे तौर पर वह काम नहीं किया था। लेकिन कुछ सावधानीपूर्वक चुने गए उदाहरणों (जैसे पिछले मामलों की संदर्भ शीट) को फीड करने से, एआई ने मानवीय निर्णय की नकल करना सीख लिया। एआई को समझ आया, "आह, यदि वेंडर अनुपालन में है, तो यह हमारे लिए भी मान्य है!"
परिणाम: तेज़, स्मार्ट और अधिक सटीक
जब उन्होंने एक बिग फोर (Big Four) पेशेवर सेवा फर्म के साथ वास्तविक दुनिया के परिदृश्य में CTRAG का परीक्षण किया, तो परिणाम प्रभावशाली थे:
- सटीकता (Accuracy): सिस्टम ने 78% का F1-स्कोर और 85% का रिकॉल (recall) प्राप्त किया। जासूसी के शब्दों में, इसका मतलब है कि इसने वास्तव में नियम तोड़ने वाले 85% मामलों को खोज निकाला और बहुत कम चूक की।
- दक्षता (Efficiency): सिस्टम ने मानव समीक्षकों के लिए मैन्युअल काम को लगभग 60% कम कर दिया।
- "नो-एविडेंस" समाधान: एक पेचीदा समस्या यह थी कि जब एआई को दस्तावेजों में कोई जानकारी नहीं मिलती थी। अनुमान लगाने के बजाय, सिस्टम को "नो-एविडेंस" (कोई साक्ष्य नहीं) को "नॉन-कंप्लायंट" (गैर-अनुपालन) मानने के लिए प्रोग्राम किया गया था। तर्क सरल है: यदि आप अपने दस्तावेजों में यह साबित नहीं कर सकते कि आपने नियम का पालन किया है, तो शायद आपने उसका पालन नहीं किया। इन "नो-एविडेंस" मामलों को विफलताओं के रूप में पुनर्वर्गीकृत करके, सिस्टम ने कई संभावित नियम तोड़ने वालों को पकड़ लिया जिन्हें वह अन्यथा मिस कर देता। इस महत्वपूर्ण कदम ने सिस्टम को एआई को फिर से प्रशिक्षित किए बिना 85% उच्च रिकॉल दर प्राप्त करने में सक्षम बनाया।
उन्होंने क्या खारिज कर दिया
शोध पत्र इस बारे में बहुत स्पष्ट था कि क्या काम नहीं आया:
- छोटे टुकड़े (200 कैरेक्टर) एक बुरा विचार थे; उन्होंने संदर्भ को बहुत अधिक तोड़ दिया।
- बड़े टुकड़े (3000 कैरेक्टर) और मेटा-चंकिंग इस विशिष्ट कार्य के लिए बहुत शोर वाले या बहुत धीमे थे।
- डायरेक्ट प्रॉम्प्टिंग (बिना उदाहरण के केवल एआई से पूछना) तीसरे पक्ष के विक्रेताओं से जुड़े जटिल मामलों के लिए पर्याप्त नहीं था।
निष्कर्ष
लेखक सुझाव देते हैं कि CTRAG अनुपालन जांच को सुव्यवस्थित करने के लिए एक शक्तिशाली उपकरण है, लेकिन वे इसे "हल की गई समस्या" (solved problem) कहने में सावधान हैं। वे नोट करते कि उनके परीक्षण एक ही संगठन के 240 नियमों और 45 दस्तावेजों पर आधारित थे। हालांकि परिणाम आशाजनक हैं और सुझाव देते हैं कि यह दृष्टिकोण अन्य कंपनियों और कार्यों (जैसे अनुबंधों की जांच) तक स्केल किया जा सकता है, लेकिन यह सुनिश्चित करने के लिए कि यह हर जगह काम करता है, विभिन्न उद्योगों में अधिक परीक्षण की आवश्यकता है।
संक्षेप में, CTRAG दिखाता है कि एआई को जानकारी के सही-आकार के "चंक्स", सही संख्या में "टॉर्च" की रोशनी और कुछ "संदर्भ शीट" उदाहरण देकर, हम एक ऐसा सिस्टम बना सकते हैं जो मनुष्यों को नियमों की जांच तेजी से और कम गलतियों के साथ करने में मदद करता है। यह जादू नहीं है, लेकिन यह तकनीक का उपयोग करने का एक बहुत ही स्मार्ट तरीका है ताकि कॉर्पोरेट जगत को ईमानदार रखा जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।