From Naive RAG to Deep Agentic Retrieval: An Evolving Context Engineering Pipeline for Regulatory Compliance
यह शोध पत्र ओंटारियो पावर जनरेशन में एक नियामक अनुपालन पुनर्प्राप्ति प्रणाली के 'नेइव आरएजी' (naive RAG) से 'प्रोग्रेसिव एविडेंस एक्विजिशन विद कॉस्ट-अवेयर एस्केलेशन' (PEA-CAE) नामक एक परिष्कृत मल्टी-एजेंट आर्किटेक्चर तक के विकास का विवरण देता है, जो यह प्रदर्शित करता है कि उन्नत संदर्भ इंजीनियरिंग और अनुकूलित साक्ष्य अधिग्रहण, बड़े और निरंतर विकसित होते एंटरप्राइज कॉर्पोरा के लिए डोमेन-विशिष्ट फाइन-ट्यूनिंग की तुलना में अधिक आर्थिक रूप से व्यवहार्य और प्रभावी हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो दुनिया की कोई भी किताब पढ़ सकता है और आपके सवालों के जवाब तुरंत दे सकता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) का वादा है, जो कई आधुनिक चैटबॉट्स के पीछे के AI दिमाग हैं। लेकिन यहाँ एक पेंच है: यदि आप इस रोबोट से किसी विशिष्ट, जटिल विषय के बारे में पूछते हैं—जैसे कि किसी विशिष्ट प्रांत में बिजली की कीमतों के नियम—तो यह भ्रमित हो सकता है। क्यों? क्योंकि रोबोट की "याददाश्त" सीमित है, और यदि आप इसके दिमाग में एक साथ दस्तावेजों की पूरी लाइब्रेरी डाल देते हैं, तो यह अभिभूत हो जाता है। यह एक छोटी सी डिब्बी में ढेर सारा कचरा भरकर एक विशिष्ट सुई खोजने की कोशिश करने जैसा है; सुई तकनीकी रूप से वहीं है, लेकिन वह बहुत सारे कचरे के नीचे दबी हुई है। यह "कॉन्टेक्स्ट इंजीनियरिंग" (context engineering) की समस्या है: यह पता लगाना कि रोबोट को कितनी जानकारी सही मात्रा में दी जाए ताकि वह खो जाए बिना स्पष्ट रूप से सोच सके।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं: हम एक ऐसा सिस्टम कैसे बनाएं जो केवल अनुमान न लगाए, बल्कि कानूनी और तकनीकी दस्तावेजों के एक विशाल, लगातार बदलते ढेर में सही उत्तरों को वास्तव में खोज सके? जिस शोध पत्र को आप पढ़ने जा रहे हैं वह इस यात्रा का अन्वेषण करता है। यह एक सरल "खोजो-और-पढ़ो" पद्धति से एक बहुत अधिक स्मार्ट, बहु-चरणीय जासूसी प्रक्रिया की ओर बढ़ता है। लेखक सुझाव देते हैं कि रोबोट के दिमाग को हर नए कानून को याद करने के लिए फिर से प्रशिक्षित (retrain) करने के बजाय, यह बेहतर है कि रोबोट को एक बेहतर शोधकर्ता बनना सिखाया जाए। उन्होंने पाया कि कुंजी रोबोट को सोचने के लिए अधिक स्थान देना नहीं है, बल्कि उसे चरण-दर-चरण सटीक तथ्यों को खोजने के लिए बेहतर उपकरण देना है, जबकि लागत और समय को नियंत्रण में रखा जाए।
"बस पूछो" से "सुपर डिटेक्टिव" तक: एक AI शोधकर्ता का विकास
यह शोध पत्र बताता है कि कैसे ओंटारियो पावर जनरेशन (OPG) की एक टीम ने नियामक अनुपालन (regulatory compliance) के विशाल, जटिल कार्य को संभालने के लिए अपने AI सिस्टम को अपग्रेड किया। इसे एक जूनियर लाइब्रेरियन की कहानी के रूप में सोचें जो धीरे-धीरे एक मास्टर डिटेक्टिव बनना सीखता है।
शुरुआती रेखा: "नाइव" (Naïve) लाइब्रेरियन
शुरुआत में, टीम ने एक "नाइव RAG" सिस्टम का उपयोग किया। कल्पना कीजिए कि एक लाइब्रेरियन है जो, जब आप कोई प्रश्न पूछते हैं, तो जो कुछ भी उससे थोड़ा बहुत संबंधित दिखता है, उन पहली 20 किताबों को उठा लेता है और उन्हें एक साथ आपके डेस्क पर पटक देता है। यदि आप पूछते हैं, "2022 में हाइड्रो प्लांट की लागत कितनी थी?", तो लाइब्रेरियन आपके सामने 25,000 शब्दों का टेक्स्ट डाल सकता है, जिसमें 2019, 2023 और असंबंधित उपकरणों के बारे में पृष्ठ भी शामिल होंगे।
समस्या क्या है? AI ("रीडर") अभिभूत हो जाता है। यह ऐसा है जैसे किसी उपन्यास में एक विशिष्ट वाक्य खोजने की कोशिश करना जबकि कोई आपके कान में 50 अन्य वाक्य चिल्ला रहा हो। आप उसे जितना अधिक टेक्स्ट खिलाते हैं, सही उत्तर खोजने में वह उतना ही खराब होता जाता है। लेखक इसे "कॉन्टेक्स्ट रॉट" (context rot) कहते हैं। तथ्य वहां मौजूद हैं, लेकिन वे शोर में खो जाते हैं। लाइब्रेरियन बस अधिक किताबें जोड़ता रहता है, इस उम्मीद में कि उत्तर वहीं होगा, लेकिन यह प्रक्रिया को केवल धीमा और महंगा बनाता है।
लेवल अप: "एक्टिव" डिटेक्टिव
टीम को एहसास हुआ कि AI को एक निष्क्रिय प्राप्तकर्ता बनने के बजाय एक सक्रिय अन्वेवेषक बनने की आवश्यकता है। यह था चरण II: एजेंटिक रिट्रीवल (Agentic Retrieval)।
अब, डेस्क पर किताबों का ढेर डालने के बजाय, AI आवर्धक लेंस (magnifying glass) के साथ एक जासूस की तरह कार्य करता है। वह लाइब्रेरियन से एक बार में केवल पाँच पृष्ठ मांगता है। वह उन्हें पढ़ता है, सोचता है, और फिर कहता है, "ठीक है, इन पृष्ठों में '2022' का उल्लेख है, लेकिन मुझे विशेष रूप से 'एग्जिबिट C' फ़ाइल की जांच करने की आवश्यकता है।" फिर वह पृष्ठों के एक नए, अधिक विशिष्ट सेट के लिए पूछता है।
इसे प्रोग्रेसिव डिस्कवरी (progressive discovery) कहा जाता है। AI केवल अनुमान नहीं लगाता; वह अपनी खोज को परिष्कृत करता है। यदि उसे एक एकल पृष्ठ में वास्तव में एक आशाजनक सुराग मिलता है, तो वह सुनिश्चित करने के लिए पूरा दस्तावेज़ पढ़ने का निर्णय ले सकता है। लेकिन वह सावधान है! वह ऐसा पूरा अध्ययन तभी करता है जब "सुराग" इतना मजबूत हो कि अतिरिक्त समय और पैसे का औचित्य सिद्ध हो सके। यह एक जासूस द्वारा घर में घुसने का निर्णय लेने जैसा है: केवल तभी करें जब सबूत संकेत दें कि अपराधी निश्चित रूप से अंदर है।
मास्टर क्लास: टीम के साथ "डीप एजेंट"
चरण III में, सिस्टम और भी स्मार्ट हो जाता है। AI केवल खोजता नहीं है; वह योजना (plan) बनाता है। शुरू करने से पहले ही, वह एक बड़े, डरावने प्रश्न को छोटे, प्रबंधनीय कार्यों की एक सूची में तोड़ देता है।
कल्पना कीजिए कि आपको दस वर्षों में दो अलग-अलग पावर प्लांट की लागतों की तुलना करने की आवश्यकता है। एक साधारण AI भ्रमित हो जाएगा। लेकिन यह "डीप एजेंट" एक शोध योजना बनाता है:
- "प्लांट A के लिए 2020 की लागत खोजें।"
- "प्लांट B के लिए 2020 की लागत खोजें।"
- "उनकी तुलना करें।"
इसे संभालने के लिए, मुख्य AI सब-एजेंट्स (छोटे सहायक रोबोटों) की एक टीम को काम पर रखता है। एक सहायक एक विशाल दस्तावेज़ को पढ़ता है और उसे एक छोटे से नोट में सारांशित करता है। मुख्य AI कभी भी उस अस्त-व्यस्त, 50-पेज के दस्तावेज़ को नहीं देखता; वह केवल साफ-सुथरा, 2-वाक्य का सारांश देखता है। इससे "कॉन्टेक्स्ट रॉट" होने से रोका जा जाता है। मुख्य AI ताजा और केंद्रित रहता है, जबकि सहायक भारी काम करते हैं।
साथ ही, कनाडा में सख्त गोपनीयता कानूनों के कारण, सिस्टम के पास एक विशेष ट्रिक है। कुछ दस्तावेजों में चार्ट और ग्राफ होते हैं जिन्हें पढ़ने के लिए "विज़न" AI की आवश्यकता होती है। चूंकि मुख्य AI उन छवियों को विदेशी सर्वर पर नहीं भेज सकता, इसलिए सिस्टम के पास कनाडा में एक विशेष "लोकल" AI है जो छवियों को पढ़ता है और केवल टेक्स्ट वापस भेजता है। यह एक विशेष अनुवादक रखने जैसा है जो कमरे में ही रहता है ताकि कोई भी रहस्य बाहर न जा सके।
सीक्रेट सॉस: PEA-CAE
लेखकों ने इस स्मार्ट, चरण-दर-चरण दृष्टिकोण को एक ढांचे के रूप में औपचारिक रूप दिया जिसे वे PEA-CAE (Progressive Evidence Acquisition with Cost-Aware Escalation) कहते हैं।
इसे एक स्मार्ट खरीदार के नियम पुस्तिका के रूप में सोचें:
- छोटा शुरू करें: पहले मूल्य टैग (टेक्स्ट के टुकड़े) देखें।
- पूरा स्टोर न खरीदें: केवल पूरा आइटम (पूरा दस्तावेज़ पढ़ना) तभी खरीदें जब मूल्य टैग संदिग्ध रूप से अच्छा लगे।
- अपनी सूची को संकुचित करें: अपने निष्कर्षों का सारांश बनाएं ताकि आप बहुत अधिक भार न उठाएं।
शोध पत्र दिखाता है कि यह पद्धति काम करती है। अपने परीक्षणों में, सिस्टम ने 67 "चंक" (chunk) खोज की लेकिन पूर्ण-दस्तावेज़ पढ़ने के लिए केवल 7 बार एस्केलेट (escalate) हुआ। यह लगभग 10 से 1 का अनुपात है। इसका मतलब है कि सिस्टम आमतौर पर केवल एक त्वरित नज़र के साथ सही होता है, जिससे बहुत समय और पैसा बचता है। जब उसे वास्तव में एक पूर्ण दस्तावेज़ पढ़ना पड़ा, तो इसमें 0.7 से 12 सेकंड का समय लगा, जो साबित करता है कि "पूर्ण पठन" एक भारी उपकरण है जिसका उपयोग केवल आवश्यकता पड़ने पर किया जाता है।
भविष्य के लिए इसका क्या अर्थ है
इस शोध पत्र का सबसे बड़ा निष्कर्ष यह है कि नियमों और विनियमों के विशाल, बदलते पुस्तकालयों के लिए, आपको AI के दिमाग को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको उसे हर नया कानून सिखाने की आवश्यकता नहीं है। इसके बजाय, आपको इसके चारों ओर एक बेहतर सर्च इंजन बनाने की आवश्यकता है।
लेखक तर्क देते हैं कि "कॉन्टेक्स्ट इंजीनियरिंग"—AI को सही समय पर सही मात्रा में जानकारी देने की कला—ही असली जादू है। यह AI को सब कुछ याद करने के लिए मजबूर करने से बेहतर है। एक ऐसी प्रणाली का उपयोग करके जो योजना बनाती है, प्रतिनिधि नियुक्त करती है और सावधानी से एस्केलेट करती है, कंपनियाँ अपने AI से सटीक, पता लगाने योग्य उत्तर प्राप्त कर सकती हैं बिना उसके टेक्स्ट के समुद्र में खोए।
संक्षेप में, शोध पत्र सुझाव देता है कि जटिल क्षेत्रों में AI का भविष्य केवल शून्य में रोबोट को स्मार्ट बनाने के बारे में नहीं है; यह उसे एक बेहतर मानचित्र, एक तेज आवर्धक लेंस और भारी काम करने के लिए सहायकों की एक टीम देने के बारे में है। यह रोबोट को केवल एक पाठक नहीं, बल्कि एक जासूस बनाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।