Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation

संगठनात्मक प्रबंधन की शांत और अक्सर उबाऊ दुनिया में, बजट केवल संख्याओं की एक साधारण सूची नहीं है; यह एक वादा है कि एक संगठन क्या करने का इरादा रखता है और एक रिकॉर्ड है कि उसने वास्तव में क्या खर्च किया। लघु और मध्यम आकार के व्यवसायों के लिए, इस वादे को निभाने के लिए हर प्रस्तावित लागत की आधिकारिक नियमों, पिछले खर्च करने की आदतों और बाजार की वास्तविकताओं के विरुद्ध कठोरता से जांच करने की आवश्यकता होती है। यह कार्य, जिसे बजट सत्यापन (बजट वैलिडेशन) कहा जाता है, विशेष रूप से कठिन है क्योंकि आवश्यक जानकारी बिखरी हुई होती है। एक प्रबंधक को किसी विशिष्ट वस्तु की कीमत पर औपचारिक सरकारी नियम, ऐतिहासिक परियोजना लागतों का एक स्प्रेडशीट और एक वर्णनात्मक मेमो (जिसमें बताया गया हो कि एक विशेष खर्च क्यों उचित है) के बीच क्रॉस-रेफरेंस करने की आवश्यकता हो सकती है। ये दस्तावेज़ विभिन्न स्वरूपों में मौजूद होते हैं: कुछ संख्याओं की कठोर तालिकाएँ हैं, जबकि अन्य अपवादों और शर्तों से भरे प्रवाहमयी पाठ (टेक्स्ट) हैं। जब एक मानव इस डेटा के भूलभुलैया में सबूत जुटाने के लिए खोजबीन करता है, तो यह प्रक्रिया धीमी, त्रुटिपूर्ण होती है और अक्सर साक्ष्यों में अंतराल छोड़ देती है।

इसे हल करने के लिए, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस के एक प्रकार की ओर रुख किया जिसे 'रिट्रीवल-ऑगमेंटेड जनरेशन' (Retrieval-Augmented Generation) कहा जाता है। एक ऐसी प्रणाली की कल्पना करें जो केवल अपने प्रशिक्षण के आधार पर उत्तर का अनुमान नहीं लगाती, बल्कि बोलने से पहले तथ्यों को खोजने के लिए दस्तावेजों के पुस्तकालय से विशिष्ट तथ्यों को खोज निकालती है। हालाँकि, इस तकनीक के मानक संस्करण वित्तीय डेटा के साथ संघर्ष करते हैं क्योंकि वे संख्याओं और पाठ को एक ही चीज़ मानते हैं, जिससे वे लेखांकन (अकाउंटिंग) के लिए आवश्यक सटीक मानों को चूक जाते हैं। इस अंतर को पाटने के लिए, इंडोनेशिया और मलेशिया के शोधकर्ताओं की एक टीम ने एक विशेष प्रणाली विकसित की है जिसे बजट योजना के कठिन आंकड़ों और नरम संदर्भ (सॉफ्ट कॉन्टेक्स्ट) दोनों को संभालने के लिए डिज़ाइन किया गया है। उन्होंने एक ऐसा टूल बनाया है जो डेटाबेस में सटीक लागत आंकड़े खोज सकता है और साथ ही उन नियमों को समझने के लिए वर्णनात्मक दिशानिर्देशों को पढ़ सकता है जो उन संख्याओं के पीछे के तर्क हैं।

शोधकर्ताओं ने इस बुद्धिमान प्रणाली को व्यवस्थित करने के तीन अलग-अलग तरीकों का परीक्षण करने का निर्णय लिया, जिसमें कंप्यूटर प्रोग्राम को एक एकल मस्तिष्क के बजाय श्रमिकों की एक टीम की तरह माना गया। पहले दृष्टिकोण में एक एकल एजेंट (single agent) का उपयोग किया गया, जो जानकारी खोजने और उत्तर लिखने के लिए जिम्मेदार एक अकेला कार्यकर्ता था। दूसरे दृष्टिकोण ने एक राउटर (router) पेश किया, जो एक ट्रैफिक कंट्रोलर की तरह है जो पहले उपयोगकर्ता के प्रश्न को सुनता है ताकि यह तय किया जा सके कि समस्या किस प्रकार की है—चाहे वह नियमों के बारे में एक सरल प्रश्न हो, किसी विशिष्ट बजट की जाँच करने का अनुरोध हो, या सिफारिश की आवश्यकता हो। उस निर्णय के आधार पर, राउटर कार्य को एक विशिष्ट पथ पर भेज देता है जहाँ विशेष उपकरणों का उपयोग किया जा सके। तीसरा दृष्टिकोण सबसे जटिल था, जिसमें एक ऑर्केस्ट्रेटर (orchestrator) का उपयोग करके एक एकल प्रश्न को छोटे हिस्सों में विभाजित किया गया, विभिन्न साक्ष्य खोजने के लिए अलग-अलग श्रमिकों को सौंपा गया, और फिर एक अंतिम कार्यकर्ता को उन सभी टुकड़ों को एक पूर्ण उत्तर में जोड़ने के लिए नियुक्त किया गया।

टीम ने इन तीन विधियों का परीक्षण तीस अलग-अलग परिदृश्यों का उपयोग करके किया जो वास्तविक दुनिया के बजट कार्यों की नकल करते थे। उन्होंने यह मापा कि प्रत्येक प्रणाली कितनी अच्छी तरह से सही जानकारी खोजती है, वह बिना कुछ मनगढ़ंत बनाए उस जानकारी के प्रति कितनी वफादार रहती है, और उत्तर देने में उसे कितना समय लगता है। परिणामों से पता चला कि एकल कार्यकर्ता सबसे तेज़ था, जिसने एक कार्य को लगभग सत्ताइस सेकंड में पूरा किया, लेकिन वह आवश्यक साक्ष्य खोजने में कम गहन था। सबसे जटिल टीम के कार्यकर्ताओं ने सबसे अधिक समय लिया, ८६ सेकंड से अधिक, और हालांकि उसने अच्छा डेटा खोजा, समन्वय में लगने वाले अतिरिक्त समय से हमेशा बेहतर अंतिम उत्तर नहीं मिला। मध्य मार्ग, जिसमें ट्रैफिक कंट्रोलर वाला तरीका था, सबसे प्रभावी साबित हुआ। इसने उत्तर देने में लगभग अठहत्तर सेकंड का समय लिया, लेकिन यह सही साक्ष्य खोजने में सबसे सटीक और इस बात को सुनिश्चित करने में सबसे विश्वसनीय था कि इसके द्वारा किया गया प्रत्येक दावा एक वास्तविक दस्तावेज़ द्वारा समर्थित है।

यह मध्य दृष्टिकोण, जिसे शोधकर्ता 'राउटिंग-बेस्ड एजेंटिक आरएजी' (Routing-Based Agentic RAG) कहते हैं, काम के लिए सबसे अच्छा विकल्प बनकर उभरा। इसने प्रासंगिक संदर्भ खोजने में उच्चतम स्कोर प्राप्त किया और स्रोत सामग्री के प्रति वफादार रहने में भी, जिसका निष्ठा स्कोर (faithfulness score) 0.878 था, जिसका अर्थ है कि इसने शायद ही कभी तथ्य गढ़े। इसने सबसे जटिल प्रणाली के साथ उच्चतम परिशुद्धता स्कोर (precision score) 0.731 भी साझा किया, जो दर्शाता है कि इसके द्वारा प्राप्त की गई जानकारी अत्यधिक प्रासंगिक थी। शोधकर्ताओं ने पाया कि उपयोगकर्ता की वास्तविक आवश्यकता के आधार पर कार्यों को अलग करने से, प्रणाली प्रत्येक स्थिति के लिए सही रणनीति लागू कर सकती थी। जब किसी उपयोगकर्ता ने नियम के बारे में पूछा, तो सिस्टम को आधिकारिक दिशानिर्देशों को सख्ती से देखने का निर्देश मिला। जब किसी उपयोगकर्ता ने बजट मद को मान्य करने के लिए कहा, तो सिस्टम ने तुलना के लिए ऐतिहासिक डेटा निकालने का निर्णय लिया। जब किसी उपयोगकर्ता ने सिफारिश मांगी, तो सिस्टम ने नियमों को पिछले अनुभवों के साथ मिलाने का निर्णय लिया।

अध्ययन यह निष्कर्ष निकालता है कि बजट सत्यापन जैसे महत्वपूर्ण कार्य के लिए, जहाँ प्रत्येक संख्या का किसी स्रोत से पता लगाया जाना चाहिए, गति की तुलना में सही साक्ष्य प्राप्त करने की क्षमता अधिक महत्वपूर्ण है। जबकि एक सरल, तेज़ प्रणाली धाराप्रवाह उत्तर दे सकती है, इसमें उन विशिष्ट विवरणों को चूक जाने का जोखिम होता है जो यह सिद्ध करते हैं कि एक बजट उचित है। राउटिंग प्रणाली, प्रश्नों को सबसे उपयुक्त पथ की ओर निर्देशित करके, यह सुनिश्चित करती है कि उत्तर न केवल सुचारू हों बल्कि तथ्यों पर आधारित भी हों। शोधकर्ताओं ने उल्लेख किया कि यह प्रणाली मानव निर्णय लेने वालों को सहायता देने के लिए डिज़ाइन की गई है, उन्हें बदलने के लिए नहीं। यह साक्ष्य और तुलना प्रदान करती है, लेकिन कोई लागत उचित है या नहीं, इस पर अंतिम निर्णय अभी भी मानव प्रबंधक पर ही निर्भर करता है। यह कार्य सुझाव देता है कि जटिल वित्तीय रिकॉर्डों से निपटने वाले संगठनों के लिए, एक ऐसी प्रणाली जो बुद्धिमानी से संख्याओं और पाठ दोनों को छाँट और खोज सके, बजट प्रक्रिया में स्पष्टता और जवाबदेही लाने का एक शक्तिशाली तरीका है।