Hyperparameter Analysis in Retrieval-Augmented Generation Systems Applied to the Public Prosecutor’s Office of the State of Espírito Santo Corpus

कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो निबंध लिख सकता है, चुटकुले सुना सकता है और आपके द्वारा पूछे गए लगभग किसी भी सवाल का जवाब दे सकता है। यह रोबोट एक प्रतिभाशाली छात्र की तरह है जिसने पूरा इंटरनेट पढ़ लिया है। लेकिन यहाँ एक पेंच है: इस छात्र की तथ्यों के लिए याददाश्त बहुत खराब है। यदि आप इससे किसी विशिष्ट कानून के बारे में पूछते हैं, तो यह आत्मविश्वास के साथ एक ऐसा नियम बना सकता है जो सुनने में तो बिल्कुल सही लगेगा लेकिन पूरी तरह से फर्जी होगा। इसे "हैलुसिनेशन" (hallucination) कहा जाता है, और जब आपको सटीक जानकारी की आवश्यकता हो, जैसे कि किसी अदालत या अस्पताल में, तो यह एक बड़ी समस्या है।

इसे ठीक करने के लिए, वैज्ञानिकों ने एक चतुर तरकीब खोजी जिसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। इसे अपने रोबोट दोस्त को परीक्षा से ठीक पहले किताबों का एक ढेर देने की तरह समझें। अपनी याददाश्त से अनुमान लगाने के बजाय, रोबोट पहले किताबों में उत्तर ढूँढता है, और फिर केवल उसी के आधार पर अपना जवाब लिखता है जो उसे मिला है। यह एक जासूस की तरह है जो रिपोर्ट लिखने से पहले सबूतों की फाइल की जाँच करता है। लेकिन यहाँ एक मोड़ है: उन किताबों को व्यवस्थित करने का तरीका मायने रखता है। क्या आप पन्नों को छोटे-छोटे टुकड़ों में फाड़ देते हैं? क्या आप पूरे अध्याय एक साथ रखते हैं? और आप रोबोट को लिखने से पहले कितने पन्ने पढ़ने देते हैं? यदि आप इन सेटिंग्स को गलत कर देते हैं, तो रोबोट महत्वपूर्ण सुराग मिस कर सकता है या बहुत अधिक शोर (noise) के कारण भ्रमित हो सकता है। यह बिल्कुल वही पहेली है जिसे ब्राजील की एक शोध टीम ने हल करने का निर्णय लिया।

---

जासूस की दुविधा: मशीन को ट्यून करना

ब्राजील के एस्पिरिटो सैंटो राज्य में, लोक अभियोजक कार्यालय (MPES) के पास कानूनी दस्तावेजों का एक विशाल पुस्तकालय है—हजारों कानून, नियम और अध्यादेश। वर्षों तक, एक विशिष्ट नियम खोजना एक बुरा सपना था। सिविल सेवकों को पता होना चाहिए था कि कहाँ देखना है, अन्यथा वे अटक जाते थे। मदद के लिए, उन्होंने फाबी (Fabi) नाम की एक वर्चुअल असिस्टेंट बनाई (जिसका नाम एक वास्तविक, अत्यंत जानकार कर्मचारी के नाम पर रखा गया है)। फाबी RAG तकनीक का उपयोग करती है: वह कानूनी पुस्तकालय को पढ़ती है और कर्मचारियों के सवालों के जवाब देती है।

लेकिन फाबी पूर्ण नहीं थी। कभी-कभी वह महत्वपूर्ण विवरण छोड़ देती थी; कभी-कभी उसके उत्तर अस्पष्ट होते थे। हीटर क्वार्टेज़ानी और उनकी टीम के नेतृत्व में शोधकर्ताओं ने एक सरल प्रश्न पूछा: कौन सी सेटिंग्स फाबी को सबसे अच्छा जासूस बनाती हैं? उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इस समस्या को एक विशाल वैज्ञानिक प्रयोग की तरह माना। उन्होंने सिस्टम के चार अलग-अलग "नॉब्स" (knobs) के हर संयोजन का परीक्षण किया ताकि यह देखा जा सके कि कौन सा सबसे सटीक, ईमानदार और सहायक उत्तर देता है।

यहाँ उन्होंने क्या घुमाया और उन्हें क्या मिला:

1. "कटिंग" की रणनीति (चंकिंग - Chunking)

कल्पना कीजिए कि आपके पास एक लंबी, जटिल कानूनी कहानी है। इसे रोबोट को देने के लिए आप इसे कैसे काटेंगे?

• पुराना तरीका (रिकर्सिव - Recursive): कहानी को निश्चित आकार के टुकड़ों में काटें, जैसे ब्रेड के लोफ को 500-कैरेक्टर के टुकड़ों में काटना। यह आसान है, लेकिन आप एक वाक्य को बीच से काट सकते हैं, जिससे उसका अर्थ खो सकता है।
• स्मार्ट तरीका (सिमेंटिक - Semantic): कहानी को तभी काटें जब विषय बदल जाए। यदि कानून "छुट्टियों के नियमों" से बदलकर "ओवरटाइम वेतन" पर जाता है, तो वहीं से काटें। यह विचारों को पूरा रखता है।

निष्कर्ष: शोधकर्ताओं ने पाया कि "स्मार्ट तरीका" (सिमेंटिक कटिंग) स्पष्ट विजेता था। विशेष रूप से, विषय परिवर्तन के 95वें पर्सेंटाइल के आधार पर काटना (यानी, केवल तभी काटना जब विषय महत्वपूर्ण रूप से बदल जाए) सबसे अधिक जानकारी को सुरक्षित रखता है। 500-कैरेक्टर के छोटे टुकड़ों में काटने का "पुराना तरीका" बहुत खराब था; इसने कानूनी तर्क को बिखेर दिया, जिससे रोबोट के लिए सही उत्तर ढूँढना असंभव हो गया। कानूनी काम में, एक भी विवरण चूक जाना विनाशकारी हो सकता है, इसलिए कहानी को पूरा रखना सबसे महत्वपूर्ण कारक था।

2. खोज विधि (रिट्रीवल - Retrieval)

फाबी लाइब्रेरी में सही पन्ने कैसे ढूँढती है?

• वेक्टर सर्च (Vector Search): यह रोबोट से पूछने जैसा है, "मुझे ऐसी चीजें ढूंढो जो इस सवाल जैसी महसूस होती हों।" यह अर्थ समझने के लिए बेहतरीन है लेकिन सटीक शब्दों को मिस कर सकता है।
• लेक्सिकल सर्च (Lexical Search): यह एक क्लासिक लाइब्रेरी कार्ड कैटलॉग की तरह है। यह सटीक शब्दों के मिलान को देखता है। यह विशिष्ट शब्दों के लिए अच्छा है लेकिन संदर्भ (context) समझने में बुरा है।
• हाइब्रिड सर्च (Hybrid Search): यह दोनों का सबसे अच्छा मिश्रण है। यह "महसूस" करने वाली खोज और "सटीक शब्द" वाली खोज को मिलाने के लिए एक विशेष गणितीय ट्रिक (जिसे रिकिप्रोकल रैंक फ्यूजन कहा जाता है) का उपयोग करता है।

निष्कर्ष: हाइब्रिड सर्च चैंपियन रहा। दोनों विधियों को मिलाकर, फाबी सही दस्तावेज़ ढूंढ सकती थी, भले ही उपयोगकर्ता ने सवाल अजीब तरीके से पूछा हो या बहुत विशिष्ट कानूनी शब्द का उपयोग किया हो। केवल "महसूस" करने वाली खोज पर्याप्त नहीं थी, और केवल "सटीक शब्द" वाली खोज बहुत कठोर थी। साथ मिलकर, उन्होंने सिस्टम को बहुत अधिक विश्वसनीय बनाया।

3. कितना पढ़ना है (टॉप-के - Top-K)

जब फाबी सबसे अच्छे दस्तावेज़ पाती है, तो जवाब देने से पहले उसे कितने पढ़ने चाहिए? क्या उसे 5 पन्ने पढ़ने चाहिए? 20?

• निष्कर्ष: वह जितना अधिक पढ़ती थी, उतना ही बेहतर प्रदर्शन करती थी—कम से कम एक बिंदु तक। 20 दस्तावेज़ पढ़ने से सबसे अच्छे परिणाम मिले। यह पाया गया कि रोबोट को जानकारी पकड़ने के लिए एक बड़ा "नेट" देने से उसे सही सुराग खोजने में मदद मिली, भले ही कुछ अतिरिक्त पन्ने थोड़े शोर भरे (noisy) हों। हालाँकि, शोधकर्ताओं ने देखा कि 15 दस्तावेज़ों के बाद, अंतिम उत्तर की गुणवत्ता में सुधार सांख्यिकीय रूप से महत्वपूर्ण होना बंद हो गया। इसलिए, जबकि 20 दस्तावेज़ पढ़ना थोड़ा बेहतर था, इसमें अधिक कंप्यूटर पावर खर्च हो रही थी। उन्होंने सुझाव दिया कि भविष्य में, सिस्टम एक स्मार्ट फ़िल्टर का उपयोग कर सकता है जो कम पन्ने पढ़े लेकिन फिर भी उतने ही शानदार परिणाम दे।

4. दिमागी शक्ति (LLM का चुनाव)

अंत में, उन्होंने फाबी के लिए दो अलग-अलग "मस्तिष्क" का परीक्षण किया: विशाल, सुपर-स्मार्ट gpt-4o और छोटा, तेज़ gpt-4o-mini।

• आश्चर्य: आप सोच सकते हैं कि बड़ा, महंगा मस्तिष्क जीतेगा। लेकिन छोटा gpt-4o-mini वास्तव में उतना ही अच्छा प्रदर्शन कर रहा था, और कभी-कभी तो बेहतर भी!
• क्यों? विशाल मस्तिष्क इतना स्मार्ट था कि वह कभी-कभी बहुत अधिक रचनात्मक होने की कोशिश करता था। जब रोबोट 20 दस्तावेज़ पढ़ता था, तो बड़ा मस्तिष्क विचारों को मिलाने या टेक्स्ट की अति-व्याख्या करने लगता था, जिससे छोटी गलतियाँ होती थीं। हालाँकि, छोटा मस्तिष्क अधिक आज्ञाकारी था। वह सख्ती से दिए गए टेक्स्ट पर टिका रहा, बिना अपनी ओर से कोई "फ्लेवर" जोड़े तथ्यों को निकाला। एक कानूनी सहायक के लिए जिसे सटीक होने की आवश्यकता है, थोड़ा अधिक शाब्दिक (literal) होना वास्तव में एक सुपरपावर था।

अंतिम निर्णय

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने 3,840 अलग-अलग प्रयोग किए (यानी 40 अलग-अलग सवालों के विरुद्ध 96 अलग-अलग सेटिंग्स का परीक्षण किया) और अपने परिणामों को साबित करने के लिए उन्नत गणित का उपयोग किया।

उन्होंने निष्कर्ष निकाला कि सर्वश्रेष्ठ कानूनी सहायक बनाने के लिए:

1. दस्तावेज़ों को विषय के आधार पर काटें, न कि निश्चित आकार के आधार पर।
2. हाइब्रिड सर्च का उपयोग करें जो अर्थ और सटीक शब्दों को जोड़ता है।
3. कुछ भी छूट न जाए यह सुनिश्चित करने के लिए लगभग 20 दस्तावेज़ पढ़ें।
4. छोटे, सस्ते AI मॉडल (gpt-4o-mini) का उपयोग करें क्योंकि यह निर्देशों का अधिक सख्ती से पालन करता है और कम गलतियाँ करता है।

यह अध्ययन एक बड़ी बात है क्योंकि यह "इसे आजमाते हैं और देखते हैं कि क्या होता है" से आगे बढ़कर है। यह कठोर विज्ञान का उपयोग करता है ताकि हमें यह बताया जा सके कि इन शक्तिशाली उपकरणों को कैसे ट्यून किया जाए ताकि वे केवल स्मार्ट सुनाई न दें, बल्कि वास्तव में स्मार्ट और विश्वसनीय भी हों। पब्लिक प्रॉसिक्यूटर ऑफिस के लिए, इसका मतलब है कि फाबी अब उन्हें कम गलतियों के साथ सही कानून तेजी से खोजने में मदद कर सकती है, जिससे कानूनी प्रणाली सभी के लिए बेहतर काम कर सके।