RAGAL: A Frugal, Fully Local Retrieval-Augmented Assistant for Technical Support at a Government Agency

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जो लाखों किताबें पढ़ सकता है और आपके द्वारा पूछे गए किसी भी प्रश्न का उत्तर दे सकता है। आमतौर पर, इस रोबोट को चलाने के लिए, आपको अपने प्रश्न और किताबें एक दूर स्थित डेटा सेंटर में मौजूद विशाल, क्लाउड-आधारित मस्तिष्क को भेजनी पड़ती हैं। लेकिन क्या होगा यदि आपके पुस्तकालय में शीर्ष-गुप्त सरकारी फाइलें हों जिन्हें इमारत से बाहर ले जाना अवैध है? क्या होगा यदि आप क्लाउड का उपयोग बिल्कुल नहीं कर सकते? यह पहेली है जो रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) के केंद्र में स्थित है। RAG को दो-चरणीय नृत्य के रूप में सोचें: पहले, रोबोट विशिष्ट दस्तावेजों के ढेर को तेजी से स्कैन करता है ताकि सबसे प्रासंगिक पृष्ठों को खोजा जा सके (रिट्रीवल/प्राप्ति); दूसरा, वह उन पृष्ठों का उपयोग करके एक स्मार्ट, सटीक उत्तर लिखता है (जनरेशन/निर्माण)। बड़ा सवाल कई संगठनों के लिए यह है: क्या हम इस रोबोट को पूरी तरह से अपनी ही दीवारों के भीतर, केवल एक साधारण लैपटॉप का उपयोग करके, बिना एक भी बाइट डेटा बाहर भेजे बना सकते हैं?

यह शोध पत्र RAGAL की कहानी बताता है, जो एक रोमानियाई सरकारी एजेंसी का एक प्रोजेक्ट है जिसने ठीक ऐसा ही रोबोट बनाया। उन्हें तीन असंभव लगने वाले नियमों का सामना करना पड़ा: कोई भी डेटा कभी उनकी इमारत से बाहर नहीं जा सकता था, रोबोट केवल उत्तरों का मसौदा तैयार कर सकता था (इंसानों को "सेंड" बटन दबाना था), और उन्हें यह सब एक उपभोक्ता लैपटॉप पर करना था जिसमें केवल 8 GB मेमोरी थी। हार मानने के बजाय, उन्होंने इस "मितव्ययी" सेटअप को चतुर इंजीनियरिंग की प्रयोगशाला में बदल दिया। उन्होंने पाया कि सफलता का रहस्य एक बड़ा, अधिक महंगा मस्तिष्क खरीदने में नहीं था, बल्कि रोबोट को जानकारी कैसे बेहतर तरीके से ढूँढना है, यह सिखाने में था। अपने सर्च इंजन को वास्तविक सपोर्ट टिकटों पर फाइन-ट्यून करके और "एंकर डिस्टिलेशन" नामक एक चतुर तकनीक का उपयोग करके ताकि रोबोट फर्जी डेटाबेस कमांड न बनाए, उन्होंने एक ऐसी प्रणाली बनाई जो सुरक्षित और प्रभावी ढंग से काम करती है। उन्होंने एक "स्लो-मोशन जज" भी बनाया—एक विशाल AI मॉडल जो उनके CPU पर इतना धीरे चलता है कि वह रियल-टाइम में चैट नहीं कर सकता, लेकिन रात भर में रोबोट का होमवर्क ग्रेड करने के लिए एकदम सही है। परिणाम एक ब्लूप्रिंट है कि कैसे कोई भी संगठन सख्त गोपनीयता नियमों के साथ, क्लाउड की आवश्यकता के बिना, एक सहायक AI असिस्टेंट बना सकता है।

RAGAL की कहानी: एक रोबोट जो कभी घर नहीं छोड़ता

RAGAL से मिलिए, जो एक रोमानियाई सरकारी एजेंसी के लिए नया सहायक है जो ग्रामीण निवेश कोष का प्रबंधन करती है। यह एजेंसी प्रतिदिन हजारों संवेदनशील दस्तावेजों और सपोर्ट टिकटों का प्रबंधन करती है। क्योंकि इन फाइलों में नागरिकों का निजी डेटा होता है, इसलिए उन्हें एजेंसी की इमारत से बाहर ले जाना सख्त वर्जित है। इसका मतलब है कि वे क्लाउड में रहने वाले सामान्य, शक्तिशाली AI टूल्स का उपयोग नहीं कर सके। उन्हें अपना खुद का "पूरी तरह से स्थानीय" (fully local) रोबोट बनाना था, और उन्हें यह सब एक सिंगल उपभोक्ता लैपटॉप पर करना था जिसमें केवल 8 GB मेमोरी वाला ग्राफिक्स कार्ड था—AI मानकों के अनुसार यह बहुत कम मात्रा है।

टीम को तीन सख्त नियमों का पालन करना था, जिन्हें वे 'कन्स्ट्रेंट्स' (constraints) कहते हैं:

1. जीरो एग्रेस (Zero Egress): डेटा का एक भी टुकड़ा कभी इमारत से बाहर नहीं जा सकता था। न कोई सवाल क्लाउड को भेजना, न इंटरनेट से ट्रेनिंग डेटा डाउनलोड करना। सब कुछ उनके अपने हार्डवेयर पर होना था।
2. रीड-ओनली (Read-Only): रोबोट एक लेखक था, अभिनेता नहीं। यह SQL कोड (डेटाबेस त्रुटियों को ठीक करने के निर्देश) का मसौदा तैयार कर सकता था या स्पष्टीकरण लिख सकता था, लेकिन यह वास्तव में उन कमांड्स को कभी नहीं चला सकता था। एक इंसान को उनकी समीक्षा करनी थी और उन्हें निष्पादित करना था।
3. मितव्ययिता (Frugality): पूरे सिस्टम को एक ही उपभोक्ता लैपटॉप पर विकसित, प्रशिक्षित और परीक्षण किया गया था।

बड़ी खोज: बड़ा मस्तिष्क नहीं, बेहतर खोज जीतती है

टीम ने एक सामान्य धारणा के साथ शुरुआत की: बेहतर उत्तर पाने के लिए, आपको एक बड़े, स्मार्ट AI मॉडल की आवश्यकता होती है। लेकिन उन्होंने जल्द ही पाया कि यह गलत था। उनकी पहली बड़ी जीत "मस्तिष्क" (जेनेरेटर) को अपग्रेड करने से नहीं, बल्कि "सर्च इंजन" (रिट्रीवर) को अपग्रेड करने से आई।

उन्होंने महसूस किया कि केवल रोबोट को दस्तावेज़ खोजने के लिए कहना पर्याप्त नहीं था। उन्हें इसे सिखाना था कि कैसे खोजना है। उन्होंने एक हाइब्रिड सर्च सिस्टम बनाया जिसने दो विधियों को जोड़ा: एक "डेंस" (dense) सर्च जो शब्दों के अर्थ को समझता है, और एक "स्पार्स" (sparse) सर्च जो सटीक कीवर्ड मिलान देखता है। उन्होंने एक "ट्रैफिक पुलिस" (इंटेंट रूटिंग) भी जोड़ा जो प्रश्न के आधार पर तय करता है कि किस प्रकार के दस्तावेज़ को देखना है। यदि आप किसी प्रक्रिया के बारे में पूछते हैं, तो यह मैनुअल देखता है; यदि आप डेटाबेस फिक्स के बारे में पूछते हैं, तो यह पुराने सपोर्ट टिकट देखता है।

यह सरल परिवर्तन एक बड़ा अपग्रेड था। किसी भी फैंसी ट्रेनिंग से पहले, इस हाइब्रिड सर्च ने उनकी सफलता दर को 62% से बढ़ाकर 81% कर दिया। यह उनके द्वारा किया गया सबसे सस्ता और सबसे प्रभावी सुधार था।

8 GB का चमत्कार: एक लैपटॉप पर प्रशिक्षण

अगली चुनौती अपने स्वयं के डेटा पर सर्च इंजन को प्रशिक्षित करना था। उनके पास लगभग 15,000 हल किए गए सपोर्ट टिकट और आंतरिक दस्तावेज़ थे। वे सर्च इंजन को अपनी एजेंसी की विशिष्ट भाषा समझने के लिए प्रशिक्षित करना चाहते थे।

आमतौर पर, इस तरह के मॉडल को प्रशिक्षित करने के लिए एक विशाल सुपरकंप्यूटर की आवश्यकता होती है। लेकिन टीम के पास केवल 8 GB मेमोरी थी। उन्होंने एक छिपे हुए जाल की खोज की: उनके विंडोज लैपटॉप पर, ग्राफिक्स कार्ड ड्राइवर डेटा को चुपचाप रेगुलर कंप्यूटर मेमोरी में "स्पिल" (उड़ा) देता था जब मेमोरी खत्म हो जाती थी, जिससे प्रशिक्षण बिना क्रैश हुए अविश्वसनीय रूप से धीमा हो जाता था। यह ऐसा था जैसे आप एक भारी बैग लेकर मैराथन दौड़ रहे हों और आपको पता ही न हो कि आप उसे ढो रहे हैं।

इसे ठीक करने के लिए, उन्होंने एक विशेष रेसिपी का उपयोग किया:

• 8-बिट ऑप्टिमाइज़र: गणित को छोटा करने का एक तरीका।
• ग्रेडिएंट चेकपॉइंटिंग: एक तकनीक जो मेमोरी बचाती है क्योंकि यह कुछ चरणों को स्टोर करने के बजाय उन्हें फिर से कैलकुलेट करती है।

इन ट्रिक्स के साथ, वे उस सिंगल लैपटॉप पर केवल 72 मिनट में अपने सर्च इंजन को पूरी तरह से प्रशिक्षित करने में सफल रहे। परिणाम आश्चर्यजनक थे: शीर्ष 10 परिणामों में सही दस्तावेज़ खोजने की क्षमता (Recall@10) 0.663 से बढ़कर 0.850 हो गई।

साइलेंट ट्रैप: एक डोमेन, दो दुनिया

यहाँ कहानी पेचीदा हो जाती है। जब उन्होंने सर्च इंजन को केवल सपोर्ट टिकटों पर प्रशिक्षित किया, तो यह टिकटों को खोजने में बहुत अच्छा हो गया। लेकिन, एक शांत और अदृश्य तरीके से, यह आधिकारिक दस्तावेजों को खोजने में कमजोर हो गया। प्रशिक्षण ने सर्च इंजन की समझ को "विकृत" (deform) कर दिया था, जिससे यह औपचारिक दस्तावेजों को संभालने का तरीका भूल गया।

उन्हें इसका पता इसलिए चला क्योंकि उन्होंने दस्तावेजों के लिए एक अलग टेस्ट सेट बनाया। यदि वे ऐसा नहीं करते, तो वे सोचते कि उनका सिस्टम परफेक्ट है, जबकि वास्तव में यह उनके आधे डेटा पर विफल हो रहा था। इसे बिना डेटा क्लाउड पर भेजे ठीक करने के लिए, उन्होंने GenQ नामक एक चतुर तकनीक का उपयोग किया। उन्होंने अपने दस्तावेजों के लिए नकली प्रश्न बनाने के लिए एक लोकल AI का उपयोग किया, जिससे एक नया ट्रेनिंग सेट बना जो दोनों दुनियाओं को संतुलित करता था। इसने नुकसान की मरम्मत की, और सर्च इंजन फिर से टिकटों और दस्तावेजों दोनों को खोजने में महान बन गया।

सुरक्षा सर्वो पहले: रोबोट को झूठ बोलने से रोकना

चूंकि रोबोट डेटाबेस कमांड का मसौदा तैयार कर रहा था, इसलिए टीम को यह सुनिश्चित करना था कि वह कभी भी मनगढ़ंत बातें (hallucinations) न करे। उन्होंने एंकर डिस्टिलेशन (Anchor Distillation) नामक तकनीक का उपयोग किया। AI को शुरुआत से SQL कोड लिखने देने के बजाय, उन्होंने पिछले टिकटों से वास्तविक, काम करने वाले कोड लिए, उन्हें बिल्कुल वैसा ही कॉपी किया, और AI को केवल उसके चारों ओर का टेक्स्ट लिखने दिया (यह समझाना कि यह क्या है और कब उपयोग करना है)। इससे यह असंभव हो गया कि रोबोट फर्जी डेटाबेस कमांड बनाए क्योंकि कोड स्वयं एक वास्तविक, सत्यापित "एंकर" था।

उन्होंने PII मास्किंग (नाम और आईडी नंबर छिपाना) का भी एक आश्चर्यजनक लाभ पाया। जब उन्होंने प्रशिक्षण से पहले वास्तविक नामों को <user> या <project_id> जैसे प्लेसहोल्डर्स से बदल दिया, तो रोबोट ने वास्तव में बेहतर उत्तर लिखे। इसने उसे पुराने टिकटों से विशिष्ट लोगों के नाम कॉपी करने से रोका और उसे लचीले टेम्पलेट लिखने में मदद की जिनका उपयोग किसी के लिए भी किया जा सकता है।

स्लो जज (धीमा न्यायाधीश)

अंत में, आप एक रोबोट को कैसे ग्रेड करेंगे यदि आप उसके काम की जांच करने के लिए क्लाउड-आधारित AI का उपयोग नहीं कर सकते? टीम ने एक "स्लो जज" बनाया। उन्होंने एक विशाल AI मॉडल (744 बिलियन पैरामीटर्स) का उपयोग किया जो तेज़ चलने के लिए बहुत बड़ा था। यह उनके कंप्यूटर के मुख्य प्रोसेसर (CPU) पर चलता था, जो चलते समय हार्ड ड्राइव से डेटा लेता था। यह अविश्वसनीय रूप से धीमा था, एक एकल उत्तर को ग्रेड करने में लगभग 10 से 13 मिनट का समय लेता था। लेकिन, क्योंकि यह बहुत स्मार्ट था, यह रात भर में रोबोट का होमवर्क ग्रेड करने के लिए एकदम सही था।

उन्होंने पाया कि यह स्लो जज एक बेहतरीन "दूसरी राय" था, लेकिन पूर्ण नहीं। यह कभी-कभी मानव विशेषज्ञों से असहमत होता था, विशेष रूप से बहुत अच्छे या बहुत खराब उत्तरों पर। सबक यह था कि जज का उपयोग रुझानों और पैटर्न को खोजने के लिए करें, लेकिन हमेशा विशिष्ट निर्णयों के लिए मानव द्वारा दोबारा जांच करवाएं।

निष्कर्ष

RAGAL प्रोजेक्ट यह साबित करता है कि एक शक्तिशाली, सुरक्षित AI असिस्टेंट बनाने के लिए आपको सुपरकंप्यूटर या क्लाउड की आवश्यकता नहीं है। चतुर इंजीनियरिंग—बेहतर खोज रणनीतियों, सावधानीपूर्वक डेटा हैंडलिंग और सख्त सुरक्षा नियमों—पर ध्यान केंद्रित करके, एक सिंगल लैपटॉप के साथ एक छोटी टीम एक ऐसा सिस्टम बना सकती है जो गोपनीयता का सम्मान करता है और वास्तविक मूल्य प्रदान करता है। उन्होंने दिखाया कि कभी-कभी, आगे बढ़ने का सबसे अच्छा तरीका धीमा होना, सब कुछ स्थानीय रखना और विवरणों पर बारीकी से ध्यान देना है।