FCPRAG: Fusion-Controller Parametric Retrieval-Augmented Generation for Stable Multi-Passage LoRA Injection

आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स मानव ज्ञान के विशाल पुस्तकालयों की तरह हैं, जो प्रश्न पूछने और कहानियाँ लिखने में सक्षम हैं। हालाँकि, ये पुस्तकालय स्थिर हैं; वे केवल वही जानते हैं जो उन्हें उनके प्रारंभिक प्रशिक्षण के दौरान सिखाया गया था। हालिया घटनाओं या विशिष्ट तथ्यों के बारे में प्रश्नों का उत्तर देने के लिए, शोधकर्ता अक्सर 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक तकनीक का उपयोग करते हैं। यह मॉडल को बोलने से पहले प्रासंगिक दस्तावेजों का एक ढेर थमाने के समान है, जिससे वह ताज़ा साक्ष्यों का परामर्श कर सके। प्रभावी होने के बावजूद, इस दृष्टिकोण के साथ एक बढ़ती हुई समस्या है: जैसे-जैसे दस्तावेजों का ढेर बड़ा होता जाता है, मॉडल अभिभूत (overwhelmed) हो जाता है। अतिरिक्त टेक्स्ट कंप्यूटर को धीमा कर देता है, मेमोरी की भारी मात्रा का उपभोग करता है, और कभी-कभी विरोधाभासी जानकारी के साथ मॉडल को भ्रमित कर सकता है, जिससे त्रुटियां होती हैं।

एक नया दृष्टिकोण, जिसे 'पैरामीट्रिक रिट्रीवल' (parametric retrieval) कहा जाता है, सूचना को टेक्स्ट के ढेर से निकालकर मॉडल की अपनी आंतरिक स्मृति में ले जाकर इस समस्या को हल करने का प्रयास करता है। एक दस्तावेज़ को पढ़ने के बजाय, सिस्टम दस्तावेज़ को निर्देशों के एक छोटे, विशिष्ट सेट में बदल देता है जो मॉडल के मस्तिष्क को थोड़ा समायोजित करता है। यह बातचीत को तेज़ और स्वच्छ रखता है। लेकिन एक नई चुनौती उभर कर आई है जब एक ही प्रश्न के लिए कई दस्तावेज़ प्रासंगिक होते हैं। यदि सिस्टम तीन अलग-अलग लेख निकालता है, तो अब उसके पास निर्देशों के तीन अलग-अलग सेट हैं। महत्वपूर्ण प्रश्न यह बन जाता है: आप उन्हें कैसे संयोजित करेंगे? यदि आप उन्हें समान रूप से मिलाते हैं, तो आप सबसे महत्वपूर्ण तथ्य को अप्रासंगिक शोर के साथ कमज़ोर कर सकते हैं, या इससे भी बुरा, एक विरोधाभासी लेख मॉडल को भ्रमित कर सकता है।

हांगकांग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं और उनके सहयोगियों ने इस मिश्रण की समस्या को हल करने के लिए एक समाधान विकसित किया है, जिसे वे FCPRAG कहते हैं। उनका कार्य उस विशिष्ट बाधा को संबोधित करता है जहाँ कई साक्ष्यों को मॉडल के लिए एक एकल, सुसंगत अपडेट में मर्ज किया जाना आवश्यक होता है। अपने प्रयोगों में, उन्होंने पाया कि प्रत्येक दस्तावेज़ को समान रूप से महत्वपूर्ण मानने की पुरानी विधि अक्सर विफल हो जाती है। जब किसी प्रश्न के लिए दो तथ्यों के बीच एक विशिष्ट सेतु खोजने की आवश्यकता होती है, तो एक दस्तावेज़ में कुंजी हो सकती है जबकि अन्य ध्यान भटकाने वाले हो सकते हैं। सभी तीन का एक सरल, समान मिश्रण सिग्नल को कमजोर कर देगा। इसके विपरीत, जब साक्ष्य शोरपूर्ण या अस्पष्ट होते हैं, तो एक तीखा निर्णय लेने के लिए मजबूर करना मॉडल को गलत विवरण पकड़ने की ओर ले जा सकता है।

टीम ने इस प्रक्रिया को प्रबंधित करने के लिए एक हल्का "फ्यूजन कंट्रोलर" (fusion controller) पेश किया है। इस कंट्रोलर को उस चौराहे पर खड़े एक स्मार्ट ट्रैफिक अधिकारी के रूप में सोचें जहाँ विभिन्न साक्ष्य मिलते हैं। मॉडल द्वारा सूचना का उपयोग करने से पहले, यह कंट्रोलर विशिष्ट प्रश्न और प्राप्त दस्तावेजों को देखता है। फिर यह प्रत्येक साक्ष्य के लिए दो महत्वपूर्ण निर्णय लेता है। पहला, यह तय करता है कि उस दस्तावेज़ को कितना भार (weight) दिया जाए, जो प्रभावी रूप से कहता है, "यह वाला बहुत महत्वपूर्ण है," या "यह वाला केवल बैकग्राउंड शोर है।" दूसरा, और शायद अधिक महत्वपूर्ण, यह तय करता है कि सिस्टम अपने स्वयं के निर्णय में कितना आश्वस्त है। यदि साक्ष्य स्पष्ट और मजबूत हैं, तो कंट्रोलर मॉडल को सबसे अच्छे दस्तावेज़ पर ध्यान केंद्रित करने की अनुमति देता है। यदि साक्ष्य अव्यवस्थित या विरोधाभासी हैं, तो कंट्रोलर मॉडल को अधिक रूढ़िवादी (conservative) होने के लिए कहता है, जिससे वह एक खराब डेटा के प्रति अत्यधिक प्रतिक्रिया करने से बचने के लिए जानकारी को अधिक कोमलता से मिलाता है।

यह दृष्टिकोण कई कठिन प्रश्न-उत्तर परीक्षणों में अत्यधिक प्रभावी साबित हुआ। 2WikiMultiHopQA नामक एक डेटासेट पर, जिसके लिए कई दस्तावेजों में तथ्यों को जोड़ने की आवश्यकता होती है, इस नई विधि ने पिछले मानक तरीकों की तुलना में उत्तरों की सटीकता में 4.65 प्रतिशत तक सुधार किया। एक अन्य जटिल डेटासेट जिसे CWQ के रूप में जाना जाता है, पर सुधार और भी महत्वपूर्ण था, जो 7.55 प्रतिशत तक पहुँच गया। ये लाभ विभिन्न आकार के भाषा मॉडलों में सुसंगत थे, छोटे और तेज़ मॉडलों से लेकर बड़े और अधिक शक्तिशाली मॉडलों तक। शोधकर्ताओं ने एक शोरपूर्ण खोज का अनुकरण करने के लिए जानबूझकर अप्रासंगिक या डुप्लिकेट दस्तावेज़ों को फीड करके सिस्टम के लचीलेपन का भी परीक्षण किया। इन परिदृश्यों में, नए कंट्रोलर ने मॉडल को गुमराह करने से सफलतापूर्वक रोका, जिससे वहां भी प्रदर्शन बना रहा जहां पुराने तरीके विफल हो गए।

अध्ययन का एक प्रमुख निष्कर्ष यह है कि सूचना को मिलाने के लिए एक एकल, निश्चित सेटिंग हर स्थिति में काम नहीं करती है। शोधकर्ताओं ने गणितीय रूप से और प्रयोगों के माध्यम से प्रदर्शित किया कि निर्णय की "तापमान" (temperature) या तीक्ष्णता को एक प्रश्न से दूसरे प्रश्न के बीच बदलना आवश्यक है। कुछ प्रश्नों के उत्तर एक दस्तावेज़ में छिपे हुए स्पष्ट और निर्णायक होते हैं, जबकि अन्य के साक्ष्य कई स्थानों पर बिखरे होते हैं। प्रत्येक व्यक्तिगत प्रश्न के लिए ऑन-द-फ्लाई (on the fly) इस सेटिंग को समायोजित करना सीखकर, सिस्टम इंजीनियरों द्वारा महंगे, मैनुअल ट्यूनिंग की आवश्यकता से बच जाता है। कंट्रोलर सीखता है कि कब निर्णायक होना है और कब सतर्क रहना है, और यह सब अंतिम उत्तर उत्पन्न करने की गति को धीमा किए बिना किया जाता है।

अध्ययन ने यह भी रेखांकित किया कि सिस्टम को ये निर्णय लेने के लिए कैसे सिखाया जाता है। केवल यह देखने के बजाय कि एक अकेला दस्तावेज़ अपने आप में कितना अच्छा है, शोधकर्ताओं ने कंट्रोलर को यह देखकर प्रशिक्षित किया कि एक समूह के हिस्से के रूप में प्रत्येक दस्तावेज़ ने कितना योगदान दिया। उन्होंने एक ऐसी विधि का उपयोग किया जहाँ वे एक समूह में से एक बार में एक दस्तावेज़ को हटा देते थे यह देखने के लिए कि उत्तर की गुणवत्ता कितनी गिरती है। इस "लीव-वन-आउट" (leave-one-out) दृष्टिकोण ने कंट्रोलर को बहुत स्पष्ट तस्वीर दी कि कौन से दस्तावेज़ वास्तव में आवश्यक थे और कौन से अनावश्यक थे। इस प्रशिक्षण पद्धति ने सिस्टम को एक ऐसे दस्तावेज़ के बीच सूक्ष्म अंतर सीखने में मदद की जो केवल प्रासंगिक है और एक जो उत्तर के लिए महत्वपूर्ण है।

अंततः, यह कार्य सुझाव देता है कि कुशल AI का भविष्य न केवल अधिक जानकारी प्राप्त करने में है, बल्कि इसे तौलने (weighing) में भी है। फ्यूजन कंट्रोलर एक स्टेबलाइजर के रूप में कार्य करता है, यह सुनिश्चित करता है कि मॉडल की आंतरिक स्मृति विश्वास और सावधानी के सही संतुलन के साथ अपडेट हो। कठोर, एक-समान नियमों के स्थान पर एक लचीली, सीखी गई रणनीति को अपनाकर, शोधकर्ताओं ने दिखाया है कि AI अधिक विश्वसनीय तरीके से जटिल, बहु-दस्तावेज़ तर्क को संभाल सकता है। परिणाम संकेत देते हैं कि यह विधि एक व्यावहारिक कदम है, जो AI सिस्टम को भारी कंप्यूटिंग शक्ति या मैनुअल हस्तक्षेप की आवश्यकता के बिना तेज़ और अधिक सटीक बनाने का एक तरीका प्रदान करती है।