When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण हैं जो अपने प्रशिक्षण के दौरान याद की गई जानकारी के विशाल भंडार का उपयोग करके कहानियाँ लिख सकते हैं, प्रश्नों के उत्तर दे सकते हैं और समस्याओं को हल कर सकते हैं। हालाँकि, ये मॉडल पूर्ण नहीं हैं; वे कभी-कभी तथ्यों को भूल जाते हैं या ऐसे विवरण गढ़ लेते हैं जो सुनने में तर्कसंगत लगते हैं लेकिन गलत होते हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक विधि विकसित की। यह दृष्टिकोण मॉडल के लिए एक लाइब्रेरियन की तरह कार्य करता है: जब कोई प्रश्न पूछा जाता है, तो सिस्टम पहले बाहरी दस्तावेजों के डेटाबेस में प्रासंगिक साक्ष्य खोजने के लिए खोज करता है, फिर उस साक्ष्य को प्रश्न के साथ मॉडल को भेजता है। आशा यह है कि मॉडल इस ताज़ा जानकारी का उपयोग अधिक सटीक उत्तर देने के लिए करेगा। फिर भी, इस प्रणाली में एक छिपा हुआ दोष है। कभी-कभी इसके द्वारा खोजे गए दस्तावेज़ भ्रामक, पुराने या जानबूझकर गलत हो सकते हैं। यदि मॉडल इन दस्तावेजों पर अंधा विश्वास करता है, तो वह उनकी त्रुटियों को दोहरा देगा। इसके विपरीत, यदि मॉडल पूरी तरह से दस्तावेजों को अनदेखा कर देता है, तो वह उपयोगी जानकारी खो सकता है या उन प्रश्नों का उत्तर देने में विफल हो सकता है जिनमें प्रदान किए गए पाठ से विशिष्ट विवरणों की आवश्यकता होती है। मुख्य चुनौती यह जानना है कि कब बाहरी साक्ष्य पर भरोसा करना है और कब मॉडल के अपने आंतरिक ज्ञान पर निर्भर रहना है।

सिडनी विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस दुविधा को हल करने का एक नया तरीका प्रस्तावित किया है, जिसे 'इंटेंट-गाइडेड डिकोडिंग' (Intent-Guided Decoding) कहा जाता है। मॉडल को हमेशा दस्तावेजों पर भरोसा करने या हमेशा उन्हें अनदेखा करने के लिए मजबूर करने के बजाय, उनका सिस्टम रणनीति निर्धारित करने के लिए स्पष्ट उपयोगकर्ता निर्देशों पर निर्भर करता है। कुछ स्थितियों में, एक उपयोगकर्ता किसी विशिष्ट रिपोर्ट को पढ़ रहा होता है और चाहता है कि मॉडल सख्ती से उसी के आधार पर उत्तर दे जो उस रिपोर्ट में कहा गया है, भले ही रिपोर्ट में कोई गलती हो। अन्य स्थितियों में, एक उपयोगकर्ता सामान्य तथ्य-जांच वाला प्रश्न पूछ सकता है और चाहता है कि मॉडल सत्य के पक्ष में एक भ्रामक दस्तावेज़ को अनदेखा कर दे। शोधकर्ताओं ने एक ऐसा ढांचा बनाया है जो इन विशिष्ट निर्देशों के अनुकूल होता है। यह इस प्रकार कार्य करता है कि मॉडल एक ही समय में तीन अलग-अलग संभावित उत्तर उत्पन्न करता है: एक उपयोगकर्ता के मूल प्रश्न पर आधारित, एक सख्ती से दिए गए दस्तावेजों पर आधारित, और एक केवल अपनी आंतरिक स्मृति पर आधारित। सिस्टम फिर इन तीन विचारों के प्रवाह की तुलना करता है। यदि दस्तावेज़ और आंतरिक स्मृति असहमत होते हैं, तो सिस्टम यह तय करने के लिए उपयोगकर्ता के निर्देशों की जाँच करता है कि किस पथ का अनुसरण करना है। यदि उपयोगकर्ता ने स्पष्ट रूप से पाठ का सख्ती से पालन करने के लिए कहा है, तो सिस्टम दस्तावेज़ की ओर झुकता है। यदि उपयोगकर्ता ने स्पष्ट रूप से सत्य के लिए कहा है, तो सिस्टम आंतरिक स्मृति की ओर झुकता है, जिससे भ्रामक जानकारी प्रभावी रूप से छन जाती है।

शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण विभिन्न प्रकार के प्रश्नों और विभिन्न प्रकार के भाषा मॉडलों पर किया। उन्होंने ऐसी स्थितियाँ बनाईं जहाँ प्रदान किए गए दस्तावेज़ सही थे और ऐसी स्थितियाँ भी जहाँ वे जानबूझकर गलत थे। उन मामलों में जहाँ दस्तावेज़ भ्रामक थे, मानक प्रणालियाँ जो पाठ का अंधाधुंध पालन करती थीं, अक्सर गलत उत्तर देती थीं। हालाँकि, नया सिस्टम संघर्ष को पहचानने और अपने आंतरिक ज्ञान की ओर स्विच करने में सक्षम था, जिससे कई उदाहरणों में सही उत्तर प्राप्त हुआ। उन बेंचमार्क पर जहाँ दस्तावेज़ भ्रामक थे, नए तरीके ने मानक दृष्टिकोण की तुलना में उत्तरों की सटीकता में 65.4 प्रतिशत अंकों तक सुधार किया। महत्वपूर्ण रूप से, यह सुधार उपयोगी जानकारी को अनदेखा करने की कीमत पर नहीं आया। जब उपयोगकर्ता ने स्पष्ट रूप से मॉडल को दिए गए पाठ का पालन करने के लिए कहा, तो सिस्टम सटीक रूप से ऐसा करने में सक्षम रहा, भले ही वह पाठ सही था। यह दर्शाता है कि सिस्टम ने दो प्रतिस्पर्धी आवश्यकताओं के बीच सफलतापूर्वक संतुलन बनाया है: स्रोत सामग्री के प्रति वफादार रहना जब आवश्यक हो, और तथ्यात्मक रूप से सही होना जब स्रोत सामग्री अविश्वसनीय हो।

अध्ययन ने यह भी खुलासा किया कि मॉडल को केवल "सावधान रहने" या "तथ्यों की जाँच करने" के लिए कहना भी उसे खराब दस्तावेजों द्वारा गुमराह होने से रोकने के लिए पर्याप्त नहीं है। शोधकर्ता ने पाया कि मॉडल अक्सर तब तक स्वयं को सुधारने में विफल रहते हैं जब तक कि उपयोगकर्ता के इरादे के विरुद्ध साक्ष्य को तौलने के लिए कोई विशिष्ट तंत्र मौजूद न हो। उनका तरीका मॉडल को पुन: प्रशिक्षित करने या जानकारी खोजने के तरीके को बदलने की आवश्यकता नहीं रखता है; इसके बजाय, यह उत्तर उत्पन्न करने के अंतिम चरण के दौरान एक स्मार्ट फिल्टर के रूप में कार्य करता है। मॉडल के विभिन्न संभावित उत्तरों में उसकी कितनी आत्मीयता (confidence) है इसका विश्लेषण करके और उनकी विश्वसनीयता के आधार पर दस्तावेजों के प्रभाव को स्केल करके, सिस्टम सूक्ष्म समायोजन कर सकता है। उदाहरण के लिए, यदि आंतरिक स्मृति बहुत आश्वस्त है और दस्तावेज़ संदिग्ध है, तो सिस्टम धीरे से उत्तर को सत्य की ओर मोड़ देता है। यदि दस्तावेज़ मजबूत है और उपयोगकर्ता उसका पालन करना चाहता है, तो सिस्टम दस्तावेज़ को उत्तर का मार्गदर्शन करने देता है। यह सूक्ष्म दृष्टिकोण मॉडल को उन जटिल स्थितियों को संभालने की अनुमति देता है जहाँ सही उत्तर पूरी तरह से इस बात पर निर्भर करता है कि उपयोगकर्ता क्या हासिल करना चाहता है।

अंततः, यह कार्य इस बात पर प्रकाश डालता है कि एक भाषा मॉडल और उसके बाहरी ज्ञान के बीच संबंध विश्वास या अविश्वास का सरल मामला नहीं है। यह एक गतिशील समझौता है जो बातचीत के संदर्भ पर निर्भर करता है। शोधकर्ताओं ने प्रदर्शित किया कि मॉडल को उपयोगकर्ता के इरादे के प्रति जागरूक बनाकर, एक ऐसा सिस्टम बनाना संभव है जो विश्वसनीय और लचीला दोनों हो। इसका अर्थ यह है कि भविष्य में, ये उपकरण कानूनी दस्तावेज़ विश्लेषण जैसे कार्यों के लिए अधिक उपयोगी हो सकते हैं, जहाँ पाठ का पालन करना सर्वोपरि है, से लेकर सामान्य ज्ञान संबंधी प्रश्नों के लिए, जहाँ गलत सूचना से बचना प्राथमिकता है। निष्कर्ष बताते हैं कि भविष्य के कृत्रिम बुद्धिमत्ता (AI) का मार्ग न केवल मॉडल्स को स्मार्ट बनाने में, बल्कि उन्हें यह समझने में बेहतर बनाने में निहित है कि कब सुनना है और कब अपने लिए बोलना है।