Out of Style: RAG's Fragility to Linguistic Variation
यह शोध पत्र प्रकट करता है कि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम, LLM-ओनली मॉडल्स की तुलना में उपयोगकर्ता के प्रश्नों में भाषाई विविधताओं—जैसे कि औपचारिकता, पठनीयता, विनम्रता और व्याकरणिक शुद्धता में बदलाव—के प्रति काफी अधिक नाजुक हैं, जिससे प्रदर्शन में भारी गिरावट आती है और वास्तविक दुनिया के परिनियोजन में बेहतर मजबूती की महत्वपूर्ण आवश्यकता पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लाइब्रेरियन (रिट्रीवल वाला हिस्सा) और उससे भी अधिक स्मार्ट एक लेखक (जेनरेशन वाला हिस्सा) है। मिलकर वे एक टीम बनाते हैं जिसे RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहा जाता है। उनका काम सरल है: आप एक प्रश्न पूछते हैं, लाइब्रेरियन सही किताब ढूंढता है, और लेखक उसे पढ़कर आपको सटीक उत्तर देता है।
यह शोध पत्र, जिसका शीर्षक "आउट ऑफ स्टाइल" है, इस बात की जांच करता है कि क्या होता है जब आप किसी टेक्स्टबुक की तरह सवाल पूछना बंद कर देते हैं और एक वास्तविक इंसान की तरह, एक अव्यवस्थित और अनौपचारिक बातचीत की तरह सवाल पूछना शुरू करते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. समस्या: "परफेक्ट क्वेरी" बनाम वास्तविक जीवन
इन AI सिस्टम के अधिकांश परीक्षण "परफेक्ट" प्रश्नों का उपयोग करते हैं। वे व्याकरण की दृष्टि से सही, विनम्र और औपचारिक होते हैं।
- लैब परिदृश्य: "डेरेक व्हीटली का व्यवसाय क्या है?"
- वास्तविक दुनिया: "हे, तो डेरेक व्हीटली काम के लिए क्या करता है? मतलब, उसकी नौकरी क्या है?"
शोधकर्ताओं ने यह देखना चाहा कि क्या यह AI टीम "वास्तविक दुनिया" वाले संस्करण को संभाल सकती है। उन्होंने भाषा बदलने के चार विशिष्ट तरीकों का परीक्षण किया:
- औपचारिकता (Formality): इसे अनौपचारिक या बोलचाल की भाषा (slang) बनाना।
- पठनीयता (Readability): इसे अत्यधिक जटिल या पढ़ने में कठिन बनाना।
- विनम्रता (Politeness): "कृपया", "Kindly" या अतिरिक्त शिष्टाचार जोड़ना।
- व्याकरण (Grammar): गलतियाँ (typos) जोड़ना या वाक्य को दूसरी भाषा में अनुवाद करके वापस लाना (जिससे अक्सर व्याकरण बिगड़ जाता है)।
2. बड़ी खोज: लाइब्रेरियन नाजुक है
टीम ने पाया कि भाषा बदलने पर AI सिस्टम अत्यधिक नाजुक (fragile) हो जाता है। यह एक उच्च श्रेणी की स्पोर्ट्स कार की तरह है जो चिकने ट्रैक पर तो बेहतरीन चलती है, लेकिन मिट्टी के रास्ते पर जाते ही तुरंत रुक जाती है।
लाइब्रेरियन (रिट्रीवल) पहले टूटता है: जब प्रश्न कम औपचारिक हो गया या उसमें व्याकरण की त्रुटियां आईं, तो लाइब्रेरियन अक्सर गलत किताबें उठा लेता था।
- उपमा: यदि आप औपचारिक रूप से पूछते हैं, तो लाइब्रेरियन जीवनी (biography) ढूंढता है। यदि आप अनौपचारिक रूप से पूछते हैं, तो लाइब्रेरियन स्लैंग (slang) से भ्रमित हो जाता है और कुकबुक (खाना बनाने की किताब) उठा लेता है।
- परिणाम: कुछ मामलों में, सही जानकारी खोजने की लाइब्रेरियन की क्षमता में 40% तक की गिरावट आई।
लेखक (जेनरेशन) भी पीछे रह जाता है: क्योंकि लाइब्रेरियन ने लेखक को गलत किताबें दीं, इसलिए लेखक ने गलत उत्तर दिया।
- उपमा: भले ही लेखक एक जीनियस हो, वह सही जीवनी नहीं लिख सकता यदि उसके पास एकमात्र उपलब्ध किताब खाना पकाने के बारे में है।
- परिणाम: जब इनपुट में व्याकरण संबंधी त्रुटियां थीं, तो अंतिम उत्तर की गुणवत्ता लगभग 39% गिर गई।
3. "डोमिनो इफेक्ट" (कैस्केडिंग एरर्स)
यह पेपर एक महत्वपूर्ण खामी को उजागर करता है: पूरा सिस्टम केवल लेखक की तुलना में अधिक संवेदनशील है।
- यदि आप केवल एक लेखक-आधारित AI (लाइब्रेरियन के बिना) से पूछते हैं, तो वह अनौपचारिक प्रश्नों को काफी अच्छी तरह से संभाल लेता है।
- लेकिन जब आप लाइब्रेरियन को जोड़ते हैं, तो सिस्टम अधिक नाजुक हो जाता है।
- उपमा: यह एक रिले रेस की तरह है। यदि पहला धावक (लाइब्रेरियन) असमान ट्रैक के कारण लड़खड़ा जाता है, तो दूसरा धावक (लेखक) दौड़ हार जाता है, भले ही वह एक विश्व स्तरीय धावक क्यों न हो। त्रुटि एक लाइन में नीचे की ओर "कैस्केड" (गिरती) होती है।
4. क्या काम आया और क्या नहीं
शोधकर्ताओं ने उन्नत ट्रिक्स के साथ सिस्टम को "ठीक" करने की कोशिश की, लेकिन परिणाम मिले-जुले रहे:
- बड़े मॉडल्स: उन्होंने बहुत बड़े, स्मार्ट AI मॉडल्स का उपयोग किया (72 बिलियन पैरामीटर्स तक)।
- परिणाम: बड़े मॉडल्स ने अनौपचारिक भाषा के साथ थोड़ी मदद की, लेकिन वे व्याकरण की त्रुटियों या अनुवाद संबंधी समस्याओं को ठीक नहीं कर सके। कभी-कभी, बड़े मॉडल्स अव्यवस्थित व्याकरण को संभालने में और भी बुरे हो गए।
- री-रैंकिंग (एक दूसरी नज़र): उन्होंने एक चरण जोड़ने की कोशिश की जहाँ लाइब्रेरियन किताबों को लेखक को सौंपने से पहले दोबारा जाँच करता है।
- परिणाम: इसने बहुत मदद की! इसने प्रदर्शन के नुकसान को काफी हद तक बहाल कर दिया, जिससे साबित हुआ कि लाइब्रेरियन केवल शैली (style) से "भ्रमित" था, "टूटा" नहीं था।
- विनम्रता: दिलचस्प बात यह है कि बहुत अधिक विनम्र होने से सिस्टम को ज्यादा नुकसान नहीं हुआ। लाइब्रेरियन "कृपया" और "धन्यवाद" को अनदेखा कर सकता था और फिर भी सही किताब ढूंढ सकता था। असली समस्या व्याकरण की त्रुटियों और अनौपचारिक स्लैंग से आई।
5. निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि हालांकि ये AI सिस्टम टेक्स्टबुक से प्रश्न पूछने में अद्भुत हैं, लेकिन वे वर्तमान में वास्तविक मानवीय बातचीत के लिए पर्याप्त मजबूत (robust) नहीं हैं।
- रूपक (Metaphor): एक ऐसे अनुवादक की कल्पना करें जो उत्तम फ्रेंच बोलता है लेकिन पूरी तरह से खो जाता है यदि आप भारी लहजे (accent) के साथ या कुछ वर्तनी की गलतियों के साथ फ्रेंच बोलते हैं।
- मुख्य बात: इन सिस्टमों को सभी के लिए विश्वसनीय बनाने के लिए (न कि केवल उन लोगों के लिए जो एकदम सटीक टाइप करते हैं), हमें "लाइब्रेरियन" को केवल पॉलिश की हुई भाषा ही नहीं, बल्कि वास्तविक दुनिया की अव्यवस्थित भाषा को भी समझने के लिए सिखाना होगा।
संक्षेप में: यदि आप AI से एक परफेक्ट सवाल पूछते हैं, तो वह शानदार है। यदि आप एक वास्तविक व्यक्ति की तरह (टाइपिंग की गलतियों, स्लैंग या अजीब वाक्यांशों के साथ) पूछते हैं, तो वह सही जानकारी खोजने में विफल हो सकता है, और पूरा सिस्टम क्रैश हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।