Open-Source Reproduction and Explainability Analysis of Corrective Retrieval Augmented Generation
यह शोध पत्र विकिपीडिया और Phi-3-mini का उपयोग करके करेक्टिव रिट्रीवल ऑगमेंटेड जनरेशन (CRAG) प्रणाली के एक पूर्णतः ओपन-सोर्स पुनरुत्पादन को प्रस्तुत करता है, जो मूल के समान प्रदर्शन प्रदर्शित करते हुए पहला SHAP-आधारित व्याख्यात्मकता विश्लेषण प्रदान करता है जो मूल्यांकनकर्ता की नामित इकाई संरेखण (named entity alignment) पर निर्भरता को प्रकट करता है और प्रमुख विफलता मोडों की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बेहद प्रतिभाशाली लेकिन थोड़े भुलक्कड़ छात्र LLM (लार्ज लैंग्वेज मॉडल) हैं। LLM निबंध लिखने और सवालों के जवाब देने में बहुत अच्छा है, लेकिन कभी-कभी यह गलतियाँ कर देता है क्योंकि यह हवा में बातें बनाने लगता है (जिसे "हैलुसिनेशन" या भ्रम कहा जाता है)।
इसे ठीक करने के लिए, LLM का एक स्टडी पार्टनर है जिसे RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) कहते हैं। जवाब देने से पहले, RAG लाइब्रेरी में दौड़कर जाता है, कुछ किताबें उठाता है और LLM को हाथ में थमा देता है ताकि वह जवाब लिखने में मदद ले सके।
समस्या:
कभी-कभी, RAG गलत किताबें उठा लेता है। शायद वह "सेब" (Apples) के बारे में किताब उठा ले जब सवाल "एप्पल कंपनी" (Apple the company) के बारे में हो। अगर LLM गलत किताब पढ़ता है, तो वह भ्रमित हो जाता है और गलत जवाब देता है।
मूल समाधान (CRAG):
मूल शोधकर्ताओं ने एक सुपर-स्मार्ट "लाइब्रेरियन" (जिसे रिट्रीवल इवैल्यूएटर कहा जाता है) बनाया जो LLM के पढ़ने से पहले किताबों की जाँच करता है।
- यदि किताब एकदम सही दिखती है, तो लाइब्रेरियन कहता है, "सही है!" और LLM उसका उपयोग करता है।
- यदि किताब पूरी तरह से गलत है, तो लाइब्रेरियन कहता है, "गलत है!" और LLM को बेहतर जानकारी खोजने के लिए इंटरनेट (Google) पर भेज देता है।
- यदि किताब ठीक है लेकिन बहुत अच्छी नहीं है, तो लाइब्रेरियन कहता है, "अस्पष्ट है!" और LLM लाइब्रेरी की किताब और इंटरनेट दोनों का उपयोग करता है।
पेंच:
मूल "लाइब्रेरियन" और "इंटरनेट" पे-वॉल (पैसे देकर ही एक्सेस करने वाली सीमा) के पीछे बंद थे। Google सर्च के लिए आपको क्रेडिट कार्ड की आवश्यकता थी और लाइब्रेरियन को चलाने के लिए विशेष, महंगे सॉफ्टवेयर की जरूरत थी। इसका मतलब था कि सामान्य शोधकर्ता इस सिस्टम का परीक्षण या इसमें सुधार नहीं कर सकते थे।
इस पेपर ने क्या किया: "ओपन-सोर्स" मेकओवर
लेखक, सूर्या, ने इस पूरे सिस्टम को केवल मुफ्त, ओपन-सोर्स टूल्स का उपयोग करके फिर से बनाया, जैसे कि एक निजी, सशुल्क लाइब्रेरी को एक सार्वजनिक लाइब्रेरी से बदलना।
यहाँ उनके काम का सरल विवरण दिया गया है:
1. बदलाव (पुनरुत्पादन/Reproduction)
सूर्या ने महंगे हिस्सों को मुफ्त विकल्पों से बदल दिया:
- इंटरनेट: Google Search के लिए भुगतान करने के बजाय, उन्होंने एक चतुर रोबोट बनाया जो विकिपीडिया (मुफ्त ऑनलाइन विश्वकोश) को खोजता है।
- दिमाग: एक भारी, महंगे AI मॉडल के बजाय, उन्होंने एक छोटे, मुफ्त और बहुत स्मार्ट मॉडल का उपयोग किया जिसे Phi-3 कहा जाता है।
- लाइब्रेरियन: उन्होंने मूल "लाइब्रेरियन" (T5 मॉडल) को रखा लेकिन यह सुनिश्चित किया कि यह नए, मुफ्त सेटअप पर चल सके।
परिणाम: नया, मुफ्त सिस्टम लगभग उतना ही अच्छा काम करता है जितना कि मूल, महंगा सिस्टम। इसने साबित कर दिया कि स्मार्ट AI परिणाम पाने के लिए आपको बहुत सारा पैसा खर्च करने की आवश्यकता नहीं है।
2. जासूसी का काम (व्याख्यात्मकता/Explainability)
यह सबसे दिलचस्प हिस्सा है। शोधकर्ता जानना चाहते थे कि: लाइब्रेरियन वास्तव में यह कैसे तय करता है कि किताब अच्छी है या बुरी?
उन्होंने SHAP नामक एक टूल का उपयोग किया (इसे AI दिमाग के लिए एक एक्स-रे मशीन समझें) यह देखने के लिए कि लाइब्रेरियन वास्तव में किस चीज़ को देख रहा है।
बड़ी खोज:
उन्हें उम्मीद थी कि लाइब्रेरियन वाक्यों के अर्थ (Semantic Understanding) को पढ़ रहा होगा।
- उदाहरण: उन्हें लगा कि लाइब्रेरियन समझता है कि "फ्रांस के राष्ट्रपति" और "इमैनुएल मैक्रों" का अर्थ एक ही है।
लेकिन एक्स-रे ने कुछ और ही दिखाया:
लाइब्रेरियन वास्तव में केवल एक नाम मिलान करने वाला (Name Matcher) है। वह वास्तव में अर्थ के लिए नहीं पढ़ रहा है; वह बस यह जाँच रहा है कि प्रश्न में दिए गए नाम किताब में दिए गए नामों से मेल खाते हैं या नहीं।
- यदि प्रश्न "हेनरी" के बारे में है और किताब में "हेनरी" है, तो लाइब्रेरियन कहता है "सही है!"
- यदि प्रश्न "हेनरी" के बारे में है और किताब "माइटोकॉन्ड्रिया" के बारे में है, तो लाइब्रेरियन कहता है "गलत है!"
रूपक (Metaphor):
एक क्लब के सुरक्षा गार्ड की कल्पना करें। आप उम्मीद करते हैं कि वह आपका आईडी चेक करेगा यह देखने के लिए कि आप एक अच्छे व्यक्ति हैं या नहीं। लेकिन इसके बजाय, वह केवल यह देखता है कि आपका नाम सूची में है या नहीं।
- यदि आपका नाम "जॉन" है, तो वह आपको अंदर जाने देता है।
- यदि आपका नाम "जेन" है, तो वह आपको अंदर जाने देता है।
- लेकिन यदि आप "टाइटैनिक" नामक एक प्रसिद्ध अभिनेता हैं (एक अजीब नाम), और सूची में "टाइटैनिक" नहीं है, तो वह आपको बाहर निकाल देता है, भले ही आप एक अच्छे व्यक्ति हों।
3. विफलता के तरीके (जहाँ यह टूट जाता है)
चूंकि लाइब्रेरियन केवल एक "नाम मिलान करने वाला" है, इसलिए यह दो मजेदार तरीकों से विफल होता है:
- "विज्ञान" की समस्या: लाइब्रेरियन को ज्यादातर लोगों के बारे में प्रश्नों (जैसे "राष्ट्रपति कौन है?") पर प्रशिक्षित किया गया था। जब विज्ञान के प्रश्न जैसे "आकाश नीला क्यों है?" पूछा जाता है, तो वहां मेल खाने के लिए कोई विशिष्ट नाम नहीं होते। लाइब्रेरियन भ्रमित हो जाता है और कहता है, "मुझे नहीं पता, चलो इंटरनेट खोजते हैं," भले ही उत्तर बहुत सरल हो।
- "फिल्म" की समस्या: यदि आप "टाइटैनिक" जैसी फिल्म के बारे में पूछते हैं, तो लाइब्रेरियन भ्रमित हो जाता है क्योंकि वह "टाइटैनिक" को अपने प्रशिक्षण की सूची में व्यक्ति का नाम नहीं मानता। वह अच्छे उत्तरों को केवल इसलिए खारिज कर देता है क्योंकि नाम उसकी विशिष्ट सूची से मेल नहीं खाता।
मुख्य निष्कर्ष (The Takeaway)
यह पेपर AI की दुनिया के लिए एक DIY गाइड की तरह है।
- इसने दिखाया कि आप महंगे टूल्स के लिए भुगतान किए बिना एक शीर्ष-स्तरीय AI सिस्टम बना सकते हैं।
- इसने खुलासा किया कि सिस्टम का "स्मार्ट" हिस्सा वास्तव में थोड़ा "मूर्ख" है—यह केवल नामों का मिलान कर रहा है, दुनिया को समझ नहीं रहा है।
- इसने हमें चेतावनी दी कि यदि हम चाहते हैं कि AI विज्ञान या फिल्मों में अच्छा हो, तो हमें "लाइब्रेरियन" को केवल नामों से परे देखना सिखाना होगा।
संक्षेप में: लेखक ने एक स्मार्ट AI सहायक का एक मुफ्त, ओपन-सोर्स संस्करण बनाया, और फिर एक एक्स-रे का उपयोग करके हमें दिखाया कि सहायक वास्तव में एक बहुत ही शाब्दिक नाम-चेकर है, न कि एक गहरा विचारक। यह हमें समझने में मदद करता है कि अगली पीढ़ी के AI को और स्मार्ट कैसे बनाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।