Deepchecks: Evaluating Retrieval-Augmented Generation (RAG)
यह शोध पत्र Deepchecks को प्रस्तुत करता है, जो एक व्यापक फ्रेमवर्क है जिसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम के मूल्यांकन की जटिल चुनौतियों को संबोधित करने के लिए डिज़ाइन किया गया है, जो विश्वसनीयता, प्रासंगिकता और एप्लिकेशन-विशिष्ट आवश्यकताओं के साथ संरेखण सुनिश्चित करने के लिए बहुआयामी मूल्यांकन, मूल कारण विश्लेषण और प्रोडक्शन मॉनिटरिंग प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बातूनी सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है। यह सहायक कहानियाँ लिखने और सवालों के जवाब देने में बहुत अच्छा है, लेकिन इसकी एक बुरी आदत है: कभी-कभी यह पूरी तरह से मनगढ़ंत बातें बना लेता है, या ऐसे सामान्य उत्तर देता है जो विशिष्ट स्थिति के अनुकूल नहीं होते। यह एक ऐसे छात्र की तरह है जिसने पाठ्यपुस्तक तो रट ली लेकिन होमवर्क के विशिष्ट विवरणों को देखना भूल गया, जिससे वह आत्मविश्वास के साथ गलत उत्तर देता है।
इसे ठीक करने के लिए, डेवलपर्स ने RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) नामक एक प्रणाली बनाई। RAG को उस बुद्धिमान सहायक को एक लाइब्रेरी कार्ड और एक लाइब्रेरियन देने के रूप में सोचें।
- लाइब्रेरियन (रिट्रीवल - Retrieval): सहायक के जवाब देने से पहले, लाइब्रेरियन प्रश्न के लिए प्रासंगिक सटीक पृष्ठ खोजने के लिए लाइब्रेरी (दस्तावेजों का एक डेटाबेस) में तेजी से खोज करता है।
- सहायक (जनरेशन - Generation): सहायक उन पृष्ठों को पढ़ता है और फिर उन लाइब्रेरी की किताबों को अपने सत्य के स्रोत के रूप में उपयोग करके उत्तर लिखता है।
समस्या:
भले ही लाइब्रेरियन मौजूद हो, फिर भी सिस्टम विफल हो सकता है। लाइब्रेरियन गलत किताबें निकाल सकता है, या सहायक किताबों को अनदेखा करके अपनी ओर से बातें बना सकता है। पेपर बताता है कि इस पूरे सिस्टम के काम करने के तरीके की जांच करना अविश्वसनीय रूप से कठिन है क्योंकि इसमें बहुत सारे चलते हुए हिस्से (moving parts) हैं।
समाधान: Deepchecks
लेखक Deepchecks को पेश करते हैं, जो इन RAG सिस्टम के लिए एक अत्यधिक सख्त गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) के रूप में कार्य करता है। केवल एक "पास/फेल" ग्रेड देने के बजाय, Deepchecks सिस्टम को विशिष्ट "गुणों" (properties) में विभाजित करता है, ठीक वैसे ही जैसे एक कार मैकेनिक इंजन के विभिन्न हिस्सों की जांच करता है।
यहाँ बताया गया है कि Deepchecks कैसे सिस्टम का निरीक्षण करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. तीन मुख्य जाँच (गुण)
Deepchecks यह सुनिश्चित करने के लिए तीन विशिष्ट चीजों को देखता है कि उत्तर अच्छा है:
- रिट्रीवल रिलेवेंस (क्या लाइब्रेरियन ने सही किताबें ढूँढी?):
- उपमा: यदि आप पूछते हैं, "मैं केक कैसे बनाऊं?", तो लाइब्रेरियन को "मैं कार कैसे ठीक करूँ" वाली किताब नहीं देनी चाहिए। Deepchecks यह जाँचता है कि क्या निकाले गए दस्तावेज़ वास्तव में प्रश्न के लिए उपयोगी हैं।
- ग्राउंडेड इन कॉन्टेक्स्ट (क्या सहायक किताबों पर टिका रहा?):
- उपमा: यह "हैलुसिनेशन" (hallucination) डिटेक्टर है। यदि किताब कहती है कि केक के लिए 2 अंडों की आवश्यकता है, लेकिन सहायक कहता है कि 10 अंडे चाहिए, तो Deepchecks इस झूठ को पकड़ लेता है। यह सत्यापित करता है कि उत्तर का प्रत्येक तथ्य वास्तव में उन दस्तावेजों द्वारा समर्थित है जो लाइब्रेरियन ने खोजे थे।
- पूर्णता (क्या सहायक ने पूरे प्रश्न का उत्तर दिया?):
- उपमा: यदि आपने पूछा, "मैं केक कैसे बनाऊं और ओवन का तापमान क्या होना चाहिए?", तो उत्तर केवल यह नहीं होना चाहिए कि "इसे ओवन में रखें।" Deepchecks यह जाँचता है कि क्या सहायक ने आपके अनुरोध के सभी हिस्सों को कवर किया है।
(एक सेफ्टी चेक भी है ताकि यह सुनिश्चित किया जा सके कि सहायक अभद्र न हो रहा हो, निजी जानकारी लीक न कर रहा हो, या कुछ भी खतरनाक न कह रहा हो।)
2. "होलिस्टिक" स्कोर (अंतिम ग्रेड)
अधिकांश उपकरण केवल ऊपर दिए गए भागों के स्कोर की सूची देते हैं। Deepchecks एक कदम आगे जाता है। यह सभी स्कोर को एक अंतिम ग्रेड: पॉजिटिव (सकारात्मक), नेगेटिव (नकारात्मक), या अननोन (अज्ञात) में संयोजित करने के लिए एक स्मार्ट "एग्रीगेशन मैकेनिज्म" (सीखा हुआ फॉर्मूला) का उपयोग करता है।
- पॉजिटिव: लाइब्रेरियन ने सही किताबें ढूँढीं, और सहायक ने उनके आधार पर बिल्कुल सही उत्तर दिया।
- नेगेटिव: कुछ गलत हुआ (गलत किताबें, मनगढ़ंत तथ्य, या अधूरा उत्तर)।
- अननोन: यह बहुत बुरा नहीं था, लेकिन इसने "परफेक्ट" होने के उच्च मानक को पूरी तरह से प्राप्त नहीं किया।
3. डिटेक्टिव टूल्स (रूट कॉज एनालिसिस - मूल कारण विश्लेषण)
यदि सिस्टम को "नेगेटिव" ग्रेड मिलता है, तो Deepchecks केवल यह नहीं बताता कि यह विफल रहा; बल्कि यह एक जासूस की तरह बताता है कि क्यों।
- उपमा: कल्पना करें कि एक कार खराब हो जाती है। एक बुनियादी मैकेनिक कहता है, "यह खराब है।" Deepchecks कहता है, "इंजन ठीक है, लेकिन टायर पंचर हैं।"
- यह डेवलपर्स को यह जानने में मदद करता है कि समस्या को कहाँ ठीक करना है: क्या उन्हें बेहतर लाइब्रेरियन (बेहतर रिट्रीवल) की आवश्यकता है? या उन्हें सहायक को बेहतर तरीके से सुनने के लिए प्रशिक्षित करने की आवश्यकता है (बेहतर जनरेशन)?
4. "टाइम मशीन" (वर्जन तुलना और मॉनिटरिंग)
Deepchecks आपको अपने सिस्टम के विभिन्न संस्करणों की आमने-सामने तुलना करने की अनुमति भी देता है।
- उपमा: यह टायर बदलने से पहले और बाद में कार के प्रदर्शन की तुलना करने जैसा है। क्या नए टायरों ने इसे तेज़ बनाया?
- यह वास्तविक दुनिया में चलते समय सिस्टम की निगरानी भी करता है। यदि सिस्टम समय के साथ खराब होने लगता है (शायद इसलिए क्योंकि लाइब्रेरी की किताबें बदल गई हैं या उपयोगकर्ताओं के प्रश्न बदल गए हैं), तो Deepchecks तुरंत अलार्म बजा देता है।
पेपर ने क्या पाया
लेखकों ने अन्य लोकप्रिय उपकरणों (जैसे RAGAS और LangSmith) के विरुद्ध Deepchecks का परीक्षण किया, जिसमें शामिल थे:
- पब्लिक डेटासेट्स: मानक परीक्षण प्रश्न जिन्हें सभी जानते हैं।
- क्लाइंट डेटासेट्स: वास्तविक कंपनियों (जैसे तकनीकी सहायता चैट और नौकरी के उम्मीदवार की समीक्षा) से वास्तविक दुनिया के उदाहरण।
परिणाम: Deepchecks गलतियों को पकड़ने में बेहतर था, विशेष रूप से वास्तविक दुनिया के क्लाइंट डेटा में। जहाँ अन्य उपकरण कभी-कभी गलतियाँ मिस कर देते थे या असंगत ग्रेड देते थे, वहीं Deepchecks यह पहचानने में अधिक सटीक था कि सिस्टम कब झूठ बोल रहा था (हैलुसिनेट कर रहा था) या अप्रासंगिक उत्तर दे रहा था।
सारांश में:
Deepchecks एक व्यापक टूलकिट है जो यह सुनिश्चित करता है कि आपका AI सहायक न केवल आत्मविश्वास से बात कर रहा है, बल्कि वास्तव में उन दस्तावेजों के आधार पर सच बोल रहा है जो आपने उसे दिए हैं। यह लाइब्रेरियन की जाँच करता है, लेखक की जाँच करता है, सुरक्षा की जाँच करता है, और आपको एक स्पष्ट रिपोर्ट कार्ड देता है ताकि आप ठीक कर सकें कि वास्तव में क्या टूटा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।