The RAT: A Unified Bayesian Model for RAG Evaluation
यह शोधपत्र "The RAT" प्रस्तुत करता है, जो एक एकीकृत बेयसियन ढांचा (Bayesian framework) है जो छिपे हुए व्यवहार संबंधी अंतरों को प्रकट करने, एनोटेशन रणनीतियों को अनुकूलित करने और मानव एवं LLM-as-a-judge आकलन को एक एकल संभाव्य मॉडल के भीतर एकीकृत करने के लिए RAG मूल्यांकन को रिट्रीवल (retrieval), एब्स्टेंशन (abstention) और जनरेशन (generation) घटकों में विभाजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के आधुनिक परिदृश्य में, 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) के रूप में जानी जाने वाली एक लोकप्रिय पद्धति उभरी है, जो बड़े भाषा मॉडलों (large language models) को अधिक विश्वसनीय बनाने का एक तरीका है। ये प्रणालियाँ पहले उपयोगकर्ता के प्रश्न से संबंधित जानकारी खोजने के लिए दस्तावेजों के एक विशाल पुस्तकालय को खोजने का कार्य करती हैं, और फिर उस खोजी गई जानकारी का उपयोग मॉडल को उत्तर तैयार करने में मदद करने के लिए करती हैं। यह दो-चरणीय प्रक्रिया मॉडल को मनगढ़ंत बातें बनाने से रोकने के लिए डिज़ाइन की गई है, जो एक आम समस्या है जहाँ AI सिस्टम आत्मविश्वास के साथ गलत तथ्य बताते हैं। हालाँकि, इन प्रणालियों के काम करने के तरीके का मूल्यांकन करना कठिन साबित हुआ है। पारंपरिक तरीके अक्सर केवल अंतिम परिणाम को देखते हैं: क्या उपयोगकर्ता को सही उत्तर मिला? यह एकल मीट्रिक, हालांकि उपयोगी है, एक जटिल वास्तविकता को छिपा देता है। यह एक ऐसी प्रणाली के बीच अंतर करने में विफल रहता है जिसने सही जानकारी खोजी और सही उत्तर दिया, और एक ऐसी प्रणाली के बीच जिसने कुछ भी न खोजने के बावजूद सही उत्तर का अनुमान लगा लिया, या एक ऐसी प्रणाली के बीच जिसने सही जानकारी तो खोजी लेकिन उसका उपयोग करने में विफल रही। इन मशीनों को वास्तव में समझने के लिए, शोधकर्ताओं को उनके पाइपलाइन के भीतर झांकने की आवश्यकता है, न कि केवल अंतिम आउटपुट को देखने की, बल्कि यह देखने की भी कि खोज, उत्तर देने का निर्णय, और अंतिम प्रतिक्रिया एक दूसरे के साथ कैसे परस्पर क्रिया करते हैं।
ज़्यूरिख यूनिवर्सिटी ऑफ एप्लाइड साइंसेज के शोधकर्ताओं की एक टीम ने इस 'ब्लैक बॉक्स' में झांकने का एक नया तरीका विकसित किया है, जिसमें इन प्रणालियों के मूल्यांकन को एक साधारण चेकलिस्ट के बजाय एक एकीकृत सांख्यिकीय पहेली के रूप में माना गया है। उन्होंने एक ऐसा ढांचा पेश किया जो खोज की सफलता को उत्तर जनरेटर के व्यवहार से अलग करता है। उनके मॉडल में, एक प्रणाली तभी सफल मानी जाती है जब वह उसे मिली जानकारी की गुणवत्ता के अनुरूप उचित व्यवहार करती है। इसका अर्थ यह है कि यदि कोई प्रणाली प्रासंगिक दस्तावेज नहीं खोज पाती और समझदारी से उत्तर देने से इनकार कर देती है, तो उसे सही व्यवहार करने वाला माना जाता है, ठीक वैसे ही जैसे एक ऐसी प्रणाली को जो सही दस्तावेज खोजती है और सटीक उत्तर देती है। इसके विपरीत, एक ऐसी प्रणाली जो कुछ भी नहीं खोज पाती लेकिन फिर भी अनुमान लगा लेती है, या जो सब कुछ खोज लेती है लेकिन गलत उत्तर देती है, उसे अपनी आंतरिक नीति के उल्लंघन के रूप में चिह्नित किया जाता है, भले ही अंतिम उत्तर संयोग से सही ही क्यों न हो। इन विभिन्न चरणों को एक साथ मॉडल करके, शोधकर्ता यह ट्रैक कर सके कि खोज चरण की त्रुटियां अंतिम उत्तर तक कैसे पहुँचती हैं, और विभिन्न मॉडल अनिश्चितता को कैसे संभालते हैं।
इस दृष्टिकोण का परीक्षण करने के लिए, टीम ने इन प्रणालियों के सत्ताईस अलग-अलग कॉन्फ़िगरेशनों को शामिल करते हुए एक विशाल प्रयोग चलाया। उन्होंने तीन अलग-अलग सर्च इंजन, तीन अलग-अलग भाषा मॉडल और तथ्य-जांच एवं जटिल तर्क को कवर करने वाले तीन अलग-अलग प्रश्नों के सेटों को संयोजित किया। जब उन्होंने केवल अंतिम स्कोर को देखा, तो इनमें से कई प्रणालियाँ लगभग एक जैसी दिखाई दीं। हालाँकि, नए ढांचे ने उन गहरे व्यवहारिक अंतरों को प्रकट किया जिन्हें मानक मीट्रिक्स ने छिपा दिया था। उदाहरण के लिए, एक मॉडल ने लगातार उत्तर देने से इनकार कर दिया जब खोज विफल रही, जिससे वह केवल साक्ष्य होने पर ही बोलने की सख्त नीति का पालन करता रहा। दूसरा मॉडल, जो समान समग्र सफलता दर प्राप्त कर रहा था, अक्सर उत्तर देने का अनुमान लगा लेता था भले ही खोज में कुछ भी न मिला हो। अध्ययन ने दिखाया कि दो प्रणालियाँ सतही स्तर पर समान रूप से अच्छी दिख सकती हैं, जबकि वे पूरी तरह से अलग सिद्धांतों पर काम करती हैं, जिनमें से एक वास्तविक दुनिया के उन परिदृश्यों में कहीं अधिक विश्वसनीय है जहाँ जानकारी अक्सर अनुपलब्ध होती है।
शोधकर्ताओं ने एक अन्य व्यावहारिक समस्या का भी समाधान किया जिसका सामना उन सभी को करना पड़ता है जो इन प्रणालियों को बेहतर बनाने का प्रयास कर रहे हैं: मानव समीक्षा के लिए एक सीमित बजट को कैसे खर्च किया जाए। प्रत्येक क्वेरी के प्रत्येक चरण की जाँच करना महंगा और समय लेने वाला है। टीम ने जांचा कि क्या मनुष्यों द्वारा यह सत्यापित करना बेहतर था कि खोज ने सही दस्तावेज खोजे, या उन्होंने सही उत्तर पाया, या दोनों। उन्होंने एक चौंकाने वाली विषमता (asymmetry) की खोज की: खोज परिणामों को सत्यापित करने से अंतिम उत्तर को सत्यापित करने की तुलना में यह समझने में काफी अधिक अंतर्दृष्टि मिली कि क्या प्रणाली अपने नियमों का पालन कर रही थी। ऐसा इसलिए है क्योंकि उत्तर देना या चुप रहना, इस बात पर अत्यधिक निर्भर है कि खोज सफल रही या नहीं। यदि कोई मानव पुष्टि करता है कि खोज विफल रही, तो वे तुरंत जान जाते हैं कि प्रणाली को चुप रहना चाहिए था; यदि उसने उत्तर दिया, तो वह अपनी नीति में विफल रही। अंतिम उत्तर जानने से उन्हें यह जानने में कम मदद मिलती है कि क्या सिस्टम ने उस क्षण में एक अच्छा निर्णय लिया था। यह निष्कर्ष बताता है कि जो डेवलपर्स इन प्रणालियों को अधिक ईमानदार और सतर्क बनाने के लिए उन्हें ट्यून करना चाहते हैं, उनके लिए केवल अंतिम आउटपुट पर ध्यान केंद्रित करने के बजाय, पुनर्प्राप्त (retrieved) जानकारी की गुणवत्ता पर मानवीय ध्यान केंद्रित करना कहीं अधिक बेहतर निवेश है।
अंत में, अध्ययन ने स्वचालित न्यायाधीशों (automated judges) की भूमिका की भी खोज की, जहाँ एक कृत्रिम बुद्धिमत्ता का उपयोग दूसरी को ग्रेड देने के लिए किया जाता है, जो लागत बचाने के लिए एक सामान्य अभ्यास है। शोधकर्ताओं ने पाया कि जबकि ये स्वचालित ग्रेडर बड़ी मात्रा में डेटा को संसाधित कर सकते हैं, वे एक विशिष्ट प्रकार की त्रुटि के प्रति संवेदनशील होते हैं: वे अक्सर यह कहते हैं कि खोज सफल थी जबकि वह नहीं थी। सफलता को बढ़ा-चढ़ाकर बताने की इस प्रवृत्ति के कारण, हजारों स्वचालित लेबल जोड़ने से भी मूल्यांकन की सटीकता में बहुत कम सुधार हुआ। अध्ययन ने निष्कर्ष निकाला कि सावधानीपूर्वक कैलिब्रेट किए गए मानव निर्णयों की एक छोटी संख्या, शोर भरे स्वचालित निर्णयों के ढेर की तुलना में कहीं अधिक मूल्यवान है। यह कार्य एक स्पष्ट और अधिक ईमानदार मानचित्र प्रदान करता है कि ये जटिल प्रणालियाँ कैसे सोचती हैं और कैसे विफल होती हैं, जो न केवल सही, बल्कि तर्क में भरोसेमंद AI बनाने की दिशा में एक मार्ग प्रशस्त करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।